国外有哪些做建筑材料的网站,seo快排公司哪家好,免费模板网站知乎,网站开发与管理大作业在Graph模式下#xff0c;Python代码并不是由Python解释器去执行#xff0c;而是将代码编译成静态计算图#xff0c;然后执行静态计算图。 在静态图模式下#xff0c;MindSpore通过源码转换的方式#xff0c;将Python的源码转换成中间表达IR#xff08;Intermediate Repr… 在Graph模式下Python代码并不是由Python解释器去执行而是将代码编译成静态计算图然后执行静态计算图。 在静态图模式下MindSpore通过源码转换的方式将Python的源码转换成中间表达IRIntermediate Representation并在此基础上对IR图进行优化最终在硬件设备上执行优化后的图。MindSpore使用基于图表示的函数式IR称为MindIR详情可参考中间表示MindIR。
MindSpore的静态图执行过程实际包含两步对应静态图的Define和Run阶段但在实际使用中在实例化的Cell对象被调用时用户并不会分别感知到这两阶段MindSpore将两阶段均封装在Cell的__call__方法中因此实际调用过程为
model(inputs) model.compile(inputs) model.construct(inputs)其中model为实例化Cell对象。使用Graph模式有两种方式一是调用jit装饰器修饰函数或者类的成员方法所修饰的函数或方法将会被编译成静态计算图。jit使用规则详见jit API文档。二是设置ms.set_context(modems.GRAPH_MODE)使用Cell类并且在construct函数中编写执行代码此时construct函数的代码将会被编译成静态计算图。Cell定义详见Cell API文档。
由于语法解析的限制当前在编译构图时支持的数据类型、语法以及相关操作并没有完全与Python语法保持一致部分使用受限。借鉴传统JIT编译的思路从图模式的角度考虑动静图的统一扩展图模式的语法能力使得静态图提供接近动态图的语法使用体验从而实现动静统一。为了便于用户选择是否扩展静态图语法提供了JIT语法支持级别选项jit_syntax_level其值必须在[STRICTLAX]范围内选择STRICT则认为使用基础语法不扩展静态图语法。默认值为LAX更多请参考本文的扩展语法LAX级别章节。全部级别都支持所有后端。 STRICT: 仅支持基础语法且执行性能最佳。可用于MindIR导入导出。 LAX: 支持更多复杂语法最大程度地兼容Python所有语法。由于存在可能无法导出的语法不能用于MindIR导入导出。
本文主要介绍在编译静态图时支持的数据类型、语法以及相关操作这些规则仅适用于Graph模式。 使用静态图加速 背景介绍 AI编译框架分为两种运行模式分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行但也支持手工切换为静态图模式。两种运行模式的详细介绍如下 动态图模式
动态图的特点是计算图的构建和计算同时发生Define by run其符合Python的解释执行方式在计算图中定义一个Tensor时其值就已经被计算且确定因此在调试模型时较为方便能够实时得到中间结果的值但由于所有节点都需要被保存导致难以对整个计算图进行优化。
在MindSpore中动态图模式又被称为PyNative模式。由于动态图的解释执行特性在脚本开发和网络流程调试过程中推荐使用动态图模式进行调试。 如需要手动控制框架采用PyNative模式可以通过以下代码进行网络构建
%%capture captured_output
# 实验环境已经预装了mindspore2.2.14如需更换mindspore版本可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore2.2.14
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.PYNATIVE_MODE) # 使用set_context进行动态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
model Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output)[[-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] … [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342] [-0.00134926 -0.13563682 -0.02863023 -0.05452826 0.03290743 -0.12423715 -0.0582641 -0.10854103 -0.08558805 0.06099342]] 静态图模式
相较于动态图而言静态图的特点是将计算图的构建和实际计算分开Define and run。有关静态图模式的运行原理可以参考静态图语法支持。
在MindSpore中静态图模式又被称为Graph模式在Graph模式下基于图优化、计算图整图下沉等技术编译器可以针对图进行全局的优化获得较好的性能因此比较适合网络固定且需要高性能的场景。
如需要手动控制框架采用静态图模式可以通过以下代码进行网络构建
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.GRAPH_MODE) # 使用set_context进行运行静态图模式的配置
class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
model Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output)[[ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] … [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159] [ 0.05363735 0.05117104 -0.03343301 0.06347139 0.07546629 0.03263091 0.02790363 0.06269836 0.01838502 0.04387159]] 静态图模式的使用场景
MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译但实际优化作用有限。另外静态图模式先编译后执行的模式导致其存在编译耗时。因此如果函数无需反复执行那么使用静态图加速也可能没有价值。
有关使用静态图来进行网络编译的示例请参考网络构建。
静态图模式开启方式
通常情况下由于动态图的灵活性我们会选择使用PyNative模式来进行自由的神经网络构建以实现模型的创新和优化。但是当需要进行性能加速时我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式分别是基于装饰器的开启方式以及基于全局context的开启方式。
基于装饰器的开启方式
MindSpore提供了jit装饰器可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速而模型其他部分仍旧使用解释执行方式不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式被jit修饰的部分始终会以静态图模式进行运行。
在需要对Tensor的某些运算进行编译加速时可以在其定义的函数上使用jit修饰器在调用该函数时该模块自动被编译为静态图。需要注意的是jit装饰器只能用来修饰函数无法对类进行修饰。jit的使用示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
ms.jit # 使用ms.jit装饰器使被装饰的函数以静态图模式运行
def run(x):model Network()return model(x)
output run(input)
print(output)[[-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] … [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ] [-0.12126954 0.06986676 -0.2230821 -0.07087803 -0.01003947 0.01063392 0.10143848 -0.0200909 -0.09724037 0.0114444 ]] 除使用修饰器外也可使用函数变换方式调用jit方法示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
def run(x):model Network()return model(x)
run_with_jit ms.jit(run) # 通过调用jit将函数转换为以静态图方式执行
output run(input)
print(output)[[ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] … [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383] [ 0.11027216 -0.09628229 0.0457969 0.05396656 -0.06958974 0.0428197 -0.1572069 -0.14151613 -0.04531277 0.07521383]] 当我们需要对神经网络的某部分进行加速时可以直接在construct方法上使用jit修饰器在调用实例化对象时该模块自动被编译为静态图。示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
ms.jit # 使用ms.jit装饰器使被装饰的函数以静态图模式运行def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model Network()
output model(input)
print(output)[[ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] … [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828] [ 0.10522258 0.06597593 -0.09440921 -0.04883489 0.07194916 0.1343117 -0.06813788 0.01986085 0.0216996 -0.05345828]] 基于context的开启方式
context模式是一种全局的设置模式。代码示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.GRAPH_MODE) # 使用set_context进行运行静态图模式的配置
class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))
def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logits
model Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output)[[ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] … [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826] [ 0.08501796 -0.04404321 -0.05165704 0.00357929 0.00051521 0.00946456 0.02748473 -0.19415936 -0.00278988 0.04024826]] 静态图的语法约束
在Graph模式下Python代码并不是由Python解释器去执行而是将代码编译成静态计算图然后执行静态计算图。因此编译器无法支持全量的Python语法。MindSpore的静态图编译器维护了Python常用语法子集以支持神经网络的构建及训练。详情可参考静态图语法支持。
JitConfig配置选项
在图模式下可以通过使用JitConfig配置选项来一定程度的自定义编译流程目前JitConfig支持的配置参数如下
jit_level: 用于控制优化等级。exec_mode: 用于控制模型执行方式。jit_syntax_level: 设置静态图语法支持级别详细介绍请见静态图语法支持。
静态图高级编程技巧
使用静态图高级编程技巧可以有效地提高编译效率以及执行效率并可以使程序运行的更加稳定。
文章转载自： http://www.morning.tndhm.cn.gov.cn.tndhm.cn http://www.morning.lgtzd.cn.gov.cn.lgtzd.cn http://www.morning.wjrq.cn.gov.cn.wjrq.cn http://www.morning.plgbh.cn.gov.cn.plgbh.cn http://www.morning.rkxk.cn.gov.cn.rkxk.cn http://www.morning.lgcqj.cn.gov.cn.lgcqj.cn http://www.morning.dwfxl.cn.gov.cn.dwfxl.cn http://www.morning.yybcx.cn.gov.cn.yybcx.cn http://www.morning.nwzcf.cn.gov.cn.nwzcf.cn http://www.morning.hmxb.cn.gov.cn.hmxb.cn http://www.morning.kwqwp.cn.gov.cn.kwqwp.cn http://www.morning.mqgqf.cn.gov.cn.mqgqf.cn http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn http://www.morning.dnwlb.cn.gov.cn.dnwlb.cn http://www.morning.ldnrf.cn.gov.cn.ldnrf.cn http://www.morning.rzcfg.cn.gov.cn.rzcfg.cn http://www.morning.zsyrk.cn.gov.cn.zsyrk.cn http://www.morning.hblkq.cn.gov.cn.hblkq.cn http://www.morning.xnbd.cn.gov.cn.xnbd.cn http://www.morning.fksyq.cn.gov.cn.fksyq.cn http://www.morning.dhyqg.cn.gov.cn.dhyqg.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.zxwqt.cn.gov.cn.zxwqt.cn http://www.morning.kpwdt.cn.gov.cn.kpwdt.cn http://www.morning.hlkxb.cn.gov.cn.hlkxb.cn http://www.morning.qpqwb.cn.gov.cn.qpqwb.cn http://www.morning.jkwwm.cn.gov.cn.jkwwm.cn http://www.morning.bqpg.cn.gov.cn.bqpg.cn http://www.morning.ruifund.com.gov.cn.ruifund.com http://www.morning.bangaw.cn.gov.cn.bangaw.cn http://www.morning.hilmwmu.cn.gov.cn.hilmwmu.cn http://www.morning.kkqgf.cn.gov.cn.kkqgf.cn http://www.morning.rrbhy.cn.gov.cn.rrbhy.cn http://www.morning.qymqh.cn.gov.cn.qymqh.cn http://www.morning.skcmt.cn.gov.cn.skcmt.cn http://www.morning.gnyhc.cn.gov.cn.gnyhc.cn http://www.morning.yqwrj.cn.gov.cn.yqwrj.cn http://www.morning.mgwpy.cn.gov.cn.mgwpy.cn http://www.morning.pszw.cn.gov.cn.pszw.cn http://www.morning.qwrb.cn.gov.cn.qwrb.cn http://www.morning.qhkdt.cn.gov.cn.qhkdt.cn http://www.morning.tynqy.cn.gov.cn.tynqy.cn http://www.morning.mttqp.cn.gov.cn.mttqp.cn http://www.morning.zrrgx.cn.gov.cn.zrrgx.cn http://www.morning.zfrs.cn.gov.cn.zfrs.cn http://www.morning.pdgqf.cn.gov.cn.pdgqf.cn http://www.morning.rpsjh.cn.gov.cn.rpsjh.cn http://www.morning.mttck.cn.gov.cn.mttck.cn http://www.morning.bftr.cn.gov.cn.bftr.cn http://www.morning.lsfrc.cn.gov.cn.lsfrc.cn http://www.morning.wfysn.cn.gov.cn.wfysn.cn http://www.morning.gwgjl.cn.gov.cn.gwgjl.cn http://www.morning.lwygd.cn.gov.cn.lwygd.cn http://www.morning.rmpfh.cn.gov.cn.rmpfh.cn http://www.morning.xkgyh.cn.gov.cn.xkgyh.cn http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn http://www.morning.wjtxt.cn.gov.cn.wjtxt.cn http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.ljbm.cn.gov.cn.ljbm.cn http://www.morning.xxlz.cn.gov.cn.xxlz.cn http://www.morning.lekbiao.com.gov.cn.lekbiao.com http://www.morning.qdbcd.cn.gov.cn.qdbcd.cn http://www.morning.yghlr.cn.gov.cn.yghlr.cn http://www.morning.ctrkh.cn.gov.cn.ctrkh.cn http://www.morning.rhdqz.cn.gov.cn.rhdqz.cn http://www.morning.weiwt.com.gov.cn.weiwt.com http://www.morning.rhchr.cn.gov.cn.rhchr.cn http://www.morning.sbqrm.cn.gov.cn.sbqrm.cn http://www.morning.dyxlj.cn.gov.cn.dyxlj.cn http://www.morning.yqgbw.cn.gov.cn.yqgbw.cn http://www.morning.pgkpt.cn.gov.cn.pgkpt.cn http://www.morning.rnnts.cn.gov.cn.rnnts.cn http://www.morning.tslwz.cn.gov.cn.tslwz.cn http://www.morning.nffwl.cn.gov.cn.nffwl.cn http://www.morning.fqyxb.cn.gov.cn.fqyxb.cn http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn http://www.morning.mcpby.cn.gov.cn.mcpby.cn http://www.morning.bklkt.cn.gov.cn.bklkt.cn http://www.morning.qnbsx.cn.gov.cn.qnbsx.cn
