一个外贸网站要多大的空间比较好,西安好的设计公司,嘉兴建站模板系统,济南微网站机器学习09-Pytorch功能拆解 我个人是Java程序员#xff0c;关于Python代码的使用过程中的相关代码事项#xff0c;在此进行记录 文章目录 机器学习09-Pytorch功能拆解1-核心逻辑脉络2-个人备注3-Pytorch软件包拆解1-Python有参和无参构造构造方法的基本语法示例解释注意事项…机器学习09-Pytorch功能拆解 我个人是Java程序员关于Python代码的使用过程中的相关代码事项在此进行记录 文章目录 机器学习09-Pytorch功能拆解1-核心逻辑脉络2-个人备注3-Pytorch软件包拆解1-Python有参和无参构造构造方法的基本语法示例解释注意事项继承中的构造方法示例 2-CNN继承构造方法示例代码构造方法详解 3-为什么要把SimpleCNN传入到super(SimpleCNN, self).__init__()方法中详细解释示例代码总结 5-pytorch的nn核心功能介绍1. Module2. Linear Layers (线性层)3. Convolutional Layers (卷积层)4. Activation Functions (激活函数)5. Pooling Layers (池化层)6. Normalization Layers (归一化层)7. Loss Functions (损失函数)8. Optimizers (优化器)9. Sequential (顺序容器)10. Dropout (丢弃层)11. Functionality for Data Handling (数据处理功能) 6-pytorch的nn包目录结构7-pytorch的nn包目录backends1. torch.nn.backends 的主要功能2. torch.nn.backends 的核心模块和方法2.1 cuDNN 后端配置2.2 MKL 后端配置2.3 其他后端配置 3. torch.nn.backends 的适用场景4. 示例使用 torch.nn.backends.cudnn 优化模型5. 总结 8-pytorch的nn包目录intrinsic主要功能常见的组合层示例总结 9-pytorch的nn包目录modules1. 核心功能a. Module 类b. 子模块管理c. 参数管理 2. 常见模块a. 线性层 (nn.Linear)b. 卷积层 (nn.Conv2d)c. 激活函数 (nn.ReLU, nn.Sigmoid, nn.Tanh)d. 池化层 (nn.MaxPool2d, nn.AvgPool2d)e. 归一化层 (nn.BatchNorm2d, nn.LayerNorm)f. 损失函数 (nn.CrossEntropyLoss, nn.MSELoss)g. 其他常见模块 3. 自定义模块4. 模块嵌套5. 总结 10-pytorch的nn包目录parallel1. torch.nn.parallel 的主要功能a. 数据并行 (DataParallel)b. 分布式数据并行 (DistributedDataParallel, DDP)c. 张量并行 (TensorParallel) 2. torch.nn.parallel 的核心类和方法a. DataParallelb. DistributedDataParallel 3. 选择合适的并行化策略4. 总结 11-pytorch的nn包目录qat1. 量化的背景2. torch.nn.qat 的功能3. torch.nn.qat 的核心模块4. 量化感知训练的流程5. 代码示例6. torch.nn.qat 的工作原理7. torch.nn.qat 的适用场景8. 总结 12-pytorch的nn包目录quantizablenn.quantizable 的用途核心概念主要模块使用流程示例代码总结 13-pytorch的nn包目录quantized1. 量化的背景2. torch.nn.quantized 的功能3. torch.nn.quantized 的核心模块4. 量化模型的创建流程5. 代码示例6. torch.nn.quantized 的工作原理7. torch.nn.quantized 的适用场景8. 总结 14-pytorch的nn包目录utils1. torch.nn.utils 的主要功能2. torch.nn.utils 的核心模块和方法2.1 梯度处理2.2 模型序列化2.3 模块管理2.4 量化支持2.5 通用工具 3. torch.nn.utils 的适用场景4. 总结 1-核心逻辑脉络
1pytorch核心代码中有哪些包2每个包分别是做什么用的3手写基础模型中每个类分别对应的是哪个包 2-个人备注
思路从继承nn.Module的基础包开始了解自己每一步的代码分别在做什么对应的包分别是什么加入想从CNN切换到GAN对应的代码分别在哪个包中进行查找原生方法
nn
- backends 管理和配置深度学习模型在不同硬件如 CPU、GPU和底层库如 cuDNN、MKL上的执行方式
- intrinsic 提供了一些预定义的“组合层”这些组合层通常是将多个基本的操作如卷积和批量归一化合并在一起以提高计算效率
- modules 提供一种结构化的方式来定义、管理和组织神经网络的各个组件
- parallel 提供了几种不同的并行化策略帮助用户充分利用多核 CPU 或多个 GPU 的计算资源
- qat 量化是将浮点数权重和激活值转换为低精度整数减少模型的计算量和内存占用加速推理过程
- quantizable 训练阶段-提供了一系列的量化感知模块,可以在训练过程中模拟量化操作从而使模型学习到在量化后仍然表现良好的参数
- quantized 推理阶段-提供了一系列的量化模块,量化模块在推理阶段使用低精度整数进行计算从而实现高效的推理
- utils 包含了一系列辅助函数和类用于数据处理、模型训练、保存和加载3-Pytorch软件包拆解
1-Python有参和无参构造
在Python中构造方法是一种特殊的方法用于在创建对象时初始化对象的状态。构造方法的名称是__init__ 它会在实例化一个类时自动调用。通过构造方法你可以在对象创建时为其设置初始值或执行一些必要的初始化操作。
构造方法的基本语法
class 类名:def __init__(self, 参数1, 参数2, ...):self.属性1 参数1self.属性2 参数2# 其他初始化代码__init__ 是构造方法的名称。self 是一个特殊参数代表类的实例本身。构造方法可以接受任意数量的参数这些参数用于初始化对象的属性。
示例
下面是一个简单的示例展示了如何使用构造方法来初始化对象的属性
class Person:def __init__(self, name, age):self.name nameself.age agedef introduce(self):print(f大家好我叫{self.name}今年{self.age}岁。)# 创建Person类的实例
person1 Person(张三, 25)
person2 Person(李四, 30)# 调用实例方法
person1.introduce() # 输出: 大家好我叫张三今年25岁。
person2.introduce() # 输出: 大家好我叫李四今年30岁。解释
Person 类有一个构造方法 __init__它接受两个参数 name 和 age。在构造方法中self.name 和 self.age 分别被赋值为传入的 name 和 age。当创建 Person 类的实例时构造方法会自动调用并将传入的参数用于初始化对象的属性。
注意事项
self 参数: 构造方法中的 self 参数是必须的它代表类的实例本身用于访问和修改对象的属性。构造方法的重写: 如果你没有在类中定义 __init__ 方法Python会自动提供一个默认的构造方法。如果你定义了 __init__ 方法则默认的构造方法会被覆盖。继承中的构造方法: 在继承中子类可以调用父类的构造方法来初始化父类的属性通常使用 super().__init__() 来实现。
继承中的构造方法示例
class Student(Person):def __init__(self, name, age, student_id):super().__init__(name, age) # 调用父类的构造方法self.student_id student_iddef introduce(self):print(f大家好我叫{self.name}今年{self.age}岁我的学号是{self.student_id}。)# 创建Student类的实例
student1 Student(王五, 20, 12345)
student1.introduce() # 输出: 大家好我叫王五今年20岁我的学号是12345。在这个示例中Student 类继承自 Person 类并重写了构造方法。通过 super().__init__(name, age) 子类可以调用父类的构造方法来初始化 name 和 age 属性。 2-CNN继承构造方法
在PyTorch中nn.Module 是所有神经网络模块的基类。要在自定义的神经网络类中使用构造方法你需要继承自 nn.Module 并在类的构造方法中定义网络的结构。
下面是一个简单的卷积神经网络CNN示例展示了如何在 PyTorch 中使用构造方法来定义网络结构。
示例代码
import torch
import torch.nn as nn
import torch.nn.functional as Fclass SimpleCNN(nn.Module):def __init__(self, num_classes10):super(SimpleCNN, self).__init__()# 定义卷积层self.conv1 nn.Conv2d(in_channels1, out_channels16, kernel_size3, stride1, padding1)self.conv2 nn.Conv2d(in_channels16, out_channels32, kernel_size3, stride1, padding1)# 定义全连接层self.fc1 nn.Linear(in_features32 * 7 * 7, out_features128)self.fc2 nn.Linear(in_features128, out_featuresnum_classes)def forward(self, x):# 应用第一个卷积层然后进行ReLU激活和最大池化x F.relu(self.conv1(x))x F.max_pool2d(x, 2, 2)# 应用第二个卷积层然后进行ReLU激活和最大池化x F.relu(self.conv2(x))x F.max_pool2d(x, 2, 2)# 将特征图展平准备连接到全连接层x x.view(x.size(0), -1)# 应用第一个全连接层然后进行ReLU激活x F.relu(self.fc1(x))# 应用第二个全连接层得到最终的输出x self.fc2(x)return x# 创建网络实例
net SimpleCNN(num_classes10)
print(net)构造方法详解 继承与初始化 class SimpleCNN(nn.Module): 定义了一个名为 SimpleCNN 的类它继承自 nn.Module。def __init__(self, num_classes10): 是类的构造方法self 表示实例本身num_classes 是一个可选参数指定分类的数量默认为10。 调用父类构造方法 super(SimpleCNN, self).__init__() 调用父类 nn.Module 的构造方法这是必需的用于初始化基类的功能。 定义网络层 self.conv1 nn.Conv2d(in_channels1, out_channels16, kernel_size3, stride1, padding1): 定义第一个卷积层输入通道数为1输出通道数为16卷积核大小为3x3步长为1填充为1。self.conv2 nn.Conv2d(in_channels16, out_channels32, kernel_size3, stride1, padding1): 定义第二个卷积层输入通道数为16输出通道数为32卷积核大小为3x3步长为1填充为1。self.fc1 nn.Linear(in_features32 * 7 * 7, out_features128): 定义第一个全连接层输入特征数为3277输出特征数为128。self.fc2 nn.Linear(in_features128, out_featuresnum_classes): 定义第二个全连接层输入特征数为128输出特征数为 num_classes。 前向传播方法 def forward(self, x): 定义了网络的前向传播过程。x F.relu(self.conv1(x)): 对输入 x 应用第一个卷积层然后使用 ReLU 激活函数。x F.max_pool2d(x, 2, 2): 对卷积后的特征图进行最大池化池化核大小为2x2步长为2。重复上述步骤应用第二个卷积层和最大池化。x x.view(x.size(0), -1): 将特征图展平以便连接到全连接层。x F.relu(self.fc1(x)): 应用第一个全连接层并使用 ReLU 激活函数。x self.fc2(x): 应用第二个全连接层得到最终的输出。 创建网络实例 net SimpleCNN(num_classes10): 创建 SimpleCNN 类的实例指定分类数为10。print(net): 打印网络的结构查看网络的层次结构和参数。
通过这种方式你可以在 PyTorch 中使用构造方法来定义复杂的神经网络结构并灵活地调整网络的参数和层的配置。 3-为什么要把SimpleCNN传入到super(SimpleCNN, self).init()方法中
在 Python 中super(SimpleCNN, self).__init__() 的作用是调用父类nn.Module的构造方法。将 SimpleCNN 和 self 传入 super() 是为了明确指定当前类和实例以便 Python 能够正确地找到父类并调用其构造方法。
详细解释 super() 的作用 super() 是一个内置函数用于调用父类的方法。在类的继承关系中super() 允许你在子类中调用父类的构造方法或其他方法而不需要显式地写出父类的名称。 super(SimpleCNN, self) 的含义 SimpleCNN这是当前类的名称告诉 super() 从哪个类开始查找父类。self这是当前类的实例告诉 super() 在哪个实例上调用父类的方法。综合起来super(SimpleCNN, self) 的意思是从 SimpleCNN 类的父类开始查找并在当前实例 self 上调用父类的方法。 为什么需要传入 SimpleCNN 和 self 在 Python 2 中super() 必须显式地传入当前类和实例即 super(SimpleCNN, self)。在 Python 3 中super() 可以简化为 super().__init__()因为 Python 3 会自动推断当前类和实例。但为了兼容性和代码清晰性许多开发者仍然使用 super(SimpleCNN, self).__init__()。 调用父类的构造方法 __init__() 是类的构造方法用于初始化对象。在子类中调用父类的构造方法是为了确保父类的初始化代码得到执行。如果不调用父类的构造方法父类的属性和方法可能无法正确初始化。
示例代码
import torch.nn as nnclass SimpleCNN(nn.Module):def __init__(self, num_classes10):super(SimpleCNN, self).__init__() # 调用父类 nn.Module 的构造方法# 定义网络层self.conv1 nn.Conv2d(in_channels1, out_channels16, kernel_size3, stride1, padding1)self.conv2 nn.Conv2d(in_channels16, out_channels32, kernel_size3, stride1, padding1)self.fc1 nn.Linear(in_features32 * 7 * 7, out_features128)self.fc2 nn.Linear(in_features128, out_featuresnum_classes)总结
super(SimpleCNN, self).__init__() 的作用是调用父类 nn.Module 的构造方法确保父类的初始化代码得到执行。传入 SimpleCNN 和 self 是为了明确指定当前类和实例以便 Python 能够正确地找到父类并调用其构造方法。在 Python 3 中可以简化为 super().__init__() 但为了兼容性和代码清晰性许多开发者仍然使用 super(SimpleCNN, self).__init__()。 5-pytorch的nn核心功能介绍
PyTorch 的 torch.nn 模块是构建神经网络的核心组件它提供了构建神经网络所需的几乎所有基本组件。下面是对 torch.nn 模块中一些核心功能的介绍
1. Module
作用Module 是所有神经网络模块的基础类。自定义的神经网络通常会继承 torch.nn.Module 类并在其中定义前向传播函数 (forward() 方法)。示例import torch
import torch.nn as nnclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.linear nn.Linear(10, 5) # 定义一个线性层def forward(self, x):x self.linear(x)return xmodel MyModel()2. Linear Layers (线性层)
作用nn.Linear 模块用于实现全连接层也称为线性层。它接受输入特征并进行线性变换。参数 in_features输入特征的数量。out_features输出特征的数量。 示例linear_layer nn.Linear(10, 5)
input_tensor torch.randn(1, 10) # (batch_size, in_features)
output_tensor linear_layer(input_tensor) # (batch_size, out_features)3. Convolutional Layers (卷积层)
作用nn.Conv2d 模块用于实现二维卷积层常用于图像处理任务。参数 in_channels输入通道数。out_channels输出通道数。kernel_size卷积核的大小。stride卷积步长。padding填充值。 示例conv_layer nn.Conv2d(in_channels3, out_channels16, kernel_size3, stride1, padding1)
input_tensor torch.randn(1, 3, 32, 32) # (batch_size, in_channels, height, width)
output_tensor conv_layer(input_tensor) # (batch_size, out_channels, height, width)4. Activation Functions (激活函数)
作用激活函数用于引入非线性使得神经网络能够学习复杂的映射关系。常见激活函数 nn.ReLUReLU (Rectified Linear Unit) 激活函数。nn.SigmoidSigmoid 激活函数。nn.TanhTanh 激活函数。 示例activation nn.ReLU()
input_tensor torch.randn(1, 10)
output_tensor activation(input_tensor)5. Pooling Layers (池化层)
作用池化层用于降低特征图的维度减少参数数量有助于防止过拟合。常见池化层 nn.MaxPool2d最大池化层。nn.AvgPool2d平均池化层。 示例pool_layer nn.MaxPool2d(kernel_size2, stride2)
input_tensor torch.randn(1, 16, 32, 32) # (batch_size, channels, height, width)
output_tensor pool_layer(input_tensor) # (batch_size, channels, height/2, width/2)6. Normalization Layers (归一化层)
作用归一化层用于加快训练速度减少内部协变量偏移。常见归一化层 nn.BatchNorm2d二维批量归一化层。nn.LayerNorm层归一化层。 示例norm_layer nn.BatchNorm2d(16)
input_tensor torch.randn(1, 16, 32, 32) # (batch_size, channels, height, width)
output_tensor norm_layer(input_tensor)7. Loss Functions (损失函数)
作用损失函数用于衡量模型输出与真实标签之间的差异指导模型的优化过程。常见损失函数 nn.CrossEntropyLoss交叉熵损失常用于分类任务。nn.MSELoss均方误差损失常用于回归任务。 示例loss_fn nn.CrossEntropyLoss()
input_tensor torch.randn(3, 5) # (batch_size, num_classes)
target_tensor torch.tensor([1, 0, 4]) # (batch_size)
loss loss_fn(input_tensor, target_tensor)8. Optimizers (优化器)
作用优化器用于更新模型的参数以最小化损失函数。常见优化器 torch.optim.SGD随机梯度下降优化器。torch.optim.AdamAdam 优化器。 示例import torch.optim as optimoptimizer optim.Adam(model.parameters(), lr0.001)9. Sequential (顺序容器)
作用nn.Sequential 是一个容器用于按顺序堆叠多个层。示例model nn.Sequential(nn.Linear(10, 5),nn.ReLU(),nn.Linear(5, 2)
)10. Dropout (丢弃层)
作用丢弃层用于防止过拟合随机地将部分神经元的输出设置为零。示例dropout_layer nn.Dropout(p0.5)
input_tensor torch.randn(1, 10)
output_tensor dropout_layer(input_tensor)11. Functionality for Data Handling (数据处理功能)
作用虽然不直接属于 torch.nn但 torch.utils.data 提供了一些方便的数据处理工具如 DataLoader 和 Dataset。示例from torch.utils.data import DataLoader, TensorDatasetdataset TensorDataset(torch.randn(100, 10), torch.randint(0, 2, (100,)))
dataloader DataLoader(dataset, batch_size32, shuffleTrue)以上是 torch.nn 模块中的一些核心功能。通过这些组件可以灵活地构建各种复杂的神经网络模型。 6-pytorch的nn包目录结构
nn
- backends 管理和配置深度学习模型在不同硬件如 CPU、GPU和底层库如 cuDNN、MKL上的执行方式
- intrinsic 提供了一些预定义的“组合层”这些组合层通常是将多个基本的操作如卷积和批量归一化合并在一起以提高计算效率
- modules 提供一种结构化的方式来定义、管理和组织神经网络的各个组件
- parallel 提供了几种不同的并行化策略帮助用户充分利用多核 CPU 或多个 GPU 的计算资源
- qat 量化是将浮点数权重和激活值转换为低精度整数减少模型的计算量和内存占用加速推理过程
- quantizable 训练阶段-提供了一系列的量化感知模块,可以在训练过程中模拟量化操作从而使模型学习到在量化后仍然表现良好的参数
- quantized 推理阶段-提供了一系列的量化模块,量化模块在推理阶段使用低精度整数进行计算从而实现高效的推理
- utils 包含了一系列辅助函数和类用于数据处理、模型训练、保存和加载7-pytorch的nn包目录backends
torch.nn.backends 是 PyTorch 提供的一个后端模块主要用于管理和配置深度学习模型在不同硬件如 CPU、GPU和底层库如 cuDNN、MKL上的执行方式。它通过提供一致的接口使得开发者可以在不同的硬件和库之间无缝切换同时优化计算性能。 1. torch.nn.backends 的主要功能
torch.nn.backends 的主要功能包括
配置和控制底层库的行为 例如控制 cuDNN、MKL 等底层库的性能优化选项。 启用或禁用特定的后端功能 例如启用或禁用混合精度训练支持。 支持跨硬件的计算 支持在 CPU 和 GPU 上执行计算任务。 2. torch.nn.backends 的核心模块和方法
2.1 cuDNN 后端配置
torch.nn.backends.cudnn 是 torch.nn.backends 中最重要的子模块之一用于配置和控制 cuDNNNVIDIA 的深度学习库的行为。 启用/禁用 cuDNN import torch.nn as nn# 启用 cuDNN
nn.backends.cudnn.enabled True# 禁用 cuDNN
nn.backends.cudnn.enabled False启用/禁用 cuDNN 的 benchmark 模式 启用后cuDNN 会根据输入大小自动选择最优算法可能会消耗一些时间用于优化。 nn.backends.cudnn.benchmark True # 启用
nn.backends.cudnn.benchmark False # 禁用启用/禁用 cuDNN 的 deterministic 模式 启用后cuDNN 的计算结果将是确定性的但性能可能会有所下降。 nn.backends.cudnn.deterministic True # 启用
nn.backends.cudnn.deterministic False # 禁用2.2 MKL 后端配置
torch.nn.backends.mkl 是用于配置 MKLIntel 的数学核心库的后端模块。
启用/禁用 MKLimport torch.nn as nn# 启用 MKL
nn.backends.mkl.enabled True# 禁用 MKL
nn.backends.mkl.enabled False2.3 其他后端配置 CUDA 后端 用于管理 CUDA 设备的设置。示例import torch.nn as nn# 检查是否支持 CUDA
print(torch.cuda.is_available())混合精度训练支持 使用 torch.nn.backends.cuda.sdp_kernel 或 torch.nn.functional.scaled_dot_product_attention 实现混合精度训练。 3. torch.nn.backends 的适用场景
torch.nn.backends 主要用于以下场景
优化模型性能 通过启用 cuDNN 的 benchmark 模式自动选择最优算法提升计算效率。 确保计算结果的确定性 通过启用 cuDNN 的 deterministic 模式确保计算结果在不同运行中一致。 跨硬件执行计算任务 支持在 CPU使用 MKL和 GPU使用 cuDNN上执行计算。 管理后端库的行为 控制底层库如 cuDNN、MKL的启用和禁用。 4. 示例使用 torch.nn.backends.cudnn 优化模型
以下是一个简单的示例展示如何使用 torch.nn.backends.cudnn 优化模型的训练
import torch
import torch.nn as nn
import torch.optim as optim
from torch.nn.utils import clip_grad_norm_# 启用 cuDNN
nn.backends.cudnn.enabled True
nn.backends.cudnn.benchmark True # 自动选择最优算法
nn.backends.cudnn.deterministic False # 非确定性模式更快# 定义一个简单的模型
model nn.Sequential(nn.Linear(10, 100),nn.ReLU(),nn.Linear(100, 1)
)# 使用 GPU 进行训练
device torch.device(cuda if torch.cuda.is_available() else cpu)
model.to(device)# 定义优化器
optimizer optim.SGD(model.parameters(), lr0.01)# 训练过程
for _ in range(100):input torch.randn(16, 10).to(device)output model(input)loss output.sum()loss.backward()# 梯度裁剪clip_grad_norm_(model.parameters(), max_norm1.0)optimizer.step()optimizer.zero_grad()5. 总结
torch.nn.backends 是 PyTorch 提供的一个后端管理模块主要用于配置和优化深度学习模型在不同硬件和底层库上的执行。通过 torch.nn.backends开发者可以
启用或禁用 cuDNN、MKL 等底层库。优化计算性能自动选择最优算法。确保计算结果的确定性。支持跨硬件的计算任务。
这些功能使得开发者可以更高效地实现和优化深度学习模型的训练和推理同时充分利用硬件的计算能力。 8-pytorch的nn包目录intrinsic
torch.nn.intrinsic 是 PyTorch 中的一个子模块主要用于优化和集成一些常见的神经网络层组合。它的设计目的是为了在某些硬件如 NVIDIA 的 Tensor Core上加速模型的推理和训练过程。具体来说torch.nn.intrinsic 模块提供了一些预定义的“组合层”composite layers这些组合层通常是将多个基本的操作如卷积和批量归一化合并在一起以提高计算效率。
主要功能 组合层Composite Layers torch.nn.intrinsic 提供了一些常见的组合层这些组合层通常是将卷积层Conv2d与批量归一化层BatchNorm2d或其他操作如 ReLU合并在一起。通过将这些操作合并为一个层可以减少内存访问次数优化计算流程从而在某些硬件上获得显著的性能提升。 量化感知训练Quantization-Aware Training torch.nn.intrinsic 模块还与 PyTorch 的量化支持相关。量化是一种将浮点运算转换为低精度运算如 8 位整数的技术可以显著减少模型的存储和计算开销。torch.nn.intrinsic 提供了一些量化友好的组合层使得在量化感知训练过程中能够更方便地处理这些组合操作。
常见的组合层
以下是 torch.nn.intrinsic 中一些常见的组合层 nn.intrinsic.ConvBn2d 将 Conv2d 和 BatchNorm2d 合并为一个层。这种组合在推理阶段可以直接融合为一个卷积操作减少计算开销。 nn.intrinsic.ConvBnReLU2d 将 Conv2d、BatchNorm2d 和 ReLU 合并为一个层。这种组合在推理阶段可以进一步减少计算步骤。 nn.intrinsic.LinearReLU 将 Linear 和 ReLU 合并为一个层。这种组合在某些硬件上可以更高效地执行。
示例
以下是一个使用 ConvBn2d 的简单示例
import torch
import torch.nn as nn
import torch.nn.intrinsic as nni# 定义一个组合层Conv2d BatchNorm2d
class MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.conv_bn nni.ConvBn2d(in_channels3,out_channels16,kernel_size3,stride1,padding1,biasFalse)def forward(self, x):x self.conv_bn(x)return x# 创建模型实例
model MyModel()# 输入数据
input_tensor torch.randn(1, 3, 32, 32) # (batch_size, in_channels, height, width)# 前向传播
output_tensor model(input_tensor)
print(output_tensor.shape) # 输出torch.Size([1, 16, 32, 32])总结
torch.nn.intrinsic 模块的主要作用是通过将常见的神经网络层组合在一起优化计算流程特别是在量化感知训练和某些硬件加速如 Tensor Core的场景下。这些组合层可以显著提高模型的推理速度和训练效率。如果你在使用 PyTorch 并且有性能优化的需求尤其是在量化或硬件加速的场景下torch.nn.intrinsic 模块是一个非常有用的工具。 9-pytorch的nn包目录modules
torch.nn.modules 是 PyTorch 中 torch.nn 模块的核心包之一它包含了所有神经网络模块的基础类和各种具体的神经网络层。nn.modules 的主要作用是提供一种结构化的方式来定义、管理和组织神经网络的各个组件。以下是对 torch.nn.modules 的详细介绍
1. 核心功能
a. Module 类
nn.Module 是所有神经网络模块的基类。所有自定义的神经网络模型都应该继承这个类。nn.Module 提供了以下核心功能 参数管理自动管理模型的参数通过 parameters() 方法访问。子模块管理可以嵌套定义多个子模块形成复杂的神经网络结构。前向传播定义通过重写 forward() 方法来定义前向传播逻辑。
b. 子模块管理
nn.Module 支持嵌套子模块子模块可以通过 self.add_module() 或直接在 __init__ 中定义。子模块会被自动注册到父模块中方便进行统一的管理和调用。
c. 参数管理
所有定义在 nn.Module 中的 nn.Parameter 或 nn.Module 类型的属性都会被自动识别为模型的参数。可以通过 self.parameters() 或 self.named_parameters() 方法访问这些参数。
2. 常见模块
nn.modules 包含了大量的预定义模块这些模块可以直接用于构建神经网络。以下是一些常见的模块
a. 线性层 (nn.Linear)
用于实现全连接层线性变换。示例linear_layer nn.Linear(10, 5)
input_tensor torch.randn(1, 10)
output_tensor linear_layer(input_tensor)b. 卷积层 (nn.Conv2d)
用于实现二维卷积常用于图像处理。示例conv_layer nn.Conv2d(3, 16, kernel_size3, stride1, padding1)
input_tensor torch.randn(1, 3, 32, 32)
output_tensor conv_layer(input_tensor)c. 激活函数 (nn.ReLU, nn.Sigmoid, nn.Tanh)
用于引入非线性。示例relu nn.ReLU()
input_tensor torch.randn(1, 10)
output_tensor relu(input_tensor)d. 池化层 (nn.MaxPool2d, nn.AvgPool2d)
用于降低特征图的维度。示例maxpool_layer nn.MaxPool2d(kernel_size2, stride2)
input_tensor torch.randn(1, 16, 32, 32)
output_tensor maxpool_layer(input_tensor)e. 归一化层 (nn.BatchNorm2d, nn.LayerNorm)
用于加速训练和稳定学习过程。示例batchnorm_layer nn.BatchNorm2d(16)
input_tensor torch.randn(1, 16, 32, 32)
output_tensor batchnorm_layer(input_tensor)f. 损失函数 (nn.CrossEntropyLoss, nn.MSELoss)
用于定义模型的损失函数。示例loss_fn nn.CrossEntropyLoss()
input_tensor torch.randn(3, 5)
target_tensor torch.tensor([1, 0, 4])
loss loss_fn(input_tensor, target_tensor)g. 其他常见模块
丢弃层 (nn.Dropout)用于防止过拟合。循环层 (nn.RNN, nn.LSTM, nn.GRU)用于处理序列数据。注意力机制 (nn.MultiheadAttention)用于实现注意力机制常见于 Transformer 模型。
3. 自定义模块
用户可以通过继承 nn.Module 类来自定义神经网络模块。自定义模块的基本步骤如下
继承 nn.Module 类创建一个新的类并继承 nn.Module。定义初始化方法 (__init__)在初始化方法中定义模型的各个层或子模块。定义前向传播方法 (forward)在前向传播方法中定义数据通过模型的流程。
示例
import torch.nn as nnclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1)self.relu nn.ReLU()self.pool nn.MaxPool2d(kernel_size2, stride2)self.linear nn.Linear(16 * 16 * 16, 10)def forward(self, x):x self.conv1(x)x self.relu(x)x self.pool(x)x x.view(x.size(0), -1) # 展平x self.linear(x)return xmodel MyModel()
input_tensor torch.randn(1, 3, 32, 32)
output_tensor model(input_tensor)
print(output_tensor.shape) # 输出torch.Size([1, 10])4. 模块嵌套
nn.Module 支持模块的嵌套这意味着你可以在一个模块中定义另一个模块。这种方式可以方便地构建复杂的神经网络结构。
示例
class ConvBlock(nn.Module):def __init__(self):super(ConvBlock, self).__init__()self.conv nn.Conv2d(3, 16, kernel_size3, stride1, padding1)self.relu nn.ReLU()def forward(self, x):x self.conv(x)x self.relu(x)return xclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.conv_block ConvBlock()self.linear nn.Linear(16 * 32 * 32, 10)def forward(self, x):x self.conv_block(x)x x.view(x.size(0), -1) # 展平x self.linear(x)return xmodel MyModel()
input_tensor torch.randn(1, 3, 32, 32)
output_tensor model(input_tensor)
print(output_tensor.shape) # 输出torch.Size([1, 10])5. 总结
torch.nn.modules 是 PyTorch 中用于构建神经网络的核心包提供了以下功能
模块化设计通过继承 nn.Module用户可以方便地定义和管理神经网络的各个组件。预定义模块包含了大量常用的神经网络层和操作如卷积、池化、激活函数、归一化等。参数管理自动管理模型的参数方便优化器的使用。模块嵌套支持复杂的神经网络结构可以通过嵌套定义多个子模块。
通过 torch.nn.modules用户可以灵活地构建各种复杂的神经网络模型并且能够高效地进行训练和推理。它是 PyTorch 中神经网络编程的核心工具之一。 10-pytorch的nn包目录parallel
torch.nn.parallel 是 PyTorch 中用于并行计算的模块主要用于在多个 GPU 或多个设备上并行地运行神经网络模型。它提供了几种不同的并行化策略帮助用户充分利用多核 CPU 或多个 GPU 的计算资源从而加速模型的训练和推理过程。
以下是对 torch.nn.parallel 模块的详细解释和工作原理 1. torch.nn.parallel 的主要功能
a. 数据并行 (DataParallel) 功能将输入数据拆分成多个小批次minibatches并将这些小批次分发到不同的 GPU 上进行并行计算。每个 GPU 都会独立处理一部分数据并在反向传播时同步梯度。 优点适用于单机多卡的场景代码实现简单。 缺点由于需要频繁的 GPU 间通信性能可能受限尤其是在 GPU 数量较多的情况下。 适用场景简单的多 GPU 并行训练适合中小型模型。 示例 import torch
import torch.nn as nn# 定义一个简单的模型
model nn.Sequential(nn.Linear(10, 100),nn.ReLU(),nn.Linear(100, 10)
)# 将模型放到 GPU 上
if torch.cuda.is_available():model model.cuda()# 使用 DataParallel 进行数据并行if torch.cuda.device_count() 1:model nn.DataParallel(model)# 定义输入数据
input_data torch.randn(32, 10).cuda()# 前向传播
output model(input_data)
print(output.shape) # 输出torch.Size([32, 10])b. 分布式数据并行 (DistributedDataParallel, DDP) 功能DistributedDataParallel 是 PyTorch 推荐的并行化方案适用于多机多卡的场景。它的核心思想是将模型复制到每个 GPU 上并在每个设备上独立处理数据通过分布式通信库如 NCCL 或 Gloo来同步梯度。 优点 性能优于 DataParallel尤其是在多机多卡的场景下。支持异步梯度同步梯度累积适用于大批量数据的训练。 缺点 实现较为复杂需要额外的分布式启动脚本。 适用场景多机多卡的大规模分布式训练。 示例 import torch
import torch.nn as nn
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDPdef setup(rank, world_size):dist.init_process_group(nccl, rankrank, world_sizeworld_size)def cleanup():dist.destroy_process_group()class ToyModel(nn.Module):def __init__(self):super(ToyModel, self).__init__()self.net nn.Linear(10, 100)def forward(self, x):return self.net(x)def demo_basic(rank, world_size):print(fRunning DDP on rank {rank}.)setup(rank, world_size)# 创建模型并放到当前 GPU 上model ToyModel().to(rank)ddp_model DDP(model, device_ids[rank])# 定义损失函数和优化器loss_fn nn.MSELoss()optimizer torch.optim.SGD(ddp_model.parameters(), lr0.001)# 前向传播和反向传播for _ in range(10):inputs torch.randn(20, 10).to(rank)outputs ddp_model(inputs)loss loss_fn(outputs, torch.randn(20, 100).to(rank))optimizer.zero_grad()loss.backward()optimizer.step()cleanup()if __name__ __main__:world_size 2 # 假设有 2 个 GPUtorch.multiprocessing.spawn(demo_basic, args(world_size,), nprocsworld_size, joinTrue)c. 张量并行 (TensorParallel) 功能将模型的单个张量拆分到多个 GPU 上进行并行计算。例如将一个全连接层的权重矩阵按列或行拆分到不同的 GPU 上。 优点适用于非常大的模型单个 GPU 无法容纳模型权重。 缺点实现复杂需要手动拆分和合并张量。 适用场景超大型模型的训练如 GPT-3 等。 示例 # 示例将一个全连接层拆分到多个 GPU 上
class TensorParallelLinear(nn.Module):def __init__(self, in_features, out_features, n_gpus):super(TensorParallelLinear, self).__init__()self.n_gpus n_gpusself.in_features in_featuresself.out_features out_features# 将权重矩阵按列拆分self.weight nn.Parameter(torch.randn(out_features // n_gpus, in_features))self.bias nn.Parameter(torch.zeros(out_features // n_gpus))def forward(self, x):# 将输入张量复制到多个 GPU 上x x.cuda(0)outputs []for i in range(self.n_gpus):output F.linear(x, self.weight[i * (self.out_features // self.n_gpus): (i 1) * (self.out_features // self.n_gpus)], self.bias)outputs.append(output.cuda(i))return torch.cat(outputs, dim1)2. torch.nn.parallel 的核心类和方法
a. DataParallel
定义DataParallel(module, device_idsNone, output_deviceNone, dim0)参数 module要并行化的模型。device_ids参与并行计算的 GPU 列表。output_device输出结果的设备。 返回值一个支持数据并行的 DataParallel 对象。
b. DistributedDataParallel
定义 DistributedDataParallel(module, device_idsNone, output_deviceNone, process_groupNone, find_unused_parametersFalse)参数 module要并行化的模型。device_ids参与并行计算的 GPU 列表。output_device输出结果的设备。process_group分布式进程组。find_unused_parameters是否自动检测未使用的参数。 返回值一个支持分布式数据并行的 DistributedDataParallel 对象。 3. 选择合适的并行化策略
并行化策略适用场景优点缺点DataParallel单机多卡实现简单快速上手性能较差通信开销大DistributedDataParallel多机多卡性能优异支持大规模分布式训练实现复杂需要分布式启动脚本TensorParallel超大模型单 GPU 无法容纳支持超大型模型的训练实现复杂需要手动拆分张量 4. 总结
torch.nn.parallel 模块提供了多种并行化策略帮助用户充分利用多 GPU 或多机的计算资源。根据不同的应用场景可以选择以下策略
对于单机多卡的简单并行训练可以使用 DataParallel。对于多机多卡的高性能分布式训练推荐使用 DistributedDataParallel。对于超大型模型的训练可以考虑实现自定义的张量并行逻辑。
通过合理的并行化策略可以显著提升模型的训练速度从而更高效地完成深度学习任务。 11-pytorch的nn包目录qat
torch.nn.qat 是 PyTorch 中用于 量化感知训练Quantization-Aware Training, QAT 的模块。量化感知训练是一种在模型训练过程中模拟量化效果的技术目的是让模型在量化后仍能保持较高的精度。量化是将浮点数权重和激活值转换为低精度整数如 8 位整数的过程通常用于减少模型的计算量和内存占用从而加速推理过程并降低功耗。 1. 量化的背景
在深度学习中模型通常使用浮点数如 FP32进行计算。然而浮点数计算需要较高的计算资源和内存带宽。为了在资源受限的设备如移动设备、嵌入式设备上部署模型通常会对模型进行量化即将浮点数转换为低精度的整数如 INT8。量化可以显著减少模型的大小和计算量但可能会引入精度损失。
量化分为两种主要方式
后训练量化Post-Training Quantization, PTQ在模型训练完成后直接对模型进行量化。量化感知训练Quantization-Aware Training, QAT在训练过程中模拟量化效果使模型在量化后仍能保持较高的精度。
torch.nn.qat 主要用于实现量化感知训练。 2. torch.nn.qat 的功能
torch.nn.qat 提供了一系列模块如 nn.qat.Linear、nn.qat.Conv2d 等这些模块在训练过程中会模拟量化的效果从而让模型在量化后仍能保持较高的精度。具体来说torch.nn.qat 的功能包括
模拟量化在训练过程中torch.nn.qat 模块会模拟量化操作如将浮点数转换为整数但实际计算仍使用浮点数。反向传播优化通过模拟量化模型可以在训练过程中学习如何适应量化带来的精度损失。无缝转换训练完成后torch.nn.qat 模块可以无缝转换为量化模块如 torch.nn.quantized.Linear从而直接用于推理。 3. torch.nn.qat 的核心模块
torch.nn.qat 提供了以下核心模块
nn.qat.Linear量化感知的全连接层。nn.qat.Conv2d量化感知的二维卷积层。nn.qat.Conv3d量化感知的三维卷积层。nn.qat.Embedding量化感知的嵌入层。
这些模块的使用方式与普通的 torch.nn 模块类似但在训练过程中会模拟量化效果。 4. 量化感知训练的流程
量化感知训练通常包括以下步骤
定义模型使用 torch.nn.qat 模块定义模型。训练模型在训练过程中torch.nn.qat 模块会模拟量化效果。转换为量化模型训练完成后将 torch.nn.qat 模块转换为量化模块如 torch.nn.quantized.Linear。推理使用量化模型进行推理。 5. 代码示例
以下是一个使用 torch.nn.qat 进行量化感知训练的简单示例
import torch
import torch.nn as nn
import torch.nn.qat as nnqat
import torch.optim as optim
from torch.quantization import prepare_qat, convert# 定义一个简单的模型
class SimpleModel(nn.Module):def __init__(self):super(SimpleModel, self).__init__()self.conv nnqat.Conv2d(1, 32, kernel_size3, stride1, padding1)self.relu nn.ReLU()self.fc nnqat.Linear(32 * 28 * 28, 10)def forward(self, x):x self.conv(x)x self.relu(x)x x.view(x.size(0), -1)x self.fc(x)return x# 创建模型实例
model SimpleModel()# 准备量化感知训练
model.qconfig torch.quantization.get_default_qat_qconfig(fbgemm)
model prepare_qat(model)# 定义损失函数和优化器
criterion nn.CrossEntropyLoss()
optimizer optim.SGD(model.parameters(), lr0.01)# 模拟训练过程
for epoch in range(10):inputs torch.randn(32, 1, 28, 28) # 模拟输入数据labels torch.randint(0, 10, (32,)) # 模拟标签数据optimizer.zero_grad()outputs model(inputs)loss criterion(outputs, labels)loss.backward()optimizer.step()# 转换为量化模型
model convert(model)# 推理
with torch.no_grad():test_input torch.randn(1, 1, 28, 28)output model(test_input)print(output)6. torch.nn.qat 的工作原理
在量化感知训练过程中torch.nn.qat 模块会执行以下操作
前向传播 在每次前向传播时torch.nn.qat 模块会模拟量化操作如将浮点数转换为整数但实际计算仍使用浮点数。这种模拟量化操作可以帮助模型适应量化带来的精度损失。 反向传播 在反向传播时torch.nn.qat 模块会计算梯度并更新权重同时考虑量化带来的影响。 转换 训练完成后torch.nn.qat 模块可以无缝转换为量化模块如 torch.nn.quantized.Linear从而直接用于推理。 7. torch.nn.qat 的适用场景
torch.nn.qat 适用于以下场景
需要在资源受限的设备如移动设备、嵌入式设备上部署模型。需要在保持较高精度的同时减少模型的计算量和内存占用。需要在训练过程中模拟量化效果从而让模型在量化后仍能保持较高的精度。 8. 总结
torch.nn.qat 是 PyTorch 中用于量化感知训练的模块通过在训练过程中模拟量化效果帮助模型在量化后仍能保持较高的精度。它的核心功能包括模拟量化、反向传播优化和无缝转换为量化模型。通过使用 torch.nn.qat 可以在资源受限的设备上高效部署深度学习模型。 12-pytorch的nn包目录quantizable
在 PyTorch 中nn.quantizable 是一个用于量化感知训练Quantization-Aware Training, QAT的模块集。量化感知训练是一种训练技术它在训练过程中模拟量化操作以使模型在量化后仍然保持较高的精度。量化是将模型的权重和激活从浮点数转换为低精度整数如8位整数这可以显著减少模型的大小和计算量从而提高推理速度并降低功耗。
nn.quantizable 的用途
nn.quantizable 模块主要用于实现量化感知训练。通过使用这些模块开发者可以在训练过程中模拟量化操作从而使模型学习到在量化后仍然表现良好的参数。
具体来说nn.quantizable 模块会在训练期间模拟量化效果但实际的计算仍然使用浮点数以确保数值稳定性。这样模型在训练过程中就能够适应量化带来的精度损失并通过反向传播来优化参数。
核心概念 量化感知训练QAT 在训练过程中模拟量化操作使模型学习到在量化后仍然表现良好的参数。 模拟量化 在训练期间模拟量化操作如权重和激活的量化但实际计算仍然使用浮点数。 转换为量化模型 训练完成后将模型转换为真正的量化模型以便在推理时使用低精度整数进行计算。
主要模块
nn.quantizable 提供了一系列的量化感知模块例如
nn.quantizable.Linear量化感知的线性层。nn.quantizable.Conv2d量化感知的二维卷积层。nn.quantizable.Conv3d量化感知的三维卷积层。nn.quantizable.Embedding量化感知的嵌入层。
这些模块的使用方式与对应的非量化版本类似但它们在训练过程中会模拟量化效果。
使用流程
使用 nn.quantizable 进行量化感知训练通常包括以下几个步骤 定义模型 使用 nn.quantizable 模块定义模型结构。 准备量化 设置量化配置准备量化感知训练。 训练模型 在训练过程中模拟量化效果训练模型。 转换为量化模型 训练完成后将模型转换为量化模型以便进行高效的推理。
示例代码
以下是一个简单的示例展示了如何使用 nn.quantizable 进行量化感知训练
import torch
import torch.nn as nn
import torch.nn.quantizable as nnqat
import torch.optim as optim
from torch.quantization import prepare_qat, convertclass SimpleModel(nn.Module):def __init__(self):super(SimpleModel, self).__init__()self.conv nnqat.Conv2d(1, 32, kernel_size3, stride1, padding1)self.relu nn.ReLU()self.fc nnqat.Linear(32 * 28 * 28, 10)def forward(self, x):x self.conv(x)x self.relu(x)x x.view(x.size(0), -1)x self.fc(x)return x# 创建模型实例
model SimpleModel()# 设置量化配置
model.qconfig torch.quantization.get_default_qat_qconfig(fbgemm)# 准备量化感知训练
model prepare_qat(model)# 定义损失函数和优化器
criterion nn.CrossEntropyLoss()
optimizer optim.SGD(model.parameters(), lr0.001)# 模拟训练过程
for epoch in range(10):inputs torch.randn(32, 1, 28, 28)labels torch.randint(0, 10, (32,))optimizer.zero_grad()outputs model(inputs)loss criterion(outputs, labels)loss.backward()optimizer.step()# 转换为量化模型
model convert(model)# 进行推理
with torch.no_grad():test_input torch.randn(1, 1, 28, 28)output model(test_input)print(output)总结
nn.quantizable 是 PyTorch 中用于量化感知训练的重要模块集它允许开发者在训练过程中模拟量化效果从而在不显著损失精度的情况下减小模型大小并提高推理效率。通过使用这些模块可以更有效地将深度学习模型部署到资源受限的设备上。 13-pytorch的nn包目录quantized
torch.nn.quantized 是 PyTorch 中用于表示和操作 量化模型 的模块。量化模型是指在推理阶段使用低精度整数如 INT8进行计算的模型。通过量化可以显著减少模型的计算量和内存占用从而提高推理速度并降低功耗。torch.nn.quantized 提供了一系列的量化模块用于替代传统的浮点数模块以便在推理阶段使用。 1. 量化的背景
在深度学习中模型通常使用浮点数如 FP32进行计算。然而浮点数计算需要较高的计算资源和内存带宽。为了在资源受限的设备如移动设备、嵌入式设备上部署模型通常会使用量化技术将模型的权重和激活值从浮点数转换为低精度整数如 INT8。量化可以带来以下好处
减少模型的存储空间和内存占用。加速推理速度因为整数运算通常比浮点运算更快。降低功耗尤其是在硬件支持低精度计算的情况下。
量化分为两种主要方式
后训练量化Post-Training Quantization, PTQ在模型训练完成后直接对模型进行量化。量化感知训练Quantization-Aware Training, QAT在训练过程中模拟量化使模型在量化后仍能保持较高的精度。
torch.nn.quantized 主要用于表示后训练量化和量化感知训练后的量化模型。 2. torch.nn.quantized 的功能
torch.nn.quantized 提供了一系列的量化模块用于替代传统的浮点数模块如 torch.nn.Linear 和 torch.nn.Conv2d 。量化模块在推理阶段使用低精度整数进行计算从而实现高效的推理。具体来说torch.nn.quantized 的功能包括
量化操作将模型的权重和激活值从浮点数转换为低精度整数。整数运算在推理过程中使用整数运算而不是传统的浮点运算。高效推理通过减少计算量和内存占用显著提高推理速度。 3. torch.nn.quantized 的核心模块
torch.nn.quantized 提供了以下核心模块支持 INT8 量化
nn.quantized.Linear量化版本的线性层。nn.quantized.Conv2d量化版本的二维卷积层。nn.quantized.Conv3d量化版本的三维卷积层。nn.quantized.ReLU量化版本的 ReLU 激活函数。nn.quantized.FloatFunctional用于处理量化模型的数学操作如加法、乘法。nn.quantized.Embedding量化版本的嵌入层。nn.quantized.LSTM量化版本的 LSTM 模块。
这些模块在推理阶段使用整数运算从而实现高效的推理。 4. 量化模型的创建流程
创建一个量化模型的典型流程如下
训练模型使用浮点数模型进行训练如果使用 QAT则使用 torch.nn.qat 模块进行量化感知训练。准备量化将训练好的模型转换为量化模型。推理使用量化模型进行推理。 5. 代码示例
以下是一个简单的示例展示了如何使用 torch.nn.quantized 模块构建和使用量化模型
import torch
import torch.nn as nn
import torch.nn.quantized as nnq
import torch.quantization as quant# 1. 定义一个简单的浮点数模型
class SimpleModel(nn.Module):def __init__(self):super(SimpleModel, self).__init__()self.conv nn.Conv2d(1, 32, kernel_size3, stride1, padding1)self.relu nn.ReLU()self.fc nn.Linear(32 * 28 * 28, 10)def forward(self, x):x self.conv(x)x self.relu(x)x x.view(x.size(0), -1)x self.fc(x)return x# 2. 创建浮点数模型实例
model SimpleModel()# 3. 准备量化
model.qconfig quant.get_default_qconfig(fbgemm) # 设置量化配置
quant.prepare(model, inplaceTrue) # 准备量化# 4. 校准模型需要提供校准数据
with torch.no_grad():# 模拟输入数据inputs torch.randn(32, 1, 28, 28)model(inputs) # 通过前向传播校准量化参数# 5. 转换为量化模型
quant.convert(model, inplaceTrue)# 6. 推理
# 注意量化模型需要使用特殊的数据格式如 QuantizedTensor
with torch.no_grad():test_input torch.randn(1, 1, 28, 28)test_input_quantized torch.quantize_per_tensor(test_input, scale1.0, zero_point0, dtypetorch.quint8)output model(test_input_quantized)print(output)6. torch.nn.quantized 的工作原理
在量化模型的推理过程中torch.nn.quantized 模块会执行以下操作
权重和激活的量化 将模型的权重和激活值从浮点数转换为低精度整数如 INT8。 整数运算 使用整数运算代替传统的浮点运算从而减少计算量。 反量化 在某些情况下如输出层将整数结果反量化为浮点数以便进行后续计算或输出。 7. torch.nn.quantized 的适用场景
torch.nn.quantized 适用于以下场景
需要将训练好的模型部署到资源受限的设备如移动设备、嵌入式设备。需要在推理阶段显著减少模型的计算量和内存占用。需要提高推理速度并降低功耗。 8. 总结
torch.nn.quantized 是 PyTorch 中用于表示和操作量化模型的模块。它提供了量化版本的常见神经网络层如线性层、卷积层允许在推理阶段使用低精度整数进行计算从而显著提高推理效率。通过使用 torch.nn.quantized 可以将深度学习模型高效地部署到资源受限的设备上。 14-pytorch的nn包目录utils
torch.nn.utils 是 PyTorch 提供的一个实用工具模块旨在简化深度学习模型训练和推理过程中的各种任务。它包含了一系列辅助函数和类用于数据处理、模型训练、保存和加载、模块管理等。通过使用 torch.nn.utils 开发者可以更高效地实现复杂的深度学习任务。 1. torch.nn.utils 的主要功能
torch.nn.utils 提供了以下几类实用工具
梯度处理 用于裁剪梯度Gradient Clipping防止梯度爆炸。 模型序列化 保存和加载模型参数。 模块管理 用于管理模块的参数和梯度。 量化支持 为量化模型提供辅助工具。 通用工具 提供如数据拆分、模块复制等通用功能。 2. torch.nn.utils 的核心模块和方法
以下是 torch.nn.utils 中的一些核心模块和方法
2.1 梯度处理 torch.nn.utils.clip_grad_norm_ 裁剪模型参数的梯度范数防止梯度爆炸。常用在训练中避免梯度过大导致模型不稳定。示例import torch.nn as nn
import torch.optim as optim
from torch.nn.utils import clip_grad_norm_model nn.Linear(10, 1)
optimizer optim.SGD(model.parameters(), lr0.01)
input torch.randn(1, 10)
output model(input)
loss output.sum()
loss.backward()# 裁剪梯度最大范数为 1.0
clip_grad_norm_(model.parameters(), max_norm1.0)
optimizer.step()torch.nn.utils.clip_grad_value_ 裁剪模型参数的梯度值将其限制在某个范围内。示例from torch.nn.utils import clip_grad_value_clip_grad_value_(model.parameters(), clip_value0.1)
optimizer.step()2.2 模型序列化
torch.nn.utils.saved_tensors_hooks 用于管理和优化保存的中间张量减少内存占用。
2.3 模块管理 torch.nn.utils.rnn.PackedSequence 用于处理可变长度序列数据常用于 RNN/LSTM/GRU 等模型。示例from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence# 假设 input_seq 是变长序列lengths 是每个序列的长度
packed_input pack_padded_sequence(input_seq, lengths, batch_firstTrue)
output, _ rnn(packed_input)
output, _ pad_packed_sequence(output, batch_firstTrue)torch.nn.utils.prune 用于模型剪枝Model Pruning减少模型参数提升推理效率。示例import torch.nn.utils.prune as prunemodel nn.Linear(10, 1)
prune.l1_unstructured(model, nameweight, amount0.3) # 剪枝 30% 的权重2.4 量化支持
torch.nn.utils.convert_parameters 用于将模型的参数从浮点数转换为量化版本。
2.5 通用工具 torch.nn.utils.parameters_to_vector 和 torch.nn.utils.vector_to_parameters 将模型的参数展开为一维向量或从一维向量恢复为模型参数。示例from torch.nn.utils import parameters_to_vector, vector_to_parametersparams_vector parameters_to_vector(model.parameters())
print(params_vector.shape)# 从向量恢复参数
vector_to_parameters(params_vector, model.parameters())torch.nn.utils.weight_norm 为模型的权重添加归一化Weight Normalization加速收敛。示例from torch.nn.utils import weight_normmodel nn.Linear(10, 1)
model weight_norm(model, nameweight)3. torch.nn.utils 的适用场景
torch.nn.utils 适用于以下场景
梯度裁剪 防止梯度爆炸提升训练的稳定性。 模型剪枝 减少模型参数提升推理效率。 序列数据处理 处理可变长度序列数据常用于 RNN/LSTM/GRU。 模型参数管理 将模型参数展开或恢复便于存储和传输。 量化模型 为量化模型提供辅助工具。 4. 总结
torch.nn.utils 是 PyTorch 提供的一个实用工具模块涵盖了深度学习中的多种实用功能包括梯度处理、模型序列化、模块管理、量化支持等。通过使用 torch.nn.utils 开发者可以更高效地实现复杂的深度学习任务例如
防止梯度爆炸clip_grad_norm_。处理可变长度序列数据PackedSequence。对模型进行剪枝prune。管理模型参数parameters_to_vector。
这些工具极大地简化了深度学习模型的开发、训练和推理流程提升了开发效率。
文章转载自： http://www.morning.sqskm.cn.gov.cn.sqskm.cn http://www.morning.pndw.cn.gov.cn.pndw.cn http://www.morning.lszjq.cn.gov.cn.lszjq.cn http://www.morning.pzdxg.cn.gov.cn.pzdxg.cn http://www.morning.fwdln.cn.gov.cn.fwdln.cn http://www.morning.ggfdq.cn.gov.cn.ggfdq.cn http://www.morning.tslxr.cn.gov.cn.tslxr.cn http://www.morning.bdsyu.cn.gov.cn.bdsyu.cn http://www.morning.fpngg.cn.gov.cn.fpngg.cn http://www.morning.kwz6232.cn.gov.cn.kwz6232.cn http://www.morning.lbxhy.cn.gov.cn.lbxhy.cn http://www.morning.mrbmc.cn.gov.cn.mrbmc.cn http://www.morning.swwpl.cn.gov.cn.swwpl.cn http://www.morning.rfmzc.cn.gov.cn.rfmzc.cn http://www.morning.ktqtf.cn.gov.cn.ktqtf.cn http://www.morning.jspnx.cn.gov.cn.jspnx.cn http://www.morning.hchrb.cn.gov.cn.hchrb.cn http://www.morning.incmt.com.gov.cn.incmt.com http://www.morning.rmfwh.cn.gov.cn.rmfwh.cn http://www.morning.xlxmy.cn.gov.cn.xlxmy.cn http://www.morning.xnltz.cn.gov.cn.xnltz.cn http://www.morning.xpqdf.cn.gov.cn.xpqdf.cn http://www.morning.gtbjf.cn.gov.cn.gtbjf.cn http://www.morning.jngdh.cn.gov.cn.jngdh.cn http://www.morning.ubpsa.cn.gov.cn.ubpsa.cn http://www.morning.xhkgl.cn.gov.cn.xhkgl.cn http://www.morning.cndxl.cn.gov.cn.cndxl.cn http://www.morning.ywpwq.cn.gov.cn.ywpwq.cn http://www.morning.jwwfk.cn.gov.cn.jwwfk.cn http://www.morning.ngqty.cn.gov.cn.ngqty.cn http://www.morning.byywt.cn.gov.cn.byywt.cn http://www.morning.prmbb.cn.gov.cn.prmbb.cn http://www.morning.tkqzr.cn.gov.cn.tkqzr.cn http://www.morning.rcdmp.cn.gov.cn.rcdmp.cn http://www.morning.fwkq.cn.gov.cn.fwkq.cn http://www.morning.dnpft.cn.gov.cn.dnpft.cn http://www.morning.yhwmg.cn.gov.cn.yhwmg.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.dkfrd.cn.gov.cn.dkfrd.cn http://www.morning.rgfx.cn.gov.cn.rgfx.cn http://www.morning.xsjfk.cn.gov.cn.xsjfk.cn http://www.morning.dskzr.cn.gov.cn.dskzr.cn http://www.morning.kgxyd.cn.gov.cn.kgxyd.cn http://www.morning.xnyfn.cn.gov.cn.xnyfn.cn http://www.morning.bhwz.cn.gov.cn.bhwz.cn http://www.morning.kgcss.cn.gov.cn.kgcss.cn http://www.morning.wgbmj.cn.gov.cn.wgbmj.cn http://www.morning.rdlxh.cn.gov.cn.rdlxh.cn http://www.morning.wqkfm.cn.gov.cn.wqkfm.cn http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn http://www.morning.rkjb.cn.gov.cn.rkjb.cn http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.yzzfl.cn.gov.cn.yzzfl.cn http://www.morning.bmlcy.cn.gov.cn.bmlcy.cn http://www.morning.wtdyq.cn.gov.cn.wtdyq.cn http://www.morning.xsgxp.cn.gov.cn.xsgxp.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.lxngn.cn.gov.cn.lxngn.cn http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.syrzl.cn.gov.cn.syrzl.cn http://www.morning.lmpfk.cn.gov.cn.lmpfk.cn http://www.morning.gagapp.cn.gov.cn.gagapp.cn http://www.morning.rykmf.cn.gov.cn.rykmf.cn http://www.morning.qrpdk.cn.gov.cn.qrpdk.cn http://www.morning.cwlxs.cn.gov.cn.cwlxs.cn http://www.morning.mm27.cn.gov.cn.mm27.cn http://www.morning.dbrdg.cn.gov.cn.dbrdg.cn http://www.morning.jwdys.cn.gov.cn.jwdys.cn http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.txysr.cn.gov.cn.txysr.cn http://www.morning.qxbsq.cn.gov.cn.qxbsq.cn http://www.morning.cgstn.cn.gov.cn.cgstn.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.nmfxs.cn.gov.cn.nmfxs.cn http://www.morning.yrrnx.cn.gov.cn.yrrnx.cn http://www.morning.rsnd.cn.gov.cn.rsnd.cn http://www.morning.qfrsm.cn.gov.cn.qfrsm.cn http://www.morning.zdmlt.cn.gov.cn.zdmlt.cn http://www.morning.tmxtr.cn.gov.cn.tmxtr.cn http://www.morning.mstbbs.com.gov.cn.mstbbs.com
