东莞市网站seo内容优化,百度云网盘免费资源,正定网站设计公司,上海网站备案信息注销什么是与训练和微调#xff1f;
你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先#xff0c;你需要随机初始化参数#xff0c;然后开始训练网络#xff0c;不断调整参数#xff0c;直到网络的损失越来越小。在训练的过程中#xff0c;一开始初始化的参数会…什么是与训练和微调
你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先你需要随机初始化参数然后开始训练网络不断调整参数直到网络的损失越来越小。在训练的过程中一开始初始化的参数会不断变化。当你觉得结果很满意的时候你就可以将训练模型的参数保存下来以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-training。之后你又接收到一个类似的图像分类的任务。这时候你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数然后在训练的过程中依据结果不断进行一些修改。这时候你使用的就是一个 pre-trained 模型而过程就是 fine-tuning。
所以预训练 就是指预先训练的一个模型或者指预先训练模型的过程微调就是指将预训练过的模型作用于自己的数据集并使参数适应自己数据集的过程。
网络架构
一个神经网络一般可以分为两块
特征抽取将原始像素变成容易线性分割的特征线性分类器来做分类 微调 微调中的权重初始化 训练
是一个目标数据集上的正常训练任务但使用更强的正则化
使用更小的学习率使用更少的数据迭代
源数据集远复杂与目标数据通常微调效果更好。
重用分类器权重
源数据集可能也有目标数据中的部分标号可以使用预训练好模型分类器中对应标号对应的向量来做初始化
固定一些层
神经网络通常学习有层次的特征表示
低层次的特征更加通用高层次的特征则更跟数据集相关
可以固定底部一些层参数不参与更新
更强的正则 总结 微调通过使用在大数据上得到的预训练好的模型来初始化模型权重来完成提升精度预训练模型质量很重要微调通常速度更快、精度更高
