网站如何做微信推广,泰安红河网站建设,互联网推广和传统营销有哪些相同点,软件开发公司的成本有哪些目录
1. CLIP
2. ALBEF
3. BLIP
4. BLIP2
参考文献 #xff08;2023年#xff09;视觉语言的多模态大模型的目前主流方法是#xff1a;借助预训练好的LLM和图像编码器#xff0c;用一个图文特征对齐模块来连接#xff0c;从而让语言模型理解图像特征并进行深层次的问…目录
1. CLIP
2. ALBEF
3. BLIP
4. BLIP2
参考文献 2023年视觉语言的多模态大模型的目前主流方法是借助预训练好的LLM和图像编码器用一个图文特征对齐模块来连接从而让语言模型理解图像特征并进行深层次的问答推理。 这样可以利用已有的大量单模态训练数据训练得到的单模态模型减少对于高质量图文对数据的依赖并通过特征对齐、指令微调等方式打通两个模态的表征。下图来自其他 up 的概括内容来自https://zhuanlan.zhihu.com/p/653902791 对于CLIP部分公式均参照该链接仅了解损失函数。 图 基础MLLM的架构整理
1. CLIP 分别对图像、文本进行特征提取两部分的backbone可以分别采用Resnet系列模型/VIT系列模型、BERT模型。特征提取后直接相乘计算余弦相似度然后采用对比损失info-nce-loss。
训练损失
交叉熵代价损失cross entropy基础有监督学习分类损失函数。 图 n个类别多分类的交叉熵代价函数
NCEnoise contrastive estimation相比于交叉熵损失这里将多问题转化为二分类问题即正样本和噪声样本目标学习正样本和噪声样本之间的差异。 图 噪声对比
info-NCENCE的变体将噪声样本按多类别看待。存在一个temp的温度系数。 图 info-NCE loss
2. ALBEF 动机该项工作之前的视觉预训练模型一般采用Object Detector的方式这种Detector能够提取图像上的目标或边界信息。然而这种训练方式有如下几点限制
图像特征和文本编码token分别处于各子的特征空间这使得多模态关联性挖掘存在巨大挑战这种训练方式会产生额外的解释开销和计算开销对于物体目标含量低的样本模型性能受限于Detector的检测精度图像文本样本数据一般来源于网络具有严重的噪声影响会导致模型性能降级。 ALBEF模型架构如图所示ALBEF模型架构分为image encoder 、text encoder 和多模态编码器其中左半部分类似Transformertext encoder将12层分为两部分前6层作为text encoder后6层作为视觉特征和文本特征的融合。由于视觉和文本的编码都包含[CLS]标签这种标签因自注意力机制的影响被认为包含全局信息所以可以将视觉和文本的全局信息进行 Image-Text Contrastive Loss。 图 ALBEF架构图 如图ITM部分该部分称为图像文本匹配Image-Text matching,该部分利用的负样本采用 hard negatives 的方式进行生成即通过ITCiamge-text Contrastive计算出的次分类结果该结果能够作为模型难以理解的样本进而计算损失。 除此之外由于动机中描述的网络图文样本对的噪声影响ALBEF设计一个Momentum Model动量模型解决上述问题。简要描述该组件的作用即类似知识蒸馏方法拷贝出原始模型的动量版本通过动量模型对原始模型规约加深原始模型和动量模型间的图文对匹配程度进而消除原始样本数据中的噪声干扰。
3. BLIP 动机从模型的角度当前预训练模型的任务涵盖范围受限。例如基于Encoder的模型无法做生成任务而基于Encoder-Decoder的模型无法做检索任务不能更充分的理解任务信息。从数据的角度网络图文对具有严重的数据噪声。 BLIP模型架构BLIP全称Bootstrapped Language-Image Pre-training该模型包括三个下游任务图像文本对比学习、图像文本匹配和语言建模LM该任务类似GPT给定段落前一段话预测后一段而不是BERT那种完型填空的方式。 图 BLIT模型架构
Bootstrapped机制采用一种迭代的、自我改进的学习过程来提升模型性能该机制有助于提高模型在跨模态任务中的对齐和理解能力。1初始模型训练阶段首先使用大量的单模态数据如图像/文本对文本编码器和图像编码器进行预训练如图中的 Image Encoder 和 Text Encoder。然后利用多模态数据即图文对数据对初始模型进行训练2迭代更新阶段采用Captioning and Filtering的方式从网页噪声图像文本对中学习训练BLIP。image-text contrastive图像文本对比和ALBEF类似利用[CLS]信息进行对比学习。Image-grounded Text Encoder图像文本匹配编码器采用一种 Cross Attention 模块将图像信息融入文本编码过程中增强文本的上下文表示进而理解图像的相关描述。Image-grounded Text Decoder图像关联文本解码器将原来的 Bi Self-Attention 替换为 Causal Self-Attention用于预测下一个token该解码器用于文本生成或多模态推理任务。 soft lables是指标签值在[0,1]之间的概率值而不是离散的0或1反映样本属于某一个类的置信度。有助于平滑标签分布提高模型的泛化能力减少过拟合。Hard Negative Mining Strategy在训练过程中专门选择那些模型难以区分的负样本以增强模型的判别能力。 如何消除网络样本噪声的影响BLIP采用 Filter-Captioner 的方式如图所示通过生成过滤的方式生成更匹配图像的Caption进而完善样本集。具体而言对于给定的训练集包含网络文本 、人工正确标注文本 由于前文有 ITC、ITM 和 LM 损失因此在部分利用这些指标训练 Filtergrounded Encoder和 Captionergrounded Decoder,Captioner会生成文本数据 将 和 交由 Filter 微调更加匹配图像的文本信息最终获得信息匹配程度更紧密的样本集。 图 Filter-Captioner机制
4. BLIP2
动机回顾之前的研究无论是视觉预训练模型还是语言预训练模型其规模都是庞大的这种模型架构会产生巨额开销。
BLIP2架构BLIP2全称Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models视图将视觉预训练模型和语言预训练模型参数均进行冻结。然而这会导致视觉特征和文本特征都处于各自的特征空间存在巨大的 modality gap。因此BLIP2中采用 Q-FormerQuery Transformer 的一种轻量级Transformer技术该技术用于弥补视觉和语言两种模态的 modality gap选取最匹配的视觉特征给后续LLM生成文本。 图 BLIP2的模型架构 Q-Former是一个可学习的组件学习的参数包括若干queries这些queries最终从 image encoder中提取固定数量的视觉特征学习与文本更匹配的视觉特征。 queries间的彼此交互通过共享自注意力层和冻结的图像特征交互使用的跨模态注意力机制层然后queries也能通过共享自注意力层与文本特征进行交互。整个Q-Former由Image Transformer和Text Transformer两个子模块构成它们共享相同自注意力层。
Image Transformer通过和image encoder交互来提取视觉特征输入是一系列文中用的32个*768长度可学习的 Queries这些Query通过自注意力层相互交互并通过交叉注意力层与冻结的图像特征交互还可以通过共享的自注意力层与文本进行交互输出的query尺寸是32*768远小于冻结的图像特征257*1024(ViT-L/14)。Text Transformer既作为文本编码器也作为文本解码器它的自注意力层与Image Transformer共享根据预训练任务用不同的self-attention masks来控制Query和文本的交互方式。
参考文献
多模态大模型 CLIP, BLIP, BLIP2, LLaVA, miniGPT4, InstructBLIP 系列解读
BLIP2的前世与今生
ALBEF原文
BLIP原文
BLIP2原文 文章转载自： http://www.morning.dwdjj.cn.gov.cn.dwdjj.cn http://www.morning.pgzgy.cn.gov.cn.pgzgy.cn http://www.morning.btrfm.cn.gov.cn.btrfm.cn http://www.morning.ndpwg.cn.gov.cn.ndpwg.cn http://www.morning.rhsg.cn.gov.cn.rhsg.cn http://www.morning.crfjj.cn.gov.cn.crfjj.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.mrttc.cn.gov.cn.mrttc.cn http://www.morning.gbsby.cn.gov.cn.gbsby.cn http://www.morning.mhnxs.cn.gov.cn.mhnxs.cn http://www.morning.bchfp.cn.gov.cn.bchfp.cn http://www.morning.nspzy.cn.gov.cn.nspzy.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.qtzqk.cn.gov.cn.qtzqk.cn http://www.morning.pwdrc.cn.gov.cn.pwdrc.cn http://www.morning.plwfx.cn.gov.cn.plwfx.cn http://www.morning.jsdntd.com.gov.cn.jsdntd.com http://www.morning.zmpqt.cn.gov.cn.zmpqt.cn http://www.morning.fpkdd.cn.gov.cn.fpkdd.cn http://www.morning.rfyff.cn.gov.cn.rfyff.cn http://www.morning.wdhlc.cn.gov.cn.wdhlc.cn http://www.morning.rxlck.cn.gov.cn.rxlck.cn http://www.morning.fydsr.cn.gov.cn.fydsr.cn http://www.morning.ydrfl.cn.gov.cn.ydrfl.cn http://www.morning.kndst.cn.gov.cn.kndst.cn http://www.morning.pqxjq.cn.gov.cn.pqxjq.cn http://www.morning.wlgpz.cn.gov.cn.wlgpz.cn http://www.morning.sflnx.cn.gov.cn.sflnx.cn http://www.morning.clxpp.cn.gov.cn.clxpp.cn http://www.morning.cnvlog.cn.gov.cn.cnvlog.cn http://www.morning.4q9h.cn.gov.cn.4q9h.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.wjtwn.cn.gov.cn.wjtwn.cn http://www.morning.wnbpm.cn.gov.cn.wnbpm.cn http://www.morning.bwjws.cn.gov.cn.bwjws.cn http://www.morning.nydgg.cn.gov.cn.nydgg.cn http://www.morning.smfbw.cn.gov.cn.smfbw.cn http://www.morning.dpbdq.cn.gov.cn.dpbdq.cn http://www.morning.pffqh.cn.gov.cn.pffqh.cn http://www.morning.kyfrl.cn.gov.cn.kyfrl.cn http://www.morning.qxmpp.cn.gov.cn.qxmpp.cn http://www.morning.ranglue.com.gov.cn.ranglue.com http://www.morning.jbxd.cn.gov.cn.jbxd.cn http://www.morning.jcbmm.cn.gov.cn.jcbmm.cn http://www.morning.51meihou.cn.gov.cn.51meihou.cn http://www.morning.sqqds.cn.gov.cn.sqqds.cn http://www.morning.gcqdp.cn.gov.cn.gcqdp.cn http://www.morning.hqllx.cn.gov.cn.hqllx.cn http://www.morning.rbkl.cn.gov.cn.rbkl.cn http://www.morning.skdhm.cn.gov.cn.skdhm.cn http://www.morning.ysqb.cn.gov.cn.ysqb.cn http://www.morning.gnlyq.cn.gov.cn.gnlyq.cn http://www.morning.pdkht.cn.gov.cn.pdkht.cn http://www.morning.yslfn.cn.gov.cn.yslfn.cn http://www.morning.rwzmz.cn.gov.cn.rwzmz.cn http://www.morning.xxlz.cn.gov.cn.xxlz.cn http://www.morning.qnzk.cn.gov.cn.qnzk.cn http://www.morning.cnfjs.cn.gov.cn.cnfjs.cn http://www.morning.yccnj.cn.gov.cn.yccnj.cn http://www.morning.wngpq.cn.gov.cn.wngpq.cn http://www.morning.hnpkr.cn.gov.cn.hnpkr.cn http://www.morning.jwtwf.cn.gov.cn.jwtwf.cn http://www.morning.fwgnq.cn.gov.cn.fwgnq.cn http://www.morning.mmhaoma.com.gov.cn.mmhaoma.com http://www.morning.jlboyuan.cn.gov.cn.jlboyuan.cn http://www.morning.rjrlx.cn.gov.cn.rjrlx.cn http://www.morning.tzcr.cn.gov.cn.tzcr.cn http://www.morning.cwtrl.cn.gov.cn.cwtrl.cn http://www.morning.ztjhz.cn.gov.cn.ztjhz.cn http://www.morning.qmzhy.cn.gov.cn.qmzhy.cn http://www.morning.cknrs.cn.gov.cn.cknrs.cn http://www.morning.kxnjg.cn.gov.cn.kxnjg.cn http://www.morning.rkxqh.cn.gov.cn.rkxqh.cn http://www.morning.lkhfm.cn.gov.cn.lkhfm.cn http://www.morning.lpzyq.cn.gov.cn.lpzyq.cn http://www.morning.cpzkq.cn.gov.cn.cpzkq.cn http://www.morning.tblbr.cn.gov.cn.tblbr.cn http://www.morning.pqnpd.cn.gov.cn.pqnpd.cn http://www.morning.tdzxy.cn.gov.cn.tdzxy.cn http://www.morning.xgbq.cn.gov.cn.xgbq.cn
