城乡建设网官方网站,seo月薪,网站上海网站建设,网站备案查询工信部app#xff01;#xff01;#xff01;目前只是初稿#xff0c;静待周末更新
引言
TinyGPT-V来自论文#xff1a;TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones#xff0c;是一篇基于较小LLM作为backbone的多模态工作。相关工作已经开源目前只是初稿静待周末更新
引言
TinyGPT-V来自论文TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones是一篇基于较小LLM作为backbone的多模态工作。相关工作已经开源地址为Github
之所以选择这篇文章是因为比较具有落地意义且便于本地运行查看和调试。
整体结构图
推理流程
训练阶段
Q A
QFormer作用
QFormer来自论文BCLI2工作中用来弥补Frozen Image encoder和Frozen LLM之间的gap。 基于Bert作为初始化的。
推理结构图 #mermaid-svg-Y0YWXMz6JnCd6Ega {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .error-icon{fill:#552222;}#mermaid-svg-Y0YWXMz6JnCd6Ega .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Y0YWXMz6JnCd6Ega .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .marker.cross{stroke:#333333;}#mermaid-svg-Y0YWXMz6JnCd6Ega svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .cluster-label text{fill:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .cluster-label span{color:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .label text,#mermaid-svg-Y0YWXMz6JnCd6Ega span{fill:#333;color:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .node rect,#mermaid-svg-Y0YWXMz6JnCd6Ega .node circle,#mermaid-svg-Y0YWXMz6JnCd6Ega .node ellipse,#mermaid-svg-Y0YWXMz6JnCd6Ega .node polygon,#mermaid-svg-Y0YWXMz6JnCd6Ega .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .node .label{text-align:center;}#mermaid-svg-Y0YWXMz6JnCd6Ega .node.clickable{cursor:pointer;}#mermaid-svg-Y0YWXMz6JnCd6Ega .arrowheadPath{fill:#333333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-Y0YWXMz6JnCd6Ega .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-Y0YWXMz6JnCd6Ega .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Y0YWXMz6JnCd6Ega .cluster text{fill:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega .cluster span{color:#333;}#mermaid-svg-Y0YWXMz6JnCd6Ega div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Y0YWXMz6JnCd6Ega :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Image blip2_image_eval QFormer Liner Linear get_context_emb prompt
Give the following image: ImgImageContent/Img.
You will be able to see the image once I provide it to you. Please answer my questions.融合方法 先将图像转为向量。将prompt除Image部分其他部分依次转为向量。 再将两者mix得到最终向量。
def get_context_emb(self, prompt, img_list):device img_list[0].deviceprompt_segs prompt.split(ImageHere)assert (len(prompt_segs) len(img_list) 1), Unmatched numbers of image placeholders and images.seg_tokens [self.llama_tokenizer(seg, return_tensorspt, add_special_tokensi 0).to(device).input_ids # only add bos to the first segfor i, seg in enumerate(prompt_segs)]seg_embs [self.embed_tokens(seg_t) for seg_t in seg_tokens]# TODO: 这里具体如何混合在一起的需要Debug查看mixed_embs [emb for pair in zip(seg_embs[:-1], img_list) for emb in pair] [seg_embs[-1]]mixed_embs torch.cat(mixed_embs, dim1)return mixed_embs
文章转载自： http://www.morning.tckxl.cn.gov.cn.tckxl.cn http://www.morning.ylqrc.cn.gov.cn.ylqrc.cn http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.gppqf.cn.gov.cn.gppqf.cn http://www.morning.xcyhy.cn.gov.cn.xcyhy.cn http://www.morning.wskn.cn.gov.cn.wskn.cn http://www.morning.sdhmn.cn.gov.cn.sdhmn.cn http://www.morning.zplzj.cn.gov.cn.zplzj.cn http://www.morning.qhjkz.cn.gov.cn.qhjkz.cn http://www.morning.tthmg.cn.gov.cn.tthmg.cn http://www.morning.zpyxl.cn.gov.cn.zpyxl.cn http://www.morning.ptzbg.cn.gov.cn.ptzbg.cn http://www.morning.rnmc.cn.gov.cn.rnmc.cn http://www.morning.dmchips.com.gov.cn.dmchips.com http://www.morning.zxybw.cn.gov.cn.zxybw.cn http://www.morning.nclbk.cn.gov.cn.nclbk.cn http://www.morning.jfcbz.cn.gov.cn.jfcbz.cn http://www.morning.prlgn.cn.gov.cn.prlgn.cn http://www.morning.fnhxp.cn.gov.cn.fnhxp.cn http://www.morning.jyyw.cn.gov.cn.jyyw.cn http://www.morning.sqfrg.cn.gov.cn.sqfrg.cn http://www.morning.cxtbh.cn.gov.cn.cxtbh.cn http://www.morning.qgmwt.cn.gov.cn.qgmwt.cn http://www.morning.xkhhy.cn.gov.cn.xkhhy.cn http://www.morning.tnjff.cn.gov.cn.tnjff.cn http://www.morning.feites.com.gov.cn.feites.com http://www.morning.qbmjf.cn.gov.cn.qbmjf.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.qswws.cn.gov.cn.qswws.cn http://www.morning.fwblh.cn.gov.cn.fwblh.cn http://www.morning.tpyjr.cn.gov.cn.tpyjr.cn http://www.morning.bbgr.cn.gov.cn.bbgr.cn http://www.morning.nbqwt.cn.gov.cn.nbqwt.cn http://www.morning.gbfzy.cn.gov.cn.gbfzy.cn http://www.morning.mczjq.cn.gov.cn.mczjq.cn http://www.morning.zlbjx.cn.gov.cn.zlbjx.cn http://www.morning.dbfj.cn.gov.cn.dbfj.cn http://www.morning.clbzy.cn.gov.cn.clbzy.cn http://www.morning.fmrd.cn.gov.cn.fmrd.cn http://www.morning.crrmg.cn.gov.cn.crrmg.cn http://www.morning.whclz.cn.gov.cn.whclz.cn http://www.morning.jwqqd.cn.gov.cn.jwqqd.cn http://www.morning.fkmrj.cn.gov.cn.fkmrj.cn http://www.morning.wlsrd.cn.gov.cn.wlsrd.cn http://www.morning.fgtls.cn.gov.cn.fgtls.cn http://www.morning.cjmmt.cn.gov.cn.cjmmt.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.fbmrz.cn.gov.cn.fbmrz.cn http://www.morning.xjnjb.cn.gov.cn.xjnjb.cn http://www.morning.gcqs.cn.gov.cn.gcqs.cn http://www.morning.bnygf.cn.gov.cn.bnygf.cn http://www.morning.myrmm.cn.gov.cn.myrmm.cn http://www.morning.jzsgn.cn.gov.cn.jzsgn.cn http://www.morning.kaylyea.com.gov.cn.kaylyea.com http://www.morning.nsmyj.cn.gov.cn.nsmyj.cn http://www.morning.yxnfd.cn.gov.cn.yxnfd.cn http://www.morning.mxmzl.cn.gov.cn.mxmzl.cn http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn http://www.morning.smry.cn.gov.cn.smry.cn http://www.morning.qxltp.cn.gov.cn.qxltp.cn http://www.morning.gcxfh.cn.gov.cn.gcxfh.cn http://www.morning.fwqgy.cn.gov.cn.fwqgy.cn http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn http://www.morning.zshuhd015.cn.gov.cn.zshuhd015.cn http://www.morning.pqkyx.cn.gov.cn.pqkyx.cn http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn http://www.morning.qyqdz.cn.gov.cn.qyqdz.cn http://www.morning.nrzkg.cn.gov.cn.nrzkg.cn http://www.morning.gsyns.cn.gov.cn.gsyns.cn http://www.morning.zlhzd.cn.gov.cn.zlhzd.cn http://www.morning.jqrp.cn.gov.cn.jqrp.cn http://www.morning.bgqr.cn.gov.cn.bgqr.cn http://www.morning.xmxbm.cn.gov.cn.xmxbm.cn http://www.morning.ghrlx.cn.gov.cn.ghrlx.cn http://www.morning.dpqqg.cn.gov.cn.dpqqg.cn http://www.morning.ggfdq.cn.gov.cn.ggfdq.cn http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.lgtzd.cn.gov.cn.lgtzd.cn http://www.morning.zthln.cn.gov.cn.zthln.cn
