做网站什么价位,湘阴网页定制,中国网站建设市场分析报告,我想自己建个网站买货 怎么做概述
提出了一种大型模型 LLaVA#xff0c;它使用 GPT-4 生成多模态语言图像指令跟随数据#xff0c;并利用该数据将视觉和语言理解融为一体。初步实验表明#xff0c;LLaVA 展示了出色的多模态聊天能力#xff0c;在合成多模态指令上的表现优于 GPT-4。 在科学质量保证中…概述
提出了一种大型模型 LLaVA它使用 GPT-4 生成多模态语言图像指令跟随数据并利用该数据将视觉和语言理解融为一体。初步实验表明LLaVA 展示了出色的多模态聊天能力在合成多模态指令上的表现优于 GPT-4。 在科学质量保证中进行微调时LLaVA 和 GPT-4 的协同作用实现了新的一流准确性。
论文链接:http://arxiv.org/abs/2304.08485 代码链接:https://github.com/haotian-liu/LLaVA demo链接:https://llava-vl.github.io/
导言
本文的重点是开发结合视觉和语言的人工智能助手。在传统模型中每项任务都是独立解决的语言只能描述图像内容。然而随着大规模语言模型LLM的发展语言能够指导各种各样的任务。本文介绍了一种名为视觉指令调整的新技术该技术可生成视觉数据来构建大规模多模态模型LMM。生成的数据用于微调 LMM并构建通用的指令跟随视觉代理。 使用 GPT-4 在科学 QA 多模态推理数据集上实现卓越性能。
相关研究
本文将重点讨论如何构建能够遵从视觉和语言指令的代理。现有工作大致可分为端到端训练模型和通过 LangChain 等系统调整不同模型的模型。我们还将自然语言处理NLP研究中提出的 LLM 指令调整方法应用于视觉任务目的是建立一个通用的指令遵循视觉代理。我们认为这将提高对指令的有效理解和概括并可能适用于新的多模态任务。
GPT 辅助生成视觉指示数据
虽然社会上公开的图像和文本数据激增但多模态教学数据却很有限。为了应对这一挑战有人提议使用 ChatGPT/GPT-4 从大量图像对数据中收集多模态教学数据。 我们提出了一种使用 GPT-4 生成基于图像-文本对的自然问题的方法。由于通常的扩展方法缺乏多样性和深度推理因此提出了一种方法利用纯语言 GPT-4 和 ChatGPT 作为教师生成遵循视觉指令的数据。使用符号表示法对图像进行编码生成不同类型的指令遵循数据。研究表明GPT-4 可以提供高质量的指令跟随数据而且比普通的数据增强方法效果更好。
视觉指令的调整
模型架构
主要目标是有效利用预训练 LLM 和视觉模型的能力。 网络架构如图 1 所示。 LaMALarge Language Model for Instructions Following即大型语言模型fφ(⋅)由参数 φ 参数化。这是因为它在仅针对开源语言的指令调整工作中被证明是有效的。ViT-L/14 提供视觉特征 Zvg(Xv)并使用可训练的投影矩阵 W 将图像特征转换为语言嵌入标记 Hq。这确保了图像和语言模型具有相同的维度。
因此从图像中得出的视觉标记 Hv 过程序列既轻便又高效可以快速迭代以数据为中心的实验。其他模型如 Flamingo’s Gate Cross Attention 和 BLIP-2’s Q-former 或 SAM都提供了对象级功能。未来的研究仍将探索更有效、更复杂的架构设计。 模型训练
对于每幅图像对话数据由若干个轮次X1q、X1a、…组成。XTq, XTa。其中 T 代表回合总数。所有助手的回答都会被汇总每个回合中的指令都会被整理为 Xtinstruct。这种方法产生的多模态指令统一格式如表 2 所示。利用原始的自回归训练目标对预测标记进行 LLM 指令调整。具体来说就是计算在长度为 L 的序列中生成目标答案 Xa的概率。在训练模型时我们考虑了两阶段的指令调整程序。其中θ 是可训练参数Xinstruct i 和 Xa i 分别是当前预测标记 xi之前所有回合中的指令和答案标记。在条件语句中明确添加了 Xv以强调图像是以所有答案为基础的并且跳过了 Xsystem 消息和之前的所有 以提高可读性。
该方法也包括两个阶段。在第一阶段从 CC3M 中选取 595K 对图像-文本并使用简单的扩展方法将其转换为符合指令的数据以便将其视为单轮对话。在此随机抽样的问题被用作图像的指令而原始标题则被训练为预期答案。在这一阶段视觉编码器和 LLM 权重是固定的只有投影矩阵 W 用于最大化可能性。
第二步固定视觉编码器的权重更新 LLaVA 的投影层和 LLM 的权重。换句话说可训练参数就是投影矩阵 W 和 φ。聊天机器人的训练使用收集到的语言图像指令跟踪数据并对多转和单转回答进行均匀采样在 ScienceQA 基准中问题以自然语言或图像的形式提供上下文助手负责推理过程推理过程包括在 ScienceQA 基准中问题以自然语言或图像的形式提供上下文助手负责推理过程从多个选项中选择一个答案
安装与部署
获取代码
git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA安装软件包
conda create -n llava python3.10 -y
conda activate llava
python -mpip install --upgrade pip # enable PEP 660 support
pip install torch2.0.1cu117 torchvision0.15.2cu117 torchaudio2.0.2 --index-url https://download.pytorch.org/whl/cu117
pip install -e .
pip uninstall bitsandbytes如果想在本地启动 Gradio ui 演示请依次运行以下命令。如果计划启动多个模型工作器以比较不同检查点之间的差异只需要一次启动控制器和Web服务器。
启动项目
python -m llava.serve.controller --host 0.0.0.0 --port 10000试验
多模态聊天机器人
研究人员开发了一种名为 LLaVA 的新型多模态人工智能模型并制作了一个聊天机器人演示展示了它的图像理解和对话能力LLaVA 仅在 80,000 张图像上进行了训练并显示出与 GPT-4 相似的推理结果。这表明LLaVA 可以遵循指令、理解场景并做出适当的回应。其他模型BLIP-2 和 OpenFlamingo则侧重于描述图像对指令的反应有限。定量评估还比较了 LLaVA 和 GPT-4 在 COCO 验证集所选图像上的答题能力试图从 GPT-4 的评分中了解 LLaVA 的表现。具体结果见表 3。 对说明的调整使模型遵循用户说明的能力提高了 50 多个百分点。增加详细说明和复杂推理问题后模型的整体性能提高了 7 个百分点。模型在会话问题上的表现也有所提高这表明推理能力与会话能力相辅相成。最后将三种数据类型结合在一起取得了 85.1% 的最佳性能。该评估方案为全面评估和了解大型多模态模型的功能提供了一个基准。 在研究中使用新适配器的 LLaVA 在 ScienceQA 数据集上达到了 90.92% 的高准确率而 GPT-4 的结果为 82.69%。与 LLaVA 和 GPT-4 相结合则能保持 90.97% 的高准确率。此外还提出了一种通过再次提示 GPT-4 来生成唯一答案的方案从而达到了 92.53% 的新的最高准确率。这项研究为利用 LLM 的模型组合提供了新的可能性。通过比较不同条件下的模型性能我们对科学质量保证任务的适当模型配置有了更好的了解。
结论
本文展示了使用 GPT-4 语言模型进行视觉指令调整的有效性。本文引入了一个新的数据生成管道以生成遵循语言和图像指令的数据并在此基础上训练多模态模型 LLaVA。通过微调ScienceQA 实现了新的 SoTA 准确率多模态聊天数据实现了卓越的视觉聊天体验。未来的前景包括在更大的数据规模上进行预训练并与其他视觉模型连接。这有望实现新的功能并提高性能。
