网站开发要学多久,深圳十大建筑设计公司,申请注册公司需要多少钱,垂直网站 开源码本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆#xff0c;产业创新新引擎》。 各位领导、来宾、媒体朋友们#xff0c;大家上午好。很高兴今天在石景山首钢园#xff0c;和大家一起沟通和探讨大模型的发展趋势#xff0c;以及百度最近一段时间的思考和… 本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆产业创新新引擎》。 各位领导、来宾、媒体朋友们大家上午好。很高兴今天在石景山首钢园和大家一起沟通和探讨大模型的发展趋势以及百度最近一段时间的思考和实践。
自去年 3 月 27 日发布千帆大模型平台到今天刚好过去了一年的时间。过去这一年国内外的大模型都在迅速发展相关应用的爆发趋势也更加明显。
从发展趋势来看有如下几个特点 第一 大模型的技术在不断进步。通过模型架构改进、训练算法调优等方式大模型的效率和性能都得到了显著提升 第二行业应用场景的成熟。大模型在各种行业已经开始落地这些实践经验激发了行业更多的兴趣和投入 第三政府、投资机构对人工智能技术的支持不断增加。这也为大模型的研发、部署和应用提供了更多资源和机会 第四社会对人工智能技术的理解和接受度不断提高。用户对于智能化、个性化服务的需求 也推动了大模型在各种场景中的应用。
但在过去一年与企业的实际接触过程中我们发现企业落地大模型时也面临着在落地场景的探索、应用开发的门槛、推理和训练的成本和落地应用的效果等四个方面的挑战。 为了解决这些挑战帮助企业用户落地千帆提供了包括算力、模型开发、应用开发在内的一整套的大模型开发工具为企业打造了大模型服务的超级工厂帮助企业降低成本、提高效率与模型应用的效果。 千帆平台自发布以来一直保持着高速增长的趋势相比于去年 12 月千帆的日均季度环比增长了 97%翻了接近一倍。 同时我们也很高兴地跟大家宣布千帆平台服务客户数已经突破了 8 万最近一个月就增长了近 1 万。
同时平台已经精调出 1.3w 个模型开发应用数也达到了 16w。基于这些数据大家也可以看到大模型已经真正进入到了快速增长的阶段。
未来千帆也将帮助企业客户、开发者看到更多「创新机会」。随着千帆客户数量不断增多我们也感受到大家目前更关心的是怎么把大模型「用起来」真正给企业业务带来价值。 今天我为大家带来全新升级的 AI 原生应用开发平台 AppBuilder以最好的应用效果、最优的开发体验支撑 AI 原生应用的繁荣。 千帆 AppBuilder是一个产业级的 AI 原生应用开发平台。它可以帮助广大的客户和开发者不断降低应用开发门槛。
AppBuilder 底层由基础组件和高级组件构成。在基础组件中包含大模型组件、AI 能力组件等。这些组件都是基于百度多年的技术和实践经验沉淀的。
除了基础组件AppBuilder 还面向典型的应用场景深入调优建设了一系列高级组件比如知识问答类的 RAG、具备运算能力的代码解释器以及生成式数据分析 GBI 等。
基础组件和高级组件共同支撑 Agent。一方面可以通过工作流编排实现更为复杂的业务逻辑另一方面 Agent 也具备强大的自主任务规划能力。所有这些底层能力通过代码态和零代码态两种形态提供服务。同时多渠道对外集成分发。 千帆 AppBuilder 具备三大核心优势特点 第一应用效果领先具备高精度知识问答效果及精准的自主任务规划能力 第二组件多元化且支持自定义接入 第三产品开放易用。
接下来我来为大家详细介绍。 讲应用效果就离不开场景。知识问答(也就是 RAG )是大模型最典型的应用场景之一。AppBuilder 在这个场景建设了企业级全链路检索增强的应用框架及周边工具并做了很多深入细致的优化工作包括底层基座模型的 SFT 调优、文档解析、语义匹配、问题拆解等环节的策略优化使得知识问答的效果达到更好的水平。
通过这些优化AppBuilder 的 RAG 在多场景问答准确率、友好回复、准确拒答等方面可接受度达 95% 以上。大家可以看到下图中的对比数据 AppBuilder 在效果上超越了其他同类产品。 另一个非常典型的应用场景是 Agent。AppBuilder 构建了具备精准自主任务规划能力的 Agent 框架可实现多工具自动编排 准确率达到 90% 以上。官方提供了近 30 种编排工具覆盖电商/互娱/办公/专业服务等主流场景。
同时AppBuilder 支持开发者接入自定义工具 通过自动编排与手动编排的结合实现复杂场景需求的定制。此外代码解释器的效率与效果持续提升相比 升级前性能提升 40%、数据分析场景可接受度提升到 95%。 AppBuilder 具备丰富的组件工具目前已扩充到 55 个。这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件如多轮改写、复杂 Query 分解等也包括 AI 能力组件比如 TTS、OCR、图像识别等。通过大小模型联合及业务场景化工具组件共同支撑 AI 原生应用的开发。
此外AppBuilder 还提供了百度独家开放的业务组件如在搜索领域有深厚积累的百度搜索以及一些业界主流场景的第三方 API比如航班查询、论文查询等。
同时AppBuilder 支持用户接入自定义组件。我们还提供百度基础云的一些组件比如 BES 等这里特别提下专用向量数据库 VDB它也迎来了一次全新的升级。 向量数据库是企业不可或缺的知识库核心组件它针对传统知识库问答系统所遇到的性能瓶颈、 维护挑战及规模限制等问题提供了有力解决方案。
VDB 1.0 这一革命性的数据库内核不仅集成了全面的运维控制和安全防护能力还兼容了千帆、LangChain 等主流生态系统使企业能够轻松管理数以千万计的文档知识。
在性能表现上VDB 与同类型开源产品相比其在不同应用场景下的性能有不同程度的提升最高可达 10 倍真正实现了毫秒级的向量检索速度。
同时在扩展性方面支持最大百亿级别的向量数据存储以及秒级的弹性伸缩响应。这些突出优势确保了 VDB 能够伴随企业业务的不断发展而升级持续满足日益增长的业务需求。 再回到 AppBuilder。它的第三大优势是开放易用。 首先是主流场景的工具组件开放可灵活编排 提供丰富的应用示例用户一次鉴权全部接入。 其次 提供开源的 RAG 和 Agent SDK 支持二次开发。本次升级后最快只需要三步即可完成应用的创建于开发还可一键对接百度灵境矩阵、微信公众号、微信客服、Web 端/ H5 等渠道。
这里也特别说一下百度灵境矩阵此次与灵境矩阵的打通应用将有机会在百度强大的搜索场景中轻松实现分发和挂载同时也能融入百度的信息流场景吸引更多潜在用户的目光。 目前已经有上万开发者和伙伴通过 Appbuilder 创建出各种场景的 AI 原生应用。
刚刚我分享的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛企业还会有另外一个需求就是开发出的应用效果怎么能够做好。这背后是通过我们的各种基座模型的能力去实现的。 今天在千帆大模型平台上的模型迎来了关键升级和全新模型发布首先让我们来一起看下文心大模型 3.5 和 4.0 的重磅升级。 首先我来为大家介绍文心大模型 ERNIE 3.5 的重磅升级。
升级后的 ERNIE 3.5在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升 同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。
除了普遍应用的 ERNIE 3.5另一个受到行业广泛关注的是大模型 ERNIE 4.0。它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。
经权威机构测评ERNIE 4.0 在专项学科能力、安全与责任、以及综合得分均排名第一。作为目前行业领先、以及中文领域最强模型ERNIE 4.0 已经成为企业在复杂场景应用的最佳选择。 以上就是我们文心大模型 3.5 和 4.0 的升级内容。
随着接触客户及场景越来越多我们发现一个趋势很多的公司在使用大模型的时候成本是他们考虑的关键因素。我们总结了一下这类需求归纳为【效价比】
结合百度持续的技术升级及领域深耕我们发现在特定场景下参数较小的大模型经过精调可以达到甚至超越大模型的效果而且能为企业大幅降低成本及响应速度。 今天我们将为大家带来三款轻量级大模型的发布便于企业通过推理、精调的方式去实现最优效价比。 首先是全新发布 ERNIE Speed这是一个最适合微调的基座模型同时上下文最高支持 128K。
大家可以看到右边的这组数据对比以小说角色扮演和英语口语练习的场景为例可以明显看到微调后的 ERNIE Speed 效果超越了大参数量级模型 ERNIE 4.0。 如果企业还要追求更快、更轻、成本更低 第二款产品 ERNIE Lite 将是企业的首选同时 Lite 也是一款非常适合低算力、AI 加速卡推理使用的轻量级大模型。
ERNIE Lite 是 ERNIE-Bot-turbo 模型的升级版。我们可以看到新版的 Lite相较于 Turbo 在情感分析、多任务学习、自然推理等场景下效果提升了 20% 左右。
除了效果上的提升企业在该模型上的推理调用成本对比升级前降低了 53%。 最后一款模式可以说是极致低成本、低延迟的最佳模型ERNIE Tiny。
Tiny 是目前文心系列中部署与精调成本最低的模型非常适用于检索、推荐、意图识别等高并发、低延时的场景。
举个例子在搜索推荐场景下精调后的 Tiny 在推荐词激发环节相较于之前使用 ERNIE 3.5 模型对话轮次增长了 3.5%成本下降了 32%。 除了文心大模型升级以及轻量级大模型的发布外我们此次还基于垂直场景 推出了两个产业级最佳实践模型ERNIE Character 和 ERNIE Functions。
ERNIE-Character 是专为角色扮演类场景研发的一款大模型非常适合游戏 NPC、客服对话等业务应用。
举一个实际的应用案例目前我们的某个智能硬件厂商客户通过 Character 模型打造智能助理在人设一致性以及激发用户聊天欲望等方面给业务带来了显著提升。
另外ERNIE Functions 作为一款工具调用场景大模型优点是结构化回答及合成能力强并且输出格式稳定。我们某个旅游出行客户通过 ERNIE Functions 打造了智能客服助手在执行订票、查询航班状态等多种场景下调用的准确率达到了 92% 以上。 今天我已经发布完 5 款全新的模型那么在企业具体应用中这些模型是如何为企业带来最优效价比的我来通过一个模型路由的案例为大家具体说明一下。
模型路由来源于现在比较流行的 MoE。它的核心理念就是通过轻量级大模型降本增效。
大家可以看到左边在用户输入问题之后就接入到 router 模型中。router 模型负责判别用户的意图在把用户的意图分发到不同的大模型中。
以前整个场景都在用大参数模型。现在我们就可能基于这种意图判别把很多的垂类场景请求分发到更小尺寸的模型中。在企业的实际应用过程当中模型路由是一个非常划算的方式。
以手机智能助手为例通过该模式用户推理成本可以降低 15%同时效果和 ERNIE 3.5 持平。未来我们也会把这套方案做成产品让用户通过精调的方式自主选择分流的方案。 最后我们再用一张图来回顾和梳理下百度智能云千帆大模型平台的模型矩阵。
文心大模型 3.5 和 4.0 适合通用复杂场景。轻量级大模型中ERNIE Speed 和 ERNIE Lite 适用于垂直场景的定制训练。ERNIE Tiny 更快、更实惠可用于特定场景的自然语言到指令调用也适用边缘设备推理场景。
垂直场景模型 ERNIE Character 适合角色扮演ERNIE Functions 适合对话或问答场景中的外部工具使用和业务函数调用。
模型效果能力越强的模型成本也会更高。 轻量级的大模型在特定场景经过精调也会达到大参数模型的效果。企业可以在实际应用中根据业务的需求来灵活选择不同的模型或者模型组合。 以上就是我今天发布的全部内容。
助力产业创新千帆竞航未来 希望千帆能够助力企业和开发者在大模型的浪潮里竞发向前共赢未来。感谢大家! - - - - - - - - - - END - - - - - - - - - -
推荐阅读
一文带你完整了解Go语言IO基础库
百度交易中台之系统对账篇
揭秘百度数仓融合计算引擎
教不会你算我输系列 | 手把手教你HarmonyOS应用开发
漫谈数据分布可视化分析
