河源网站开发,wordpress 速度优化,爱站关键词搜索,网页设计模板图片素材作者#xff1a;网隐 RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎#xff0c;作为一个高性能的大模型推理解决方案#xff0c;它已被广泛应用于阿里内部。本文从对话接口的设计出发#xff0c;介绍了业界常见方案#xff0c;并分享了 RTP-LLM 团队在此场景… 作者网隐 RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎作为一个高性能的大模型推理解决方案它已被广泛应用于阿里内部。本文从对话接口的设计出发介绍了业界常见方案并分享了 RTP-LLM 团队在此场景下的思考与实践。 一、前言
从 2022 年底 chatGPT 的一炮走红开始基于大语言模型的对话应用如雨后春笋一般全面开花。刚刚过去的 2023 年是千帆竞发的一年在这一年里我们见证了百模大战开源模型社区可谓繁荣昌盛从 llama 到它的无数变体、qwen 系列的完整中文大模型生态构建、Mixtral 等多模态的成功尝试、再到 llava 等视觉大语言模型的蓄势待发。在语言模型上我们已经有了十分丰富的选择这些模型在 RTP-LLM 上都得到了较好的支持可以高效地完成推理。 在最早设计的 RTP-LLM 推理引擎中我们认为 llm 本质都是语言模型因此提供的只有语言模型调用方式将所有请求简化为输入一个 string输出一个 string 的模式。然而从语言模型到 chat 应用之间仍然有一个 gap输入 prompt 的拼写。text-in-text-out 的设计可以简化引擎开发但是 prompt 拼写的难题就被丢给了用户。实际上对于某些模型比如 chatglm3如果不加干预使用 text-in-text-out 的模式是无法正确进行 chat 推理的详细原因我们后面会展开解释。 从前端的需求侧来看text-in-text-out 模式也无法满足日益增长的 chat 应用需求。让每个用户都学习甚至实现一遍 chat prompt 的拼写既浪费人力、又会提高错误率因此在 LLM 推理引擎层面实现 chat 接口的需求迫在眉睫。 众所周知openai 作为最早推出 chatGPT 服务的开创式厂家他们定义好的“openai 接口”也是业界普遍采用的 chat 接口事实标准不但定义了基础的多轮对话能力还提供了 funciton call、多模态输入等多种功能。那么要在推理引擎实现 chat 能力openai 接口就是最合适的格式。本文就来聊一聊在实现 openai chat 接口中遇到的种种问题。 二、开源实现大赏
在介绍我们的方案之前我们先来看一看业界的其他框架是怎么实现 chat 能力的。这里讨论的对象不仅限于 openai 接口的实现凡是实现多轮对话能力的都在讨论范围之内。提供 chat 能力的核心需求是如何将多轮对话按照模型训练时的格式渲染成模型的 input id。这听起来是个很简单的事情但是随着模型类型不断扩张各种五花八门的实现方式要做到正确却并不容易更不用说如果加上 function call问题就变得更加复杂。
2.1 huggingface tokenizer
hugging face 将所有的 LLM 抽象成了 text-generation pipeline由 Model 和 Tokenizer 两部分组成。其中tokenizer 需要继承PreTrainedTokenizer类进行实现该类提供了apply_chat_template方法可以将多轮对话的 dict 转换为 input id 或者 prompt。 具体到实现上该方法需要 tokenizer 在 config 中配置chat_template这个 template 大概长这样 {% for message in messages %}{{|im_start| message[role] \n message[content] |im_end| \n}}
{% endfor %}
{% if add_generation_prompt %}{{ |im_start|assistant\n }}
{% endif %}
相信聪明的你看一眼就知道这玩意是啥语法了。有了这个模板就可以把这样的 messages
[{role: user, content: Hi there!},{role: assistant, content: Nice to meet you!},{role: user, content: Can I ask a question?}
]
拼成这样的 prompt
|im_start|user
Hi there!|im_end|
|im_start|assistant
Nice to meet you!|im_end|
|im_start|user
Can I ask a question?|im_end| 如果想进一步详细了解可以参考官方文档 https://huggingface.co/docs/transformers/main/chat_templating 这个设计看起来简单高效非常美好。对很多模型来说它也确实好用。那么我们马上就来看一个失败的例子。
2.2 chatglm
在 chatglm3 官方 repo 的 tokenizer config 中我们可以看到它定义了 chat_template: very good, 让我们跑一下试试 不对啊这模型根本不说人话。 那么问题出在哪里呢我们来看看拼好的 prompt 看起来像模像样。但是如果对结果 id 逐个进行 detokenize马上就漏出了马脚 原来由于 chatglm3 tokenizer 实现的问题诸如[gMASK]、|user|等特殊 token在 tokenize 时会被错误地分割成多个 token 而非一个。而 chatglm3 的 tokenizer 实际上实现了一个非标准的 build_chat_input 接口能正确处理多轮对话的 id 渲染。 通过这个例子可以看到chat template 不一定靠谱。
2.3 qwen
qwen 系列模型并没有在 tokenizer config 里提供 chat_template 字段使用默认模板渲染的结果不难想象当然是错的。实际上qwen 和 chatglm 类似自己实现了非标准的 chat 接口和渲染方法make_context逻辑仅对自己的模型生效。对于单一模型来说当然没问题但是并不能做成通用逻辑。 这时已经不难发现开源模型有着五花八门的 prompt 拼写方式。很多支持多模型的开源框架都号称提供了 openai 格式的 chat 接口那么来看看兼容多模型的开源框架做得如何。
2.4 vllm
vllm 可以说是开源推理框架界的一哥feature list 里写着支持 openai 接口。先翻翻代码
app.post(/v1/chat/completions)
async def create_chat_completion(request: ChatCompletionRequest,raw_request: Request):...try:prompt tokenizer.apply_chat_template(conversationrequest.messages,tokenizeFalse,add_generation_promptrequest.add_generation_prompt)...result_generator engine.generate(prompt, sampling_params, request_id,token_ids)
直接就无条件信赖 chat template。看起来就不太靠谱让我们起个 qwen 的服务
python3 -m vllm.entrypoints.openai.api_server --model Qwen/Qwen-7B-Chat --trust-remote-code 找个前端接上试试 第一句话似乎是对的但是显然没有正确处理 eos 和 stop words。约等于没法用。 vllm 还提供了手动指定 chat_template 文件的能力但是这样一来就对用户有一定的使用门槛做不到开箱即用二来没有解决 tokenizer 无法 tokenize special token 的问题。
2.5 llama.cpp
作为一个 cpu first 并且支持多种异构加速方式的框架llama.cpp 在开源社区的呼声也很高。 它的配套项目 llama-cpp-python(https://github.com/abetlen/llama-cpp-python) 也在 readme 的开头就强调了自己支持 openai compatible server。 again先看看代码实现在llama_cpp/llama_chat_format.py中定义了一个ChatFormatter类并针对不同的模型单独写了适配以 qwen 为例的话
register_chat_format(qwen)
def format_qwen(messages: List[llama_types.ChatCompletionRequestMessage],**kwargs: Any,
) - ChatFormatterResponse:_roles dict(user|im_start|user, assistant|im_start|assistant)system_messageYou are a helpful assistant.system_template|im_start|system\n{system_message}system_messagesystem_template.format(system_messagesystem_message)_messages _map_roles(messages, _roles)_messages.append((_roles[assistant], None))_sep |im_end|_prompt _format_chatml(system_message, _messages, _sep)_sep2 |endoftext|return ChatFormatterResponse(prompt_prompt,stop_sep2)
看起来像模像样那么实际跑一下试试看。llama-cpp 的运行略微麻烦需要先转换模型为 gguf 模式然后运行。这里只展示一下加载命令
/opt/conda310/bin/python -m llama_cpp.server --model /mnt/nas1/gguf/qwen-14b-chat-f16.gguf --n_gpu_layers 128 --host 0.0.0.0 --chat_format qwen 然后接上前端 ……总之是哪里不对。 看起来主流开源推理框架提供的 openai 接口很难说得上能用。
2.6 llama-factory 和 fastchat
山穷水尽峰回路转在一次跟训练同学的交流中发现有个做 finetune 的库 llama-factory 写的模板还不错 https://github.com/hiyouga/LLaMA-Factory/blob/5a207bb7230789ddefba932095de83002d01c005/src/llmtuner/data/template.py 这个 template 的设计十分干净没有多余依赖对于 eos、special token 的处理也十分到位并且提供了 proerty 可供访问而且已经适配了主流开源模型。 另外还有个开源框架 fast chat它也提供了一些 chat prompt 的渲染模板适配的模型更多缺点是只拼了 string无法处理 tokenizer 的问题。 https://github.com/lm-sys/FastChat/blob/main/fastchat/conversation.py 测试了几个模型的 input id 渲染结果发现均符合预期于是决定直接拿过来用。虽然它们也不能解决所有问题但可以省去很多模型的适配工作。
三、RTP-LLM 的实现方案
了解了现状之后我们就希望能开发一个 all in one、适配主流模型、功能丰富且开箱即用的 chat 接口。综合整理多种模型的实现之后我们设计了如下的缝合方案
用户指定 template 类型
前文提到我们从开源项目里抄了一些适配规则。对于这部分规则模板可以通过环境变量MODEL_TEMPLATE_TYPE指定使用。因为其必须显示指定并且完成度较高而且还能解决 tokenizer 的问题我们给了它最高优先级。
chat_template
如果模型的 tokenizer config 中带了chat_template属性那么用它作为除了指定模板以外渲染 prompt 的首选依据。这样做有两个考量 一部分开源模型如 01ai 的 Yi-6B/34B 系列是用了 llama 的模型结构自己的 chat_template。依靠 chat_template 属性无需额外设置即可自动获得正确的渲染结果。 如果有用户希望自己定义 chat 接口的 prompt 拼写方式那么 chat_template 也是最简单的方式也是业界的标准做法。用户如果自己定义了拼写模板在导出 checkpoint 时设置了 chat_template那么应当起效。
qwen 和多模态特殊处理
对于 qwen 系列模型为了支持 function我们单独写了适配逻辑在下一个 section 会详细讲解。同样对于多模态模型因为需要处理图片处理逻辑更复杂我们也单独写了渲染逻辑。这些模型
其他模型根据 model type 再次查找模板
这条规则和 1 类似只不过是根据 model type 查找模板而不是额外指定的环境变量。这样可以完成原始版 llama、baichuan 等模型的支持。
保底default chat template
如果以上的所有规则都不能找到合适的渲染方法那么执行兜底策略使用 chatML 的方式拼写 prompt。 实现了以上方案后用户在启动服务时无需额外指定任何参数即可自动得到一个好用的 openai chat 接口同时又保留了配置能力可以一键套用常见的开源模板也可以满足用户自带模板的高级要求。 四、function call 的处理
4.1 基本逻辑
通过 llm 调用外部函数是一个重要的发展趋势qwen 的全系列也支持用 ReAct 模板返回函数调用并根据函数返回给出最终结果。ReAct 模板的 prompt 大概长这样
|im_start|system
You are a helpful assistant.|im_end|
|im_start|user
Answer the following questions as best you can. You have access to the following APIs:get_current_weather: Call this tool to interact with the get_current_weather API. What is the get_current_weather API useful for? Get the current weather in a given location. Parameters: {type: object, properties: {location: {type: string, description: The city and state, e.g. San Francisco, CA}, unit: {type: string, enum: [celsius, fahrenheit]}}, required: [location]}Use the following format:Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [get_current_weather]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can be repeated zero or more times)
Thought: I now know the final answer
Final Answer: the final answer to the original input questionBegin!Question: 杭州市余杭区天气如何|im_end|
|im_start|assistant 具体的拼写逻辑比较复杂就不展开了。这里比较重要的是如何处理 response 的问题。 当遇到模型吐出\nAction: 和\nAction Input: 的组合时我们就知道结果需要返回函数调用了。这个 parse 逻辑不复杂但是 LLM 往往都是流式返回的结果而在模型吐字的过程中框架并不知道它会不会吐出来一个函数调用。 让我们再去先看看开源实现 qwen 官方的 openai 接口示例 if request.stream:if request.functions:raise HTTPException(status_code400,detailInvalid request: Function calling is not yet implemented for stream mode.,)
偷懒了直接不允许流式返回和 function call 同时存在。 再看看 chatglm 的官方示例
def contains_custom_function(value: str) - bool: return value and get_ in value 这位更是高手直接假设 function call 一定是get_开头的。 至于其他开源框架当前大部分没有不支持返回 function call。
4.2 实现方法
最终的实现其实也很简单在模型吐字时留上一小块 buffer 不返回如果没有\nAction: 那就继续返回如果遇到这个 string则说明模型可能要输出 function call在此收集输出知道遇到 eos 或者作为 stop word 的\nObservation:然后再把 buffer 一次性 parse 成函数并返回。 实际上不同模型实现 function call 还有很多其他方式。由于 qwen 的规模最为完整并且训练时也对 function call 做过 align所以目前我们的框架只支持了使用 qwen 进行 function call。未来也会继续探索 function 的不同定义方式。
五、实战篇用 chat 接口构建应用
搞定服务之后现在我们来实战构建一些基于 chat 接口的应用。 首先参照 RTP-LLM 的文档启动以启动任意 size 的 qwen 为例
export MODEL_TYPEqwen
export CHECKPOINT_PATH/path/to/model
export START_PORT50233python3 -m maga_transformer.start_server
这里的例子均使用 qwen-14b 模型完成。
5.1 langchain 文本信息结构化输出
这个例子展示 RTP-LLM 提供的 openai 接口返回 function call 的能力。这个例子中 langchain 中对 openai function 设计了一类单独的 chain 抽象这里我们来看一个结构化抽取实体的例子 # 配置qwen服务域名为openai endpoint
import os
os.environ[OPENAI_API_KEY] xxxx # you can use any string for key
os.environ[OPENAI_API_BASE] http://localhost:50233# langchain打印每一步的完整信息
from langchain.globals import set_debug, set_verbose
set_debug(True)
set_verbose(True)from langchain_core.pydantic_v1 import BaseModel, Field
from langchain.chains.openai_functions import create_structured_output_chain
from langchain_community.chat_models import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate# 定义一个Dog对象
class Dog(BaseModel):Identifying information about a dog.name: str Field(..., descriptionThe dogs name)color: str Field(..., descriptionThe dogs color)# 定义prompt模板用function call提取{input}中的对象。
llm ChatOpenAI(modelanything-you-like, temperature0.2)
prompt ChatPromptTemplate.from_messages([(system, You are an algorithm for extracting information into structured formats, and respond with function call.),(user, extract information from the following input: {input}),]
)# 构建chain并调用输出解析的结果。output是一个Dog对象。
chain create_structured_output_chain(Dog, llm, prompt)
output chain.run(John had a dog named Harry, who was a brown beagle that loved chicken)
print(str(output)) 运行就可以得到解析好的结果
nameHarry colorbrown
复制代码
5.2 用 llamaindex 实现 RAG
下面来看一个基础的 RAG 例子用 llamaindex 配合几行代码即可实现带搜索增强的对话系统。在这个例子里我们克隆一个 chatglm3 的官方 github repo 到本地对目录里的所有文档做索引并进行增强对话。这里的例子不设计 function call所以理论上所有模型都能使用。 import os
os.environ[OPENAI_API_KEY] xxxx # you can use any string for key
os.environ[OPENAI_API_BASE] http://localhost:50233from llama_index.readers import SimpleDirectoryReader, JSONReader, PDFReader
from llama_index.embeddings import HuggingFaceEmbedding
from llama_index import VectorStoreIndex, ServiceContext
from llama_index.llms import OpenAI# 先从huggingface上拉一个embedding模型给文本召回用
embed_model HuggingFaceEmbedding(model_namesentence-transformers/all-MiniLM-L6-v2)
service_context ServiceContext.from_defaults(llmllm, embed_modelembed_model
)
llm OpenAI()# 从本地目录加载所有文档并建立向量索引
documents SimpleDirectoryReader(/home/wangyin.yx/workspace/ChatGLM3).load_data()
index VectorStoreIndex.from_documents(documents, service_contextservice_context)# 进行对话查询
query_engine index.as_query_engine()
response query_engine.query(如何在mac上部署chatglm)
print(response) 运行即可得到如下带搜索增强的返回 针对搭载 Apple Silicon 或 AMD GPU 的 Mac可以借助 MPS 后端在 GPU 上运行 ChatGLM3-6B。参照 Apple 的 官方说明以安装 PyTorch-Nightly正确的版本号应为 2.x.x.dev2023xxxx而非 2.x.x。目前 MacOS 只支持从本地加载模型。将代码中的模型加载方式改为从本地加载并使用 mps 后端即可在 Mac 上部署 ChatGLM。 python modelAutoModel.from_pretrained(your local path, trust_remote_codeTrue).to(mps) 六、总结
使用 RTP-LLM 的 openai 兼容接口使得调用开源模型一键构建 chat 应用变得非常容易。同时框架也提供了足够丰富的配置项用户可以适配多种方式 train 出来的模型。
相关资料
[01]chatglm3 官方 repo 的 tokenizer config
https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenizer_config.json
[02] llama-cpp-python
https://github.com/abetlen/llama-cpp-python 文章转载自： http://www.morning.mrnnb.cn.gov.cn.mrnnb.cn http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.hbjqn.cn.gov.cn.hbjqn.cn http://www.morning.lkhgq.cn.gov.cn.lkhgq.cn http://www.morning.wspjn.cn.gov.cn.wspjn.cn http://www.morning.qrlkt.cn.gov.cn.qrlkt.cn http://www.morning.gktds.cn.gov.cn.gktds.cn http://www.morning.jhqcr.cn.gov.cn.jhqcr.cn http://www.morning.cgtfl.cn.gov.cn.cgtfl.cn http://www.morning.wrtbx.cn.gov.cn.wrtbx.cn http://www.morning.tclqf.cn.gov.cn.tclqf.cn http://www.morning.ryxdr.cn.gov.cn.ryxdr.cn http://www.morning.xjtnp.cn.gov.cn.xjtnp.cn http://www.morning.zpkfb.cn.gov.cn.zpkfb.cn http://www.morning.zknxh.cn.gov.cn.zknxh.cn http://www.morning.zgztn.cn.gov.cn.zgztn.cn http://www.morning.clkjn.cn.gov.cn.clkjn.cn http://www.morning.zqybs.cn.gov.cn.zqybs.cn http://www.morning.pqyms.cn.gov.cn.pqyms.cn http://www.morning.zpjhh.cn.gov.cn.zpjhh.cn http://www.morning.ztqyj.cn.gov.cn.ztqyj.cn http://www.morning.cytr.cn.gov.cn.cytr.cn http://www.morning.jzykq.cn.gov.cn.jzykq.cn http://www.morning.nkdmd.cn.gov.cn.nkdmd.cn http://www.morning.cniedu.com.gov.cn.cniedu.com http://www.morning.bmgdl.cn.gov.cn.bmgdl.cn http://www.morning.bhdtx.cn.gov.cn.bhdtx.cn http://www.morning.owenzhi.com.gov.cn.owenzhi.com http://www.morning.tgbx.cn.gov.cn.tgbx.cn http://www.morning.hlnrj.cn.gov.cn.hlnrj.cn http://www.morning.ryjqh.cn.gov.cn.ryjqh.cn http://www.morning.cybch.cn.gov.cn.cybch.cn http://www.morning.ttvtv.cn.gov.cn.ttvtv.cn http://www.morning.tcsdlbt.cn.gov.cn.tcsdlbt.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.qydgk.cn.gov.cn.qydgk.cn http://www.morning.hffpy.cn.gov.cn.hffpy.cn http://www.morning.bzcjx.cn.gov.cn.bzcjx.cn http://www.morning.rnqyy.cn.gov.cn.rnqyy.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn http://www.morning.xrksf.cn.gov.cn.xrksf.cn http://www.morning.mzqhb.cn.gov.cn.mzqhb.cn http://www.morning.qgzmz.cn.gov.cn.qgzmz.cn http://www.morning.yhywx.cn.gov.cn.yhywx.cn http://www.morning.glrzr.cn.gov.cn.glrzr.cn http://www.morning.srkqs.cn.gov.cn.srkqs.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.swbhq.cn.gov.cn.swbhq.cn http://www.morning.kxgn.cn.gov.cn.kxgn.cn http://www.morning.zcnfm.cn.gov.cn.zcnfm.cn http://www.morning.rfmzs.cn.gov.cn.rfmzs.cn http://www.morning.tyrlk.cn.gov.cn.tyrlk.cn http://www.morning.zxzgr.cn.gov.cn.zxzgr.cn http://www.morning.yrnyz.cn.gov.cn.yrnyz.cn http://www.morning.kmqlf.cn.gov.cn.kmqlf.cn http://www.morning.mntxalcb.com.gov.cn.mntxalcb.com http://www.morning.ydzly.cn.gov.cn.ydzly.cn http://www.morning.skmpj.cn.gov.cn.skmpj.cn http://www.morning.ppbqz.cn.gov.cn.ppbqz.cn http://www.morning.zrpys.cn.gov.cn.zrpys.cn http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn http://www.morning.cfnht.cn.gov.cn.cfnht.cn http://www.morning.wrlxy.cn.gov.cn.wrlxy.cn http://www.morning.wwdlg.cn.gov.cn.wwdlg.cn http://www.morning.fllfc.cn.gov.cn.fllfc.cn http://www.morning.jggr.cn.gov.cn.jggr.cn http://www.morning.knqzd.cn.gov.cn.knqzd.cn http://www.morning.lsgjf.cn.gov.cn.lsgjf.cn http://www.morning.kljhr.cn.gov.cn.kljhr.cn http://www.morning.wwkdh.cn.gov.cn.wwkdh.cn http://www.morning.gmyhq.cn.gov.cn.gmyhq.cn http://www.morning.nrll.cn.gov.cn.nrll.cn http://www.morning.zsfooo.com.gov.cn.zsfooo.com http://www.morning.tnqk.cn.gov.cn.tnqk.cn http://www.morning.pybqq.cn.gov.cn.pybqq.cn http://www.morning.qfzjn.cn.gov.cn.qfzjn.cn http://www.morning.mwmtk.cn.gov.cn.mwmtk.cn http://www.morning.ynstj.cn.gov.cn.ynstj.cn http://www.morning.hympq.cn.gov.cn.hympq.cn
