几个好用的在线网站,致远oa协同管理系统,新冠2024中国又要封城了,wordpress同步 说说经验沉淀 1 知识库1.1 Langchain知识库的主要功能(1) 配置知识库(2) 文档数据测试(3) 知识库测试模式(4) 模型配置 2 微调2.1 微调模型的概念2.2 微调模型的方法和步骤(1) 基于ptuning v2 的微调(2) 基于lora的微调 3 提示词3.1 Prompts的定义及原则(1) Prompts是什么#xf… 经验沉淀 1 知识库1.1 Langchain知识库的主要功能(1) 配置知识库(2) 文档数据测试(3) 知识库测试模式(4) 模型配置 2 微调2.1 微调模型的概念2.2 微调模型的方法和步骤(1) 基于ptuning v2 的微调(2) 基于lora的微调 3 提示词3.1 Prompts的定义及原则(1) Prompts是什么 3.2 如何有效使用Prompts(1) Prompt的原则一清晰和明确的指令(3) Prompt的原则二给模型思考的时间 3.4 Prompts示例(1) 目标(2) 步骤一简单(3) 步骤二增加枚举(4) 步骤三增加信息解释(5) 步骤四增加样例 4 参考文献 1 知识库
运行langchain-ChatGLM-master下面的webui.py文件
1.1 Langchain知识库的主要功能
(1) 配置知识库
新建知识库 向知识库当中添加文件 支持上传的数据格式word、pdf、excel、csv、txt、文件夹等。但是此处我试了一下
(2) 文档数据测试
word文档测试 (3) 知识库测试模式
知识库测试只会返回输入内容在当前知识库当中的具体位置不会给出答案。根据获取知识库内容条数这个参数来控制出处的最大次数。 (4) 模型配置
LLM 模型大语言模型使用的是chatglm2-6b。向量匹配topK放到大模型推理的相关文本的数量如果文档资料比较规范文档与 query 容易匹配可以减少 Top_k 以增加答案的确定性。 2 微调
2.1 微调模型的概念
微调模型有P-TuningLoRAFull parameter
2.2 微调模型的方法和步骤
(1) 基于ptuning v2 的微调
https://github.com/thudm/chatglm2-6b/tree/main/ptuning
参考教程参考
1、安装依赖
运行微调需要 4.27.1 版本的 transformers
pip install transformers4.27.1
pip install rouge_chinese nltk jieba datasets2、禁用WB
#禁用 WB如果不禁用可能会中断微调训练以防万一还是禁了吧
export WANDB_DISABLEDtrue3、准备数据集 这里为了简化此处只准备了4条测试数据分别保存为 train.json 和 dev.json放到 ptuning 目录下实际使用的时候肯定需要大量的训练数据。
{content:你好你是谁,summary: 你好我是A}
{content:你是谁,summary: 你好我是A,帮助您解决问题的小助手~}
{content:你好A是谁,summary: A是一个AI智能助手}4、参数调整 修改 train.sh 和 evaluate.sh 中的 train_file、validation_file和test_file为你自己的 JSON 格式数据集路径并将 prompt_column 和 response_column 改为 JSON 文件中输入文本和输出文本对应的 KEY。可能还需要增大 max_source_length 和 max_target_length 来匹配你自己的数据集中的最大输入输出长度。并将模型路径 THUDM/chatglm2-6b 改为你本地的模型路径。
1、train.sh文件修改 PRE_SEQ_LEN128
LR2e-2
NUM_GPUS1python main.py \--do_train \--train_file train.json \--validation_file dev.json \--preprocessing_num_workers 10 \--prompt_column content \--response_column summary \--overwrite_cache \--model_name_or_path THUDM/chatglm2-6b \--output_dir output/adgen-chatglm2-6b-pt-$PRE_SEQ_LEN-$LR \--overwrite_output_dir \--max_source_length 64 \--max_target_length 128 \--per_device_train_batch_size 1 \--per_device_eval_batch_size 1 \--gradient_accumulation_steps 16 \--predict_with_generate \--max_steps 3000 \--logging_steps 10 \--save_steps 1000 \--learning_rate $LR \--pre_seq_len $PRE_SEQ_LEN \--quantization_bit 4train.sh 中的 PRE_SEQ_LEN 和 LR 分别是 soft prompt 长度和训练的学习率可以进行调节以取得最佳的效果。P-Tuning-v2 方法会冻结全部的模型参数可通过调整 quantization_bit 来改变原始模型的量化等级不加此选项则为 FP16 精度加载。
2、准备训练数据集train.json和推理数据集dev.json
此处由于训练数据量较小因此train.json和dev.json两个数据集的内容是相同的。
此处添加的4条内容相当于调整大模型的自我认知过程。
{content:你好你是谁,summary: 你好我是A}
{content:你是谁,summary: 你好我是A,帮助您解决问题的小助手~}
{content:你好A是谁,summary: A是一个AI智能助手}3、训练运行train.sh 启动后可以看到加载一系列模型的操作加载完成后就开始进行模型的训练了。 4条数据,3000步训练时间大约50分钟。 训练好的模型都会存放在output当中前提是没有修改训练脚本当中的输出路径。 4、修改批处理脚本evaluate.sh PRE_SEQ_LEN128
CHECKPOINTadgen-chatglm2-6b-pt-128-2e-2
STEP3000
NUM_GPUS1python main.py \--do_predict \--validation_file AdvertiseGen/dev.json \--test_file AdvertiseGen/dev.json \--overwrite_cache \--prompt_column content \--response_column summary \--model_name_or_path THUDM/chatglm2-6b \--ptuning_checkpoint ./output/$CHECKPOINT/checkpoint-$STEP \--output_dir ./output/$CHECKPOINT \--overwrite_output_dir \--max_source_length 64 \--max_target_length 64 \--per_device_eval_batch_size 1 \--predict_with_generate \--pre_seq_len $PRE_SEQ_LEN \--quantization_bit 45、运行evaluate.sh进行推理 推理完成之后可以在output下层目录中查看generated_predictions.txt文件来测评训练的成果如果不满意则需要增加数据进行重新训练。
6、模型部署 运行web_demo.sh脚本 (2) 基于lora的微调
下载lora安装包
参考教程这个我成功运行了 此处我由于端口号和langchain的端口号7860冲突因此更改成了7560。 选择语言为zh即中文微调方法选择lora模型选择为chatglm2-6b 在高级设置这里设置显存如果显存不够的话可以调整成4bit或者8bit原先是FP16 数据集选择school_math也就是训练数学逻辑的数据集。 数据集格式如下有instructuin和output
{instruction: 题目小明每天早上花费10分钟时间走到学校如果小明家距离学校2公里那么他每分钟走多少米, input: , output: 这是一个关于速度、路程、时间的数学问题。我们可以通过公式速度路程÷时间 来解决。\n因为小明每天早上走2公里所以他的路程为2千米。而他每天早上要花费10分钟时间走到学校因此他的时间为10分钟即600秒。\n所以小明每分钟走的距离为 2公里 / 600秒 0.0033公里/秒 或 3.3米/秒。\n答案小明每分钟走3.3米。}
{instruction: 题目今天小明骑自行车从家到学校用了20分钟回家用了25分钟。如果小明在上学和回家的路上的速度一样那么他从家到学校的距离是学校到家的距离的百分之几, input: , output: \n假设小明家到学校的距离为x千米根据速度等于路程除以时间的公式可以得出小明的速度为家到学校的速度 x / 20学校到家的速度 x / 25。因为小明在上学和回家的路上的速度一样所以有x / 20 x / 25解出 x 5/4 千米。\n因此家到学校的距离是学校到家的距离的百分之几可以通过求比值得到x / (5/4)x 4/5 0.8即小明从家到学校的距离是学校到家的距离的百分之80。}
{instruction: 题目\n鹿妈妈买了24个苹果她想平均分给她的3只小鹿吃每只小鹿可以分到几个苹果, input: , output: \n鹿妈妈买了24个苹果平均分给3只小鹿吃那么每只小鹿可以分到的苹果数就是总苹果数除以小鹿的只数。\n24÷38\n每只小鹿可以分到8个苹果。所以答案是每只小鹿可以分到8个苹果。}
{instruction: 题目小明有 18 支铅笔和 24 张纸他想将它们分成每份相同的组每组既有铅笔又有纸问他最少可以分成几组每组有多少支铅笔和多少张纸, input: , output: \n我们可以将问题转化为求 18 和 24 的最大公约数以得到可以被同时整除的最大数量。然后我们可以将总数分成这个数量的组并确保每组既有铅笔又有纸。\n首先我们可以列出 18 和 24 的因数分解式\n18 2 × 3 × 3\n24 2 × 2 × 2 × 3\n它们的公共因数是 2 和 3因此它们的最大公约数是 2 × 3 6。\n因为每组既有铅笔又有纸所以每组的铅笔和纸的数量都必须是最大公约数的因子。在这种情况下因子包括 1、2、3 和 6。\n因此小明可以将铅笔和纸分成 6 组每组有 3 支铅笔和 4 张纸。}
{instruction: 小明有 7 个橙子他想平均分给他的 3 个朋友。每个朋友能分到几个橙子, input: , output: \n小明手中有 7 个橙子要平均分给 3 个朋友我们可以用除法来解决这个问题。\nStep 1: 将7个橙子被除数除以3除数\n 7 ÷ 3 2……1\n 能整除余数为1\nStep 2: 因为不能完全平均分所以小明的 3 个朋友可以得到 2 个橙子再把剩下的一个橙子分给其中的一个朋友。\n答案每个朋友能分到 2 个橙子。其中一个朋友能再得到一个橙子。}输入序列最大长度改成128。学习率改成3E-5训练轮数改成3.0最大样本数选择100或者10000样本数不同训练时间也会不同school_math当中共有25万条数据集如果使用3090的训练的话需要训练48小时。如果显卡不满足的话可以将批处理大小改成1梯度累计改成4。 等待模型训练完成。。。之后点击chat并加载模型 这里如果没有对模型进行微调的话是无法得到正确的数学答案会显示错误的数学答案15公里具体视频里也有。
3 提示词
3.1 Prompts的定义及原则
(1) Prompts是什么
Prompt是给AI的指令引导模型生成符合业务场景的响应输出。
3.2 如何有效使用Prompts
(1) Prompt的原则一清晰和明确的指令
举例
“请解释什么是人工智能” VS “谈谈科技”“列出三个关于太阳系的事实” VS “说一些关于太阳系的事情”“回答以下数学问题22” VS “讲个笑话” Prompts的工具分隔符用分隔符将内容分隔开多使用序号这样对大模型理解指令有帮助。 a. “”“…”“” b.… c.—…—样例数据给大模型样例数据让大模型按照样例数据输出。
请按照以下数据格式直接回答问题。只能给出答案不要产生其他内容。问题中国的首都是哪里
答案东京问题法国的首都是哪里
答案(3) Prompt的原则二给模型思考的时间
条例清晰减少冲突有益于迭代
你是一个智能助理用户会称呼你小爱或小爱同学你需要帮用户结构化记录生日信息、物品存放信息、月经信息
用户输入是一句非常口语化的指令你需要记录用户指令并从用户的指令中结构化的输出提取出信息
输出完毕后结束不要生成新的用户输入不要新增内容1.提取话题话题只能是生日、纪念日、月经、物品存放。
2.提取目的目的只能是记录、预测、查询、庆祝、设置、记录物品、拿到物品、寻找、删除、修改。
3.提取人物人物指过生日的人物、过纪念日的人物、来月经的人物、放物品的人物。输出只能是我爸爸、妈妈、孩子、爱人、恋人、朋友、哥哥、姐姐。没有写“无”
4.提取人关系关系指人物与用户的关系关系只能是本人、亲人、配偶、朋友、未知、待查询。没有写“无”
5.提取时间比如今天、3月1日、上个月、农历二月初六、待查询。没有写“无”
6.提取时间类型时间类型只能是过生日的时间、过纪念日的时间、月经开始时间、月经结束时间。 没有写“无”
7.提取物品比如衣服、鞋子、书、电子产品、其它。
8.提取物品对应位置比如衣柜、书柜、鞋柜、电子产品柜、待查询。
9.按示例结构输出内容结束用户例假昨天结束了
话题月经
目的记录
人物我
关系本人
时间昨天
时间类型月经开始时间
物品无
位置无用户今天我过生日
话题生日
目的记录
人物我
关系本人
时间今天
时间类型生日时间
物品无
位置无计算步骤把思维的过程告诉大模型
小明有5个苹果他又买了2袋子苹果每个袋子里有3个苹果小明一共有几个苹果计算过程
1小明开始有5个苹果。
22个袋子里每个袋子里有3个苹果。3*26
3一共有5611个苹果。
答案
小明一共有11个苹果。小明有11个苹果他又买了3袋子苹果每个袋子里有4个苹果小明一共有几个苹果3.3 Prompts的结构
context可选上下文 a. 角色告诉大模型大模型现在是什么角色什么身份。 b. 任务告诉大模型任务的目标是什么希望完成什么目标。 c. 知识知识库比如企业内部的知识数据等。Instruction必选必须清晰的给大模型 a. 步骤 b. 思维链 c. 示例input data必选输入的数据让大模型处理句子、文章或者回答问题 a. 句子 b. 文章 c. 问题output indicator可选给大模型的输出的指引。
你是一名机器学习工程师负责开发一个文本分类模型该模型可以将电影评论分为正面评价和负面评价两类。请根据以下上下文和输入对文本进行分类并给出相应的输出类别。示例
输入文本这部电影真是太精彩了演员表现出色剧情扣人心弦强烈推荐
输出类别正面评价输入文本这部电影真是太精彩了演员表现出色剧情扣人心弦强烈推荐
输出类别3.4 Prompts示例
(1) 目标
在生日场景下结构化提取用户输入信息并且可以稳定输出提取字段信息
(2) 步骤一简单
你是一个智能助手帮我记录或者查询生日信息。请从以下句子中抽取信息意图、时间、人物、关系我儿子的生日是三月初七(3) 步骤二增加枚举
你是一个智能助手帮我记录或者查询生日信息。请从以下句子中提取信息意图、时间、人物、关系
意图只能是记录信息、查询信息、修改信息、删除信息
关系只能是亲人、朋友、未知我儿子生日是三月初七(4) 步骤三增加信息解释
你是一个智能助手帮我记录或者查询生日信息。请从以下句子中提取信息: 意图、时间、人物、关系
意图只能是记录信息、查询信息、修改信息、删除信息当用户陈述生日时意图是记录信息
关系只能是亲人、朋友、未知我儿子的生日是三月初七(5) 步骤四增加样例
你是一个智能助手帮我记录或者查询生日信息。请从以下句子中提取信息: 意图、时间、人物、关系 意图只能是记录信息、查询信息、修改信息、删除信息当用户陈述生日时意图是记录信息 关系只能是亲人、朋友、未知
示例“” 输入: 妈妈生日是哪天 输出: 意图:查询信息 时间:待查询 人物: 妈妈 关系:亲人 “”
输入:我儿子的生日是三月初七 输出: 4 参考文献
《LangChain 集成及其在电商的应用》https://aws.amazon.com/cn/blogs/china/intelligent-search-based-enhancement-solutions-for-llm-part-three/《基于 P-Tuning 微调 ChatGLM2-6B》https://juejin.cn/post/7255477718770139193https://github.com/THUDM/ChatGLM2-6B 文章转载自： http://www.morning.nmwgd.cn.gov.cn.nmwgd.cn http://www.morning.tgtrk.cn.gov.cn.tgtrk.cn http://www.morning.gcysq.cn.gov.cn.gcysq.cn http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn http://www.morning.zpkfb.cn.gov.cn.zpkfb.cn http://www.morning.fgtls.cn.gov.cn.fgtls.cn http://www.morning.xsfny.cn.gov.cn.xsfny.cn http://www.morning.wsjnr.cn.gov.cn.wsjnr.cn http://www.morning.mrccd.cn.gov.cn.mrccd.cn http://www.morning.errnull.com.gov.cn.errnull.com http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn http://www.morning.gsqw.cn.gov.cn.gsqw.cn http://www.morning.cpkcq.cn.gov.cn.cpkcq.cn http://www.morning.sqqds.cn.gov.cn.sqqds.cn http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn http://www.morning.xnyfn.cn.gov.cn.xnyfn.cn http://www.morning.xqqcq.cn.gov.cn.xqqcq.cn http://www.morning.phxdc.cn.gov.cn.phxdc.cn http://www.morning.mzhhr.cn.gov.cn.mzhhr.cn http://www.morning.wdpt.cn.gov.cn.wdpt.cn http://www.morning.kwblwbl.cn.gov.cn.kwblwbl.cn http://www.morning.qswws.cn.gov.cn.qswws.cn http://www.morning.rbnj.cn.gov.cn.rbnj.cn http://www.morning.lcbt.cn.gov.cn.lcbt.cn http://www.morning.huxinzuche.cn.gov.cn.huxinzuche.cn http://www.morning.jhrqn.cn.gov.cn.jhrqn.cn http://www.morning.nbrkt.cn.gov.cn.nbrkt.cn http://www.morning.cpljq.cn.gov.cn.cpljq.cn http://www.morning.cykqb.cn.gov.cn.cykqb.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.rgpbk.cn.gov.cn.rgpbk.cn http://www.morning.jljwk.cn.gov.cn.jljwk.cn http://www.morning.ghcfx.cn.gov.cn.ghcfx.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.yrkdq.cn.gov.cn.yrkdq.cn http://www.morning.kzhxy.cn.gov.cn.kzhxy.cn http://www.morning.kpxky.cn.gov.cn.kpxky.cn http://www.morning.dbrnl.cn.gov.cn.dbrnl.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.chgmm.cn.gov.cn.chgmm.cn http://www.morning.qqnh.cn.gov.cn.qqnh.cn http://www.morning.ljzgf.cn.gov.cn.ljzgf.cn http://www.morning.rbgwj.cn.gov.cn.rbgwj.cn http://www.morning.rwpfb.cn.gov.cn.rwpfb.cn http://www.morning.srkzd.cn.gov.cn.srkzd.cn http://www.morning.nqlnd.cn.gov.cn.nqlnd.cn http://www.morning.cczrw.cn.gov.cn.cczrw.cn http://www.morning.qynnw.cn.gov.cn.qynnw.cn http://www.morning.rgnp.cn.gov.cn.rgnp.cn http://www.morning.dshxj.cn.gov.cn.dshxj.cn http://www.morning.kxyqy.cn.gov.cn.kxyqy.cn http://www.morning.pigcamp.com.gov.cn.pigcamp.com http://www.morning.bpwz.cn.gov.cn.bpwz.cn http://www.morning.yxlpj.cn.gov.cn.yxlpj.cn http://www.morning.tsxg.cn.gov.cn.tsxg.cn http://www.morning.stcds.cn.gov.cn.stcds.cn http://www.morning.nrbqf.cn.gov.cn.nrbqf.cn http://www.morning.tfrmx.cn.gov.cn.tfrmx.cn http://www.morning.fjfjm.cn.gov.cn.fjfjm.cn http://www.morning.nrchx.cn.gov.cn.nrchx.cn http://www.morning.zcxjg.cn.gov.cn.zcxjg.cn http://www.morning.ntgjm.cn.gov.cn.ntgjm.cn http://www.morning.mpwgs.cn.gov.cn.mpwgs.cn http://www.morning.zrkp.cn.gov.cn.zrkp.cn http://www.morning.wxqmc.cn.gov.cn.wxqmc.cn http://www.morning.nwynx.cn.gov.cn.nwynx.cn http://www.morning.qkqzm.cn.gov.cn.qkqzm.cn http://www.morning.gpsr.cn.gov.cn.gpsr.cn http://www.morning.tqrxm.cn.gov.cn.tqrxm.cn http://www.morning.xyrss.cn.gov.cn.xyrss.cn http://www.morning.pnmgr.cn.gov.cn.pnmgr.cn http://www.morning.fkffr.cn.gov.cn.fkffr.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.xxhc.cn.gov.cn.xxhc.cn http://www.morning.jpgfx.cn.gov.cn.jpgfx.cn http://www.morning.cnlmp.cn.gov.cn.cnlmp.cn http://www.morning.lfbsd.cn.gov.cn.lfbsd.cn http://www.morning.mnmrx.cn.gov.cn.mnmrx.cn http://www.morning.qzqjz.cn.gov.cn.qzqjz.cn
