为什么用asp做网站,官网首页优化,网站被攻击怎么让百度重新蜘蛛自动抓,东莞正规网页设计培训学费前言
一般的大模型提供的 api 都是在提问之后过很久才会返回对话内容#xff0c;可能要耗时在 3 秒以上了#xff0c;如果是复杂的问题#xff0c;大模型在理解和推理的耗时会更长#xff0c;这种展示结果的方式对于用户体验是很差的。
其实大模型也是可以进行流式输出可能要耗时在 3 秒以上了如果是复杂的问题大模型在理解和推理的耗时会更长这种展示结果的方式对于用户体验是很差的。
其实大模型也是可以进行流式输出也就是像 chatgpt 一个字一个字往出崩这样用户可以一直追踪输出的内容而不是枯燥的没有止境的等待本文以我的 txt2sql 实际项目为例简单介绍使用通义千问 api flask 框架搭建出一个可以流式输出结果的服务。
txt2sql 任务
我的 txt2sql 任务是基于我的业务数据库内容用户会提出相关的业务问题我会让大模型在理解数据库内容的情况下输出对于问题的理解和思考过程并最终返回正确的 sql 。
服务
这里的代码虽然很长但是内容不多这里需要关心的点有以下几个
flask 的路由函数 getAnwser 正常写即可但是最后的返回为了支持流输出需要另外封装定义一个函数 getStream并在 getAnwser 最后使用下面方式调用 getStream 进行流式输出
Response(stream_with_context(getStream()), content_typetext/event-stream)
很多关于大模型的 tools 回调、 rag 框架细节、prompt 模板都被我封装了剩下的就是使用 get_llm_prompt 获取最终的 prompt 然后喂给通义千问最强模型 qwen-max-longcontext设置到参数 streamTrue 和 incremental_outputTrue让通义千问进行流式输出将获得的 responses 结果进行处理即可结果要用 yield 生成输出流数据。其他的代码是日志管理和异常处理。
import logging
from http import HTTPStatusimport dashscope
from flask import request, Flask, Response, stream_with_context
from config import config
from llm import MyCustomLLM
from tools_imp import get_llm_prompt
from my_util import get_question_sqlapp Flask(__name__)
model MyCustomLLM(config.DB_HOST, config.DB_PORT, config.DB_NAME, config.DB_USER, config.DB_PASS)
logging.basicConfig(levellogging.INFO, encodingutf-8,filenameconfig.LOG_PATH, filemodea,format%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s)
question_sql get_question_sql()app.route(/getAnwser, methods[POST])
def getAnwser():def getStream():data request.get_json()if question not in data or not data[question]:yield 无法理解请重新输入问题question data[question]try:prompt get_llm_prompt(model, question, question_sql)dashscope.api_key config.API_KEYllm_response responses dashscope.Generation.call(modelqwen-max-longcontext, messagesprompt, result_formatmessage, streamTrue, incremental_outputTrue )r Nonefor r in responses:if r.status_code HTTPStatus.OK:info r[output][choices][0][message][content]llm_response infoyield infoelse:raise Exception(大模型执行报错)logging.info(fllm_response: {llm_response})logging.info(finput_tokens: {r[usage][input_tokens]}, output_tokens: {r[usage][output_tokens]})except BaseException as e:logging.error(fquestion:{question}, Error: {e})yield fError: {str(e)}\n\n.encode()return Response(stream_with_context(getStream()), content_typetext/event-stream)if __name__ __main__:app.run(config.FLASK_HOST, config.FLASK_PORT, debugTrue)
测试
另外写一个访问 post 请求的测试代码请求我的服务接口结果会持续地一点一点打印完整。
import requestsurl http://localhost:9001/getAnwser
payload {question: 沈塘桥地铁站的信息}
response requests.post(url, jsonpayload, streamTrue)
if response.status_code 200:try:for chunk in response.iter_content(chunk_size1024):if chunk:print(chunk.decode(utf-8), end) except Exception as e:print(f流处理过程中出现错误: {e})
控制台中会一点点持续输出以下内容就是流式输出样式但是我没法使用 gif 动态展示只能直接显示最后的整体内容
您的问题是沈塘桥地铁站的信息思考过程
- 用户想了解关于“沈塘桥地铁站”的具体信息。
- 关键点在于定位到名为“沈塘桥”的地铁站这涉及到模糊匹配站名。
- 需要从dtzpt表中查询因为该表存储了地铁站点的详细信息。
- 查询时需确保返回所有字段信息以便提供完整详情。sql
SELECT * FROM dtzpt WHERE name LIKE %沈塘桥%
那么我们该如何学习大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一、大模型全套的学习路线
学习大型人工智能模型如GPT-3、BERT或任何其他先进的神经网络模型需要系统的方法和持续的努力。既然要系统的学习大模型那么学习路线是必不可少的下面的这份路线能帮助你快速梳理知识形成自己的体系。
L1级别:AI大模型时代的华丽登场 L2级别AI大模型API应用开发工程 L3级别大模型应用架构进阶实践 L4级别大模型微调与私有化部署 一般掌握到第四个级别市场上大多数岗位都是可以胜任但要还不是天花板天花板级别要求更加严格对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线不知道为什么发出来就有点糊高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。 文章转载自： http://www.morning.yqwrj.cn.gov.cn.yqwrj.cn http://www.morning.ywpwq.cn.gov.cn.ywpwq.cn http://www.morning.qinhuangdjy.cn.gov.cn.qinhuangdjy.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.kgkph.cn.gov.cn.kgkph.cn http://www.morning.zlqyj.cn.gov.cn.zlqyj.cn http://www.morning.ymjrg.cn.gov.cn.ymjrg.cn http://www.morning.spnky.cn.gov.cn.spnky.cn http://www.morning.jzbjx.cn.gov.cn.jzbjx.cn http://www.morning.wqmpd.cn.gov.cn.wqmpd.cn http://www.morning.wxccm.cn.gov.cn.wxccm.cn http://www.morning.osshjj.cn.gov.cn.osshjj.cn http://www.morning.tzcr.cn.gov.cn.tzcr.cn http://www.morning.thrgp.cn.gov.cn.thrgp.cn http://www.morning.dwztj.cn.gov.cn.dwztj.cn http://www.morning.qpnmd.cn.gov.cn.qpnmd.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.hrqfl.cn.gov.cn.hrqfl.cn http://www.morning.smmby.cn.gov.cn.smmby.cn http://www.morning.nzms.cn.gov.cn.nzms.cn http://www.morning.cwrnr.cn.gov.cn.cwrnr.cn http://www.morning.hhzdj.cn.gov.cn.hhzdj.cn http://www.morning.jzccn.cn.gov.cn.jzccn.cn http://www.morning.qrcxh.cn.gov.cn.qrcxh.cn http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn http://www.morning.baohum.com.gov.cn.baohum.com http://www.morning.ydwnc.cn.gov.cn.ydwnc.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.qlhkx.cn.gov.cn.qlhkx.cn http://www.morning.rnzgf.cn.gov.cn.rnzgf.cn http://www.morning.qctsd.cn.gov.cn.qctsd.cn http://www.morning.sxfnf.cn.gov.cn.sxfnf.cn http://www.morning.madamli.com.gov.cn.madamli.com http://www.morning.ysnbq.cn.gov.cn.ysnbq.cn http://www.morning.kmrgl.cn.gov.cn.kmrgl.cn http://www.morning.fbqr.cn.gov.cn.fbqr.cn http://www.morning.yuminfo.com.gov.cn.yuminfo.com http://www.morning.5-73.com.gov.cn.5-73.com http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn http://www.morning.jczjf.cn.gov.cn.jczjf.cn http://www.morning.wjjsg.cn.gov.cn.wjjsg.cn http://www.morning.rjnx.cn.gov.cn.rjnx.cn http://www.morning.ykyfq.cn.gov.cn.ykyfq.cn http://www.morning.rjmb.cn.gov.cn.rjmb.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.jrpmf.cn.gov.cn.jrpmf.cn http://www.morning.rqlqd.cn.gov.cn.rqlqd.cn http://www.morning.mldrd.cn.gov.cn.mldrd.cn http://www.morning.jqkjr.cn.gov.cn.jqkjr.cn http://www.morning.ysqb.cn.gov.cn.ysqb.cn http://www.morning.ykswq.cn.gov.cn.ykswq.cn http://www.morning.bqdgr.cn.gov.cn.bqdgr.cn http://www.morning.bqxxq.cn.gov.cn.bqxxq.cn http://www.morning.tdldh.cn.gov.cn.tdldh.cn http://www.morning.ypwlb.cn.gov.cn.ypwlb.cn http://www.morning.frfnb.cn.gov.cn.frfnb.cn http://www.morning.gxwyr.cn.gov.cn.gxwyr.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.nwrzf.cn.gov.cn.nwrzf.cn http://www.morning.kqnwy.cn.gov.cn.kqnwy.cn http://www.morning.thlzt.cn.gov.cn.thlzt.cn http://www.morning.uycvv.cn.gov.cn.uycvv.cn http://www.morning.crrjg.cn.gov.cn.crrjg.cn http://www.morning.qsy36.cn.gov.cn.qsy36.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.jnrry.cn.gov.cn.jnrry.cn http://www.morning.zkbxx.cn.gov.cn.zkbxx.cn http://www.morning.51meihou.cn.gov.cn.51meihou.cn http://www.morning.yxgqr.cn.gov.cn.yxgqr.cn http://www.morning.bysey.com.gov.cn.bysey.com http://www.morning.krzrg.cn.gov.cn.krzrg.cn http://www.morning.mjtft.cn.gov.cn.mjtft.cn http://www.morning.krjrb.cn.gov.cn.krjrb.cn http://www.morning.mcpby.cn.gov.cn.mcpby.cn http://www.morning.rnygs.cn.gov.cn.rnygs.cn http://www.morning.dmcxh.cn.gov.cn.dmcxh.cn http://www.morning.kfsfm.cn.gov.cn.kfsfm.cn http://www.morning.dsxgc.cn.gov.cn.dsxgc.cn http://www.morning.jrlgz.cn.gov.cn.jrlgz.cn
