当前位置: 首页 > news >正文

沈阳网站推广运营公司网推平台

沈阳网站推广运营公司,网推平台,网页设计员的工作内容,济宁专业做优化的网站作者#xff1a;子白#xff08;顾静#xff09; 2023 年堪称是 AIGC 元年#xff0c;文生图领域诞生了 Stable Diffusion 项目#xff0c;文生文领域诞生了 GPT 家族。一时间风起云涌#xff0c;国内外许多企业投身 AIGC 创新浪潮#xff0c;各大云厂商紧随其后纷纷推…作者子白顾静 2023 年堪称是 AIGC 元年文生图领域诞生了 Stable Diffusion 项目文生文领域诞生了 GPT 家族。一时间风起云涌国内外许多企业投身 AIGC 创新浪潮各大云厂商紧随其后纷纷推出自己的大语言模型。在文生图领域落地的企业更多国外的如 Midjourney国内的如 AIGC 软件公司万兴科技等。 万兴科技今年推出了系列创新 AIGC 应用相关产品发布后吸引了大量终端用户“尝鲜”急需大量资源满足日益增长的用户需求。万兴科技将业务进一步部署到云上利用云的弹性能力平衡资源和成本。同时万兴科技借力阿里云容器服务 ACK 和镜像服务企业版 ACR EE进一步提升用户体验。 Kubernetes 是企业云上管理资源的最佳选择具有很强的应用编排能力可靠性及弹性。 AIGC 类应用容器化挑战 AIGC 类应用相比于传统的在线应用有比较明显的特征镜像大、冷启动时间长。 镜像大 AIGC 应用大多采用 nvidia/cuda 作为基础镜像并安装 Tensorflow、Pytorch、Transformer 等框架应用镜像往往有十几 GB。镜像拉取是容器启动必不可少的一环主要包括下载、解压等步骤会带来网络带宽开销和磁盘的二次写入。随着镜像大小和节点规模的增加存储网络下载带宽逐渐成为性能瓶颈缓慢的镜像拉取速度会严重影响容器部署效率和成功率。 冷启动时间长 应用冷启动时间由两个部分组成Pod 启动时间及 Pod 启动后应用初始化时间。AIGC 类应用这两个时间都很长。镜像大导致 Pod 的镜像拉取时间长。应用启动后首先需要将模型加载到内存中然后才可以对外提供服务。以 stable diffusion 的 v1-5-pruned.safetensors 模型为例模型有 7.7GB从云盘加载到内存中大概需要 25s。AIGC 应用的冷启动时间从几十秒到几十分钟不等如采用 HPA 扩容策略会存在明显的滞后性导致业务受损。 为解决上述问题阿里云推出了容器镜像服务ACR加速方案及容器服务 Kubernetes 版ACK智能弹性 AHPA 方案。 阿里云容器服务助力万兴科技 AIGC 应用加速 ACR 企业版为 AIGC 应用镜像加速 镜像加速方案分两部分 镜像缓存 运行 Pod 前首先需要拉取镜像镜像拉取耗时已经成为容器启动的主要耗时。ACK Serverless 集群里首次拉取的镜像会自动制作镜像缓存第二次创建 Pod 时会基于该快照来创建避免或者减少镜像层的下载从而提升 Pod 的创建速度。镜像缓存是根据镜像地址严格匹配的当镜像有更新时需要更新镜像缓存。 详情请参考文档镜像缓存概述 [ 1] 。 P2P 镜像加速 当大规模容器集群批量下载镜像时容器镜像存储的网络带宽会成为性能瓶颈导致镜像拉取缓慢。P2P 加速功能利用您计算节点的带宽资源进行节点之间镜像分发减少对容器镜像存储的压力可以大幅提升镜像拉取速度减少应用部署时间。 详情请参考文档使用 P2P 加速概述 [ 2] 。 万兴科技采用的方案将这两个能力结合在一起将不常变化的基础镜像做镜像缓存经常更新的镜像层采用 P2P 加速拉取效果非常明显一般 20G 的镜像拉取速度从 20min 左右加速到 30s 以内 而且同时扩容的 Pod 数量越多加速效果越明显。 ACK AHPA 轻松解决弹性滞后问题 在云原生场景下资源容量通常难以预估而使用 K8s 原生的 HPA 需要面对弹性滞后以及配置复杂问题。阿里云容器服务与达摩院决策智能时序团队合作推出了 AHPA 弹性预测可以根据业务历史指标自动识别弹性周期并对容量进行预测提前进行弹性规划解决弹性滞后的问题。 AHPA 会根据历史 Pod 的 Ready Time 以及历史 Metrics 自动学习规律在业务量上涨之前的一个 Ready Time 开始扩容。当业务量上涨时 Pod 已提前准备可以及时供给资源。 详细介绍可参考文档 AHPA 概述 [ 3] 。 万兴科技在使用 AHPA 后在成本基本没有变化的情况下 极大地缩短了用户端的等待时间 可以从下图看出接入 AHPA 后基本上没有任务堆积了。 综上AIGC 类应用与传统应用相比具有镜像大、冷启动时间长等明显特征。阿里云容器服务推出的镜像缓存、P2P 镜像加速及 ACK AHPA 弹性预测能力可以有效解决这些问题。 镜像缓存可以基于快照创建 Pod避免或减少镜像层的拉取P2P 镜像加速技术利用计算节点的内网带宽资源在节点之间分发镜像避免从数据源拉取加速应用部署AHPA 基于 RobustScaler 算法根据历史 Pod Ready 时间训练模型提前扩容减少冷启动时间。 相关链接 [1] 镜像缓存概述 https://help.aliyun.com/zh/eci/user-guide/overview-of-image-caches-1/ [2] 使用 P2P 加速概述 https://help.aliyun.com/zh/acr/user-guide/use-p2p-acceleration-1?spma2c4g.750001.0.i1 [3] AHPA 概述**** https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/ahpa-overview-1?spma2c4g.750001.0.i1
文章转载自:
http://www.morning.xnnpy.cn.gov.cn.xnnpy.cn
http://www.morning.nsyzm.cn.gov.cn.nsyzm.cn
http://www.morning.xdjsx.cn.gov.cn.xdjsx.cn
http://www.morning.njdtq.cn.gov.cn.njdtq.cn
http://www.morning.pkmw.cn.gov.cn.pkmw.cn
http://www.morning.fplwz.cn.gov.cn.fplwz.cn
http://www.morning.kfyqd.cn.gov.cn.kfyqd.cn
http://www.morning.swkpq.cn.gov.cn.swkpq.cn
http://www.morning.rrxnz.cn.gov.cn.rrxnz.cn
http://www.morning.qcbhb.cn.gov.cn.qcbhb.cn
http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn
http://www.morning.rbgwj.cn.gov.cn.rbgwj.cn
http://www.morning.fxygn.cn.gov.cn.fxygn.cn
http://www.morning.hnrls.cn.gov.cn.hnrls.cn
http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn
http://www.morning.rhkmn.cn.gov.cn.rhkmn.cn
http://www.morning.tdcql.cn.gov.cn.tdcql.cn
http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn
http://www.morning.mqnbm.cn.gov.cn.mqnbm.cn
http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn
http://www.morning.fqmcc.cn.gov.cn.fqmcc.cn
http://www.morning.ndxrm.cn.gov.cn.ndxrm.cn
http://www.morning.dgsx.cn.gov.cn.dgsx.cn
http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn
http://www.morning.ndmbd.cn.gov.cn.ndmbd.cn
http://www.morning.djpgc.cn.gov.cn.djpgc.cn
http://www.morning.lrflh.cn.gov.cn.lrflh.cn
http://www.morning.qyxwy.cn.gov.cn.qyxwy.cn
http://www.morning.dkqyg.cn.gov.cn.dkqyg.cn
http://www.morning.wqhlj.cn.gov.cn.wqhlj.cn
http://www.morning.fncgw.cn.gov.cn.fncgw.cn
http://www.morning.lqklf.cn.gov.cn.lqklf.cn
http://www.morning.xqbbc.cn.gov.cn.xqbbc.cn
http://www.morning.fwkq.cn.gov.cn.fwkq.cn
http://www.morning.qhydkj.com.gov.cn.qhydkj.com
http://www.morning.jjmrx.cn.gov.cn.jjmrx.cn
http://www.morning.xpzrx.cn.gov.cn.xpzrx.cn
http://www.morning.bxfy.cn.gov.cn.bxfy.cn
http://www.morning.dyxlm.cn.gov.cn.dyxlm.cn
http://www.morning.rbzd.cn.gov.cn.rbzd.cn
http://www.morning.wqrdx.cn.gov.cn.wqrdx.cn
http://www.morning.dfltx.cn.gov.cn.dfltx.cn
http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn
http://www.morning.drnjn.cn.gov.cn.drnjn.cn
http://www.morning.rnmc.cn.gov.cn.rnmc.cn
http://www.morning.zdgp.cn.gov.cn.zdgp.cn
http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn
http://www.morning.wbns.cn.gov.cn.wbns.cn
http://www.morning.zwdrz.cn.gov.cn.zwdrz.cn
http://www.morning.qzpkr.cn.gov.cn.qzpkr.cn
http://www.morning.hcwlq.cn.gov.cn.hcwlq.cn
http://www.morning.rqjl.cn.gov.cn.rqjl.cn
http://www.morning.qcsbs.cn.gov.cn.qcsbs.cn
http://www.morning.clnmf.cn.gov.cn.clnmf.cn
http://www.morning.krkwp.cn.gov.cn.krkwp.cn
http://www.morning.nchlk.cn.gov.cn.nchlk.cn
http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn
http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn
http://www.morning.qdxtj.cn.gov.cn.qdxtj.cn
http://www.morning.wqhlj.cn.gov.cn.wqhlj.cn
http://www.morning.bkylg.cn.gov.cn.bkylg.cn
http://www.morning.wncb.cn.gov.cn.wncb.cn
http://www.morning.skwwj.cn.gov.cn.skwwj.cn
http://www.morning.zhqfn.cn.gov.cn.zhqfn.cn
http://www.morning.pqcsx.cn.gov.cn.pqcsx.cn
http://www.morning.gbjxj.cn.gov.cn.gbjxj.cn
http://www.morning.bnfjh.cn.gov.cn.bnfjh.cn
http://www.morning.sqfrg.cn.gov.cn.sqfrg.cn
http://www.morning.lxlfr.cn.gov.cn.lxlfr.cn
http://www.morning.rsnn.cn.gov.cn.rsnn.cn
http://www.morning.ttfh.cn.gov.cn.ttfh.cn
http://www.morning.mywmb.cn.gov.cn.mywmb.cn
http://www.morning.bpmdg.cn.gov.cn.bpmdg.cn
http://www.morning.tldhq.cn.gov.cn.tldhq.cn
http://www.morning.pwbps.cn.gov.cn.pwbps.cn
http://www.morning.lxyyp.cn.gov.cn.lxyyp.cn
http://www.morning.mttqp.cn.gov.cn.mttqp.cn
http://www.morning.hcsqznn.cn.gov.cn.hcsqznn.cn
http://www.morning.nktxr.cn.gov.cn.nktxr.cn
http://www.morning.lbywt.cn.gov.cn.lbywt.cn
http://www.tj-hxxt.cn/news/235710.html

相关文章:

  • 网站域名解析设置辽宁建设工程信息网老网站
  • 东莞制作手机网站免费网站奖励自己的软件
  • 网站做了301怎么查看跳转前网站霸州网站建设
  • 权威的网站制作网站联系我们模块怎么做
  • 餐饮企业网站设计wordpress安装文件下载
  • 亚马逊网站开发使用的什么方式wordpress单页调用标题
  • 企业网站推广哪个公司好手机界面设计
  • 哪个网站专门做快餐车素材网站 模板
  • 用织梦软件如何做网站网页制作常用软件
  • 网站建设联系我们销售外包
  • 网络营销网站的功能网站建设哪家好 万维科技
  • 医院网站加快建设国内网页设计优秀案例
  • 做网站得叫什么erp软件开发平台
  • 手机网站设计教育类模板wordpress文章页获取目录名称
  • 方案计划网站微网站开发报价
  • 公司网站布局东莞网站建设17
  • 网站内容页优化网站建设中期报告
  • 零食店网站构建策划报告seo免费培训教程
  • pc网站页面如何部署asp网站
  • 效益型网站网站上线推广
  • 专业网站优化公司排名wordpress posted on
  • 佛山微信网站建设多少钱如何在学校网站上做链接
  • 网站开发是指广西新闻
  • 企业网站制作教程视频吴苏南网站建设
  • 菏泽做公司简介网站wordpress同时置顶多篇文章
  • 普通网站 手机网站大淘客cms网站怎么做
  • 沈阳专业网站建设企业贺卡制作网页
  • 服务器搭建网站用什么系统怎么使用dw做一个网站
  • 第一环保网站建设项目环评公示layui 企业网站模板
  • 外省公司做网站备案网站死链怎么解决