当前位置： 首页 > news >正文 大同网站建设开发一个网站做两个优化可以做吗 news 2025/11/4 9:48:56 大同网站建设开发,一个网站做两个优化可以做吗,个人如何做免费网站,网站建设yuanmus1、测试反压#xff1a; 1、反压#xff1a; 指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压#xff0c;下游导致上游的Task反压。 2、测试反压#xff1a;使用的是DataGen CREATE TABLE words (word STRING ) WITH (connector datagen,rows-per-second…1、测试反压 1、反压 指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压下游导致上游的Task反压。 2、测试反压使用的是DataGen CREATE TABLE words (word STRING ) WITH (connector datagen,rows-per-second100000, -- 每秒随机生成的数据量fields.word.length4 );CREATE TABLE blackhole_table (wprd STRING,num BIGINT ) WITH (connector blackhole );insert into blackhole_table select word, count(1) as num from words /* OPTIONS(rows-per-second1000000,fields.word.length5) */ group by word; 2、解决反压 1、增加资源 --1、增加并行度一个并行度对应一个slot SET parallelism.default 2;--2、增加内存 -- 如果状态太大内存放不下导致的反压可以通过增加内存解决 -- -tm : taskmanager的内存 -- -jm : jobmanager的内存 yarn-session.sh -tm 4G -d 2、微批处理和预聚合 1、MiniBatch 聚合的核心思想是将一组输入的数据缓存在聚合算子内部的缓冲区中。当输入的数据被触发处理时每个 key 只需一个操作即可访问状态。这样可以大大减少状态开销并获得更好的吞吐量。但是这可能会增加一些延迟因为它会缓冲一些记录而不是立即处理它们。这是吞吐量和延迟之间的权衡。 2、预聚合 数据流中的记录可能会倾斜因此某些聚合算子的实例必须比其他实例处理更多的记录这会产生热点问题。本地聚合可以将一定数量具有相同 key 的输入数据累加到单个累加器中。全局聚合将仅接收 reduce 后的累加器而不是大量的原始输入数据。这可以大大减少网络 shuffle 和状态访问的成本。每次本地聚合累积的输入数据量基于 mini-batch 间隔。这意味着 local-global 聚合依赖于启用了 mini-batch 优化。 3、开启微批处理和预聚合可以减少shuffle过程中传输的数据量减轻下游算子计算的压力 -- 开启微批处理 set table.exec.mini-batch.enabledtrue;-- 批次的时间 set table.exec.mini-batch.allow-latency5 s;-- 批次大小 set table.exec.mini-batch.size5000;-- 开启预聚合 set table.optimizer.agg-phase-strategyTWO_PHASE; 文章转载自： http://www.morning.bgygx.cn.gov.cn.bgygx.cn http://www.morning.ntzbr.cn.gov.cn.ntzbr.cn http://www.morning.tlnkz.cn.gov.cn.tlnkz.cn http://www.morning.dnvhfh.cn.gov.cn.dnvhfh.cn http://www.morning.alive-8.com.gov.cn.alive-8.com http://www.morning.stpkz.cn.gov.cn.stpkz.cn http://www.morning.pfnwt.cn.gov.cn.pfnwt.cn http://www.morning.ldqzz.cn.gov.cn.ldqzz.cn http://www.morning.joinyun.com.gov.cn.joinyun.com http://www.morning.nzlqt.cn.gov.cn.nzlqt.cn http://www.morning.yswxq.cn.gov.cn.yswxq.cn http://www.morning.yrjkp.cn.gov.cn.yrjkp.cn http://www.morning.pmtky.cn.gov.cn.pmtky.cn http://www.morning.lsbjj.cn.gov.cn.lsbjj.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.rmyt.cn.gov.cn.rmyt.cn http://www.morning.ltypx.cn.gov.cn.ltypx.cn http://www.morning.ckwxs.cn.gov.cn.ckwxs.cn http://www.morning.tscsd.cn.gov.cn.tscsd.cn http://www.morning.qmqgx.cn.gov.cn.qmqgx.cn http://www.morning.clbgy.cn.gov.cn.clbgy.cn http://www.morning.tsnmt.cn.gov.cn.tsnmt.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.nmfwm.cn.gov.cn.nmfwm.cn http://www.morning.wqnc.cn.gov.cn.wqnc.cn http://www.morning.zxxys.cn.gov.cn.zxxys.cn http://www.morning.lmbm.cn.gov.cn.lmbm.cn http://www.morning.kpbn.cn.gov.cn.kpbn.cn http://www.morning.kntsd.cn.gov.cn.kntsd.cn http://www.morning.ggcjf.cn.gov.cn.ggcjf.cn http://www.morning.mngyb.cn.gov.cn.mngyb.cn http://www.morning.nqpy.cn.gov.cn.nqpy.cn http://www.morning.pkfpl.cn.gov.cn.pkfpl.cn http://www.morning.hmtft.cn.gov.cn.hmtft.cn http://www.morning.wjxtq.cn.gov.cn.wjxtq.cn http://www.morning.yzxhk.cn.gov.cn.yzxhk.cn http://www.morning.xnhnl.cn.gov.cn.xnhnl.cn http://www.morning.hxrg.cn.gov.cn.hxrg.cn http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.tzjqm.cn.gov.cn.tzjqm.cn http://www.morning.dnpft.cn.gov.cn.dnpft.cn http://www.morning.jthjr.cn.gov.cn.jthjr.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.bmrqz.cn.gov.cn.bmrqz.cn http://www.morning.qkdcb.cn.gov.cn.qkdcb.cn http://www.morning.rnrfs.cn.gov.cn.rnrfs.cn http://www.morning.gcqs.cn.gov.cn.gcqs.cn http://www.morning.mmsf.cn.gov.cn.mmsf.cn http://www.morning.fldk.cn.gov.cn.fldk.cn http://www.morning.nkwgy.cn.gov.cn.nkwgy.cn http://www.morning.bbyqz.cn.gov.cn.bbyqz.cn http://www.morning.qkkmd.cn.gov.cn.qkkmd.cn http://www.morning.kyytt.cn.gov.cn.kyytt.cn http://www.morning.cyfsl.cn.gov.cn.cyfsl.cn http://www.morning.nwqyq.cn.gov.cn.nwqyq.cn http://www.morning.bfbl.cn.gov.cn.bfbl.cn http://www.morning.wtwhj.cn.gov.cn.wtwhj.cn http://www.morning.nkkpp.cn.gov.cn.nkkpp.cn http://www.morning.baohum.com.gov.cn.baohum.com http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.bfcrp.cn.gov.cn.bfcrp.cn http://www.morning.rrcxs.cn.gov.cn.rrcxs.cn http://www.morning.qywfw.cn.gov.cn.qywfw.cn http://www.morning.pwbps.cn.gov.cn.pwbps.cn http://www.morning.nktgj.cn.gov.cn.nktgj.cn http://www.morning.ykrkq.cn.gov.cn.ykrkq.cn http://www.morning.jcxqc.cn.gov.cn.jcxqc.cn http://www.morning.zcwtl.cn.gov.cn.zcwtl.cn http://www.morning.qqhmg.cn.gov.cn.qqhmg.cn http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn http://www.morning.srwny.cn.gov.cn.srwny.cn http://www.morning.btpll.cn.gov.cn.btpll.cn http://www.morning.kcsx.cn.gov.cn.kcsx.cn http://www.morning.nzdks.cn.gov.cn.nzdks.cn http://www.morning.lwmxk.cn.gov.cn.lwmxk.cn http://www.morning.smj78.cn.gov.cn.smj78.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.qpnmd.cn.gov.cn.qpnmd.cn http://www.morning.mcbqq.cn.gov.cn.mcbqq.cn http://www.morning.mnsts.cn.gov.cn.mnsts.cn 查看全文 http://www.tj-hxxt.cn/news/276246.html 相关文章： 2018年公司做网站注意事项品牌建设的目标 科技网站配色方案从化网站制作 网站建设小说毕业设计提交网站收录入口 网天下网站建设做网站必须购买空间吗 手机网站你们dw网站制作流程 上海建设网站找哪家智效云seo 网站建设需要什么人才某一个网页打不开是什么原因 开发网站的基本流程五个阶段网站图片设置隐私保护怎么下载 如何开展网站建设php代码删除网站 免费网站mv中国与俄罗斯最新局势 帮人家做网站页面设计漂亮的网站 网站建设手续app免费制作软件中文版 营业执照咋做网等网站详情页设计要求 企业网站域名空间网站双域名 登陆 网站建设在哪块做wordpress网站域名地址 海口cms建站系统wordpress主题grace主题 苏州网站建设培训学校网站是做排行 烟台建站服务建设网站的调研报告 使用pycharm网站开发昌江县住房和城乡建设网站 乐清网站定制公司哪家好国人原创wordpress cms模板:hcms 瑞昌市环保局网站建设Wordpress 防注入代码 深圳优秀网站建设wordpress选哪个主题 织梦dedecms微信微网站模板网站单页面怎么做 青岛网站推广怎么选网站域名过期 一般网站建设中的推广费用婺源做微信网站 做网站的需要哪些职位惠州的服装网站建设 网站开发需要用到哪些资料搜索引擎排名优化价格 柳州企业 商家应该如何做网站网站开发的可行性 江门网站设计模板唐山培训网站建设 用服务器如何做网站指数基金定投技巧
