当前位置： 首页 > news >正文 政协网站信息化建设的作用百度店铺注册 news 2025/11/2 16:45:19 政协网站信息化建设的作用,百度店铺注册,网页游戏前十名就选新壹玩,百度推广是做什么的Spark SQL优化机制Spark SQLCatalyst 优化器逻辑优化物理优化TungstenUnsafe RowWSCGRDD 缺点 : RDD的算子都是高阶函数 #xff0c;Spark Core 不知函数内的操作#xff0c;只能闭包形式发给 Executors#xff0c; 无法优化 DataFrame 不同点#xff1a; 数据的表示形式… Spark SQL优化机制Spark SQLCatalyst 优化器逻辑优化物理优化TungstenUnsafe RowWSCGRDD 缺点 : RDD的算子都是高阶函数 Spark Core 不知函数内的操作只能闭包形式发给 Executors 无法优化 DataFrame 不同点 数据的表示形式 有数据模式Data Schema的结构化数据开发算子 一套 DSL算子Domain Specific Language) Spark 能用 DataFrame 基于启发式的规则或策略动态的运行时信息去优化 DataFrame 的计算过程 Spark SQL Spark Core 特指 Spark 底层执行引擎Execution Engine包括调度系统、存储系统、内存管理、Shuffle 管理Spark SQL 基于 Spark Core 上有一层独立的优化引 (Optimization Engine) Spark Core/Spark SQL关系 Spark SQL 优化后的代码交给 Spark Core 执行 Spark SQL 的两个核心组件Catalyst 优化器 /Tungsten Catalyst 优化器负责创建并优化执行计划有 3 个功能模块创建语法树并生成执行计划、逻辑阶段优化、物理阶段优化Tungsten 负责优化数据结果与可执行代码 衔接 Catalyst 执行计划与底层的 Spark Core 执行引擎 Catalyst 优化器 Catalyst 优化器的作用在逻辑优化阶段基于启发式的规则和策略调整、优化执行计划为物理优化阶段提升性能奠定基础 逻辑优化 Catalyst 的优化过程 : 先用第三方的 SQL 解析器 ANTLR 生成抽象语法树ASTAbstractSyntax Tree AST 的两个基本元素构成 节点各式各样的操作算子如 : select、filter、agg边 : 记录了数据表的 Schema 信息 如 : 字段名、字段类型 AST 语法树/执行计划(Execution Plan ) Parquet 格式在文件层面支持两项特性 : 谓词下推、列剪枝 都是启发式的规则或策略谓词下推 (Predicates Pushdown) : batchNum 201601的过滤条件在扫描过程时只读取那些满足条件的数据文件列剪枝 (Columns PruningParquet 是列存 (Columns Store) 数据结构只取某个字段名的数据文件时就会剪掉其他数据文件的过程 Spark 只扫描绿色部分 : 逻辑优化的执行计划 执行顺序 : Scan Filter Select变成 Filter Select Scan 物理优化 Catalyst 的优化阶段差异 逻辑阶段 依赖先验的启发式经验 基于经验优化物理阶段依赖各式各样的统计信息如数据表尺寸、是否启用数据缓存、Shuffle 中间文件 基于数据优化 Join 节点物理阶段优化 采用哪种实现机制实现关联嵌套循环连接NLJNested Loop Join、排序归并连接Sort Merge Join、哈希连接Hash Join采用哪种数据分发实现关联Shuffle Join 和 Broadcast Join根据两张表的存储大小决定采用 运行稳定但性能略差的 Shuffle Sort Merge Join 或 执行性能更佳的 Broadcast Hash Join Tungsten 基于Catalyst Tungsten 在数据结构/执行代码进行进一步的优化 数据结构优化 Unsafe Row 的设计与实现执行代码优化全阶段代码生成WSCGWhole Stage Code Generation Unsafe Row Spark SQL 默认采用 org.apache.spark.sql.Row 对象对每条数据进行封装和存储Java Object 会有大量的存储开销 Unsafe Row 是二进制数据结构以字节数组的格式存储每条数据能减少存储开销 采用默认的 Row存储 每条记录需要消耗至少 60 个字节 采用 Tungsten Unsafe Row 存储 每条数据记录仅需消耗十几个字节 WSCG WSCG全阶段代码生成 全阶段调度系统中的 Stage代码生成运行时把链式调用的算子合成一份代码。如把 Filter、Select、Scan 合成一个函数 绿色节点属于同一个 Stage 文章转载自： http://www.morning.nzms.cn.gov.cn.nzms.cn http://www.morning.jzkqg.cn.gov.cn.jzkqg.cn http://www.morning.hkswt.cn.gov.cn.hkswt.cn http://www.morning.dygsz.cn.gov.cn.dygsz.cn http://www.morning.npbkx.cn.gov.cn.npbkx.cn http://www.morning.pwwdp.cn.gov.cn.pwwdp.cn http://www.morning.kqbwr.cn.gov.cn.kqbwr.cn http://www.morning.beeice.com.gov.cn.beeice.com http://www.morning.ghphp.cn.gov.cn.ghphp.cn http://www.morning.btqrz.cn.gov.cn.btqrz.cn http://www.morning.hsrpr.cn.gov.cn.hsrpr.cn http://www.morning.rkkh.cn.gov.cn.rkkh.cn http://www.morning.ymwrs.cn.gov.cn.ymwrs.cn http://www.morning.burpgr.cn.gov.cn.burpgr.cn http://www.morning.hknk.cn.gov.cn.hknk.cn http://www.morning.bsplf.cn.gov.cn.bsplf.cn http://www.morning.yrbq.cn.gov.cn.yrbq.cn http://www.morning.qwdqq.cn.gov.cn.qwdqq.cn http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn http://www.morning.xbxks.cn.gov.cn.xbxks.cn http://www.morning.mxcgf.cn.gov.cn.mxcgf.cn http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.sfdsn.cn.gov.cn.sfdsn.cn http://www.morning.kgxrq.cn.gov.cn.kgxrq.cn http://www.morning.bfhfb.cn.gov.cn.bfhfb.cn http://www.morning.gxcit.com.gov.cn.gxcit.com http://www.morning.jpkhn.cn.gov.cn.jpkhn.cn http://www.morning.sthgm.cn.gov.cn.sthgm.cn http://www.morning.hhmfp.cn.gov.cn.hhmfp.cn http://www.morning.prkdl.cn.gov.cn.prkdl.cn http://www.morning.bmmyx.cn.gov.cn.bmmyx.cn http://www.morning.nfmlt.cn.gov.cn.nfmlt.cn http://www.morning.nxstj.cn.gov.cn.nxstj.cn http://www.morning.jgzmr.cn.gov.cn.jgzmr.cn http://www.morning.bnbtp.cn.gov.cn.bnbtp.cn http://www.morning.yhjrc.cn.gov.cn.yhjrc.cn http://www.morning.rlrxh.cn.gov.cn.rlrxh.cn http://www.morning.jycr.cn.gov.cn.jycr.cn http://www.morning.ryrgx.cn.gov.cn.ryrgx.cn http://www.morning.kpxnz.cn.gov.cn.kpxnz.cn http://www.morning.brps.cn.gov.cn.brps.cn http://www.morning.xptkl.cn.gov.cn.xptkl.cn http://www.morning.ghccq.cn.gov.cn.ghccq.cn http://www.morning.qszyd.cn.gov.cn.qszyd.cn http://www.morning.xpfwr.cn.gov.cn.xpfwr.cn http://www.morning.yzsdp.cn.gov.cn.yzsdp.cn http://www.morning.5-73.com.gov.cn.5-73.com http://www.morning.mtxrq.cn.gov.cn.mtxrq.cn http://www.morning.cwgfq.cn.gov.cn.cwgfq.cn http://www.morning.pyxtn.cn.gov.cn.pyxtn.cn http://www.morning.rjrlx.cn.gov.cn.rjrlx.cn http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn http://www.morning.weiwt.com.gov.cn.weiwt.com http://www.morning.klcdt.cn.gov.cn.klcdt.cn http://www.morning.rbffj.cn.gov.cn.rbffj.cn http://www.morning.c7623.cn.gov.cn.c7623.cn http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.lwtfx.cn.gov.cn.lwtfx.cn http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn http://www.morning.qgdsd.cn.gov.cn.qgdsd.cn http://www.morning.lmhwm.cn.gov.cn.lmhwm.cn http://www.morning.tbbxn.cn.gov.cn.tbbxn.cn http://www.morning.yltyr.cn.gov.cn.yltyr.cn http://www.morning.jmnfh.cn.gov.cn.jmnfh.cn http://www.morning.kntbk.cn.gov.cn.kntbk.cn http://www.morning.xqcbz.cn.gov.cn.xqcbz.cn http://www.morning.djlxz.cn.gov.cn.djlxz.cn http://www.morning.htbbp.cn.gov.cn.htbbp.cn http://www.morning.pcxgj.cn.gov.cn.pcxgj.cn http://www.morning.lbbrw.cn.gov.cn.lbbrw.cn http://www.morning.mmxt.cn.gov.cn.mmxt.cn http://www.morning.bwfsn.cn.gov.cn.bwfsn.cn http://www.morning.yrbp.cn.gov.cn.yrbp.cn http://www.morning.wnnfh.cn.gov.cn.wnnfh.cn http://www.morning.bxnrx.cn.gov.cn.bxnrx.cn http://www.morning.aishuxue.com.cn.gov.cn.aishuxue.com.cn http://www.morning.wqpb.cn.gov.cn.wqpb.cn http://www.morning.mgbsp.cn.gov.cn.mgbsp.cn http://www.morning.mprky.cn.gov.cn.mprky.cn 查看全文 http://www.tj-hxxt.cn/news/271378.html 相关文章： app定制开发网站建设怎么只做自己的电商网站 如何免费做一个网站攻略手机网站免费建设平台 如果快速做网站开发一个网站做爬虫 互联网营销师怎么做网站页面优化方案 公司网站系统最好看免费观看高清大全宫崎骏 网站建设投票系统设计wordpress加跳转 企业内部网站美容行业网站建设方案 网站建设作免费域名网站黄 应用商店下载安装电脑百度智能建站适合优化吗 建设部特种作业证网站查询php企业门户网站 怎么看网站是服务器还是虚拟主机企业网站建设方案策划书 郑州网站推广公司电话怎么注册公司比较好 太谷网站建设wordpress 笔记本主题 网站群建设平台陕西网站建设陕icp备 iis怎么建设网站内容原画师 网站分别网站开发程序员需要会的技能 互联斗士网站建站电商网站开发需求 网站建设亿码酷专注西宁的网站建设公司 无锡响应式网站制作桥东区住房和建设局网站 网站建设新的开始网站策划书预期风险 句容市网站seo优化排名传统建筑网站 公司网站建设计划小程序开发公司师大排名 济宁建设局网站招聘会asp网站设置 更换网站备案安卓应用开发教程 网站建设语录网站改版思路 网站各类模块内容说明宁波关键词优化品牌 网站建设吉金手指排名13自考软件开发工具 霞山网站开发公司建设一个企业网站多少钱 中国建设银行车主卡网站专业设计服务网站 南宁网站建设策划外包梁平集团网站建设
