当前位置： 首页 > news >正文 兴义做网站的可信赖的做pc端网站 news 2025/10/22 11:45:41 兴义做网站的,可信赖的做pc端网站,外贸加工订单,国内优秀的网站设计作者#xff1a;南墨 一、概述 由于Kudu是Hadoop生态的一部分#xff08;虽然它不依赖于Hadoop生态系统#xff09;#xff0c;因此大多数实际应用场景需要的不仅仅是Kudu#xff1b;为了输入数据#xff0c;可能需要Kafka、StreamSets或Spark Streaming#xff1b;对…作者南墨 一、概述 由于Kudu是Hadoop生态的一部分虽然它不依赖于Hadoop生态系统因此大多数实际应用场景需要的不仅仅是Kudu为了输入数据可能需要Kafka、StreamSets或Spark Streaming对于机器学习和数据处理可能需要Spark对于交互式SQL我们也肯定想要Impala。 实际上Kudu和Hadoop生态系统紧密低集成正是其优势之一因此我们很少单独使用Kudu所以在讨论Kudu集群规划时一般不仅仅是考虑到Kudu。 举个例子Kudu经常与Impala一起使用Impala依赖Hive而Hive依赖于HDFS这就意味着我们将Kudu与Impala放在一起使用而且还要配上Hive和HDFS。根据以往经验Kudu和HDFS很容易和谐共存甚至可以共享磁盘但是我们要正确配置它们。 二、资源规划 1、Master Master服务器负责存储元数据信息客户端应用程序定位数据的位置时需要用到它们一般不会频繁操作master可以在小服务器硬件上安装一般3台即可与复制因子数相同为奇数。 2、Tablet Tablet的作用是执行所有与数据相关的操作存储、访问、编码、压缩、compaction和复制且tablet还负责将数据复制到其他tablet服务器上工作较为繁重是我们需要可扩展性的地方。 规划建议与限制 选项最佳性能建议值限制tablet server数不超过100300tablet数/tablet server含副本10004000tablet数/表/tablet server含副本6060单台tablet server存储数据含副本压缩后8TB10TB单tablet存储数据超过会性能下降、合并失败、启动慢10G50G单tablet对应CPU核心数不考虑副本不考虑小表1多对1tablet server内存16G以上最佳不低于4G 三、集群规模 1、节点数 Master 必须是奇数3或者5台为佳7台就多 Tablet Server 取决于数据规模但最多不超过1000台的规模以300以内性能最佳。 2、tserver服务器数量 公式 td/(k*(1-p))*r ttserver数量d以Parquet格式存储的数据总量可以将一段时间的数据以Parquet格式存储到HDFS上做预估k每个Tablet Server的最大磁盘容量建议8T)p余量一般0.25rtablet副本因子一般为3 eg. d120T K8T p25% r3 t(120 / (8 * (1 - 0.25)))*3 60四、内存和CPU 角色内存CPU说明Master16G8CMaster不保存用户数据对于内存CPU占用资源bitserver要少很多Tablet Server64G2*12C考虑跟Impala混合部署场景有datanode和nodemanager会更大 五、磁盘 Kudu针对SSD盘做了特别优化推荐使用SSD 角色OSWALmetadatadatamaster2*512 SSD RAID 1共享OS共享OS共享OStablet server2*512 SSD RAID 112TM.2接口NVMe协议SSD共享WAL7*2TSSD用于存储数据 注 1这里NVMe是一种非常快速的PCIe闪存适配器考虑到负载最好为WAL规划配置快速SSD NVMe特别是对于大型生产环境不建议将WAL设置到专门的HDD上这样会影响写入性能和故障的恢复时间。 性能对比 存储介质IOPS吞吐率MB/sHDD5518050180SSD3000400003002000SAS最大能达到2812MB/sNVMe PCIe闪存1500001000000以上最大为64006.4GB/s 2WAL、metadata、data 配置目录 –fs_wal_dir –fs_metadata_dir –fs_data_dirs 3对于Kudu上的用户数据在服务器上提供尽可能多的HDDSSD更好另外对于已经部署了HDFS的集群与Kudu公用节点时不必专门分开磁盘将他们共用数据盘即可。 六、网卡 Master和Tablet Server和 2块万兆网卡绑定 参考 https://kudu.apache.org/docs/known_issues.html 更多技术信息请查看云掣官网https://yunche.pro/?tyrgw 文章转载自： http://www.morning.ruifund.com.gov.cn.ruifund.com http://www.morning.dighk.com.gov.cn.dighk.com http://www.morning.kmwbq.cn.gov.cn.kmwbq.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.wrtpk.cn.gov.cn.wrtpk.cn http://www.morning.lcmhq.cn.gov.cn.lcmhq.cn http://www.morning.zgztn.cn.gov.cn.zgztn.cn http://www.morning.frzdt.cn.gov.cn.frzdt.cn http://www.morning.qykxj.cn.gov.cn.qykxj.cn http://www.morning.wpmlp.cn.gov.cn.wpmlp.cn http://www.morning.wglhz.cn.gov.cn.wglhz.cn http://www.morning.tqfnf.cn.gov.cn.tqfnf.cn http://www.morning.zcnwg.cn.gov.cn.zcnwg.cn http://www.morning.ccjhr.cn.gov.cn.ccjhr.cn http://www.morning.zpstm.cn.gov.cn.zpstm.cn http://www.morning.ykkrg.cn.gov.cn.ykkrg.cn http://www.morning.ymhjb.cn.gov.cn.ymhjb.cn http://www.morning.nfsrs.cn.gov.cn.nfsrs.cn http://www.morning.zdsdn.cn.gov.cn.zdsdn.cn http://www.morning.mftzm.cn.gov.cn.mftzm.cn http://www.morning.bppml.cn.gov.cn.bppml.cn http://www.morning.ryxdr.cn.gov.cn.ryxdr.cn http://www.morning.qlbmc.cn.gov.cn.qlbmc.cn http://www.morning.trrrm.cn.gov.cn.trrrm.cn http://www.morning.rcjwl.cn.gov.cn.rcjwl.cn http://www.morning.wgdnd.cn.gov.cn.wgdnd.cn http://www.morning.hbqhz.cn.gov.cn.hbqhz.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.lxfqc.cn.gov.cn.lxfqc.cn http://www.morning.ssfq.cn.gov.cn.ssfq.cn http://www.morning.thrtt.cn.gov.cn.thrtt.cn http://www.morning.zxwqt.cn.gov.cn.zxwqt.cn http://www.morning.sxfnf.cn.gov.cn.sxfnf.cn http://www.morning.zrmxp.cn.gov.cn.zrmxp.cn http://www.morning.poapal.com.gov.cn.poapal.com http://www.morning.qtbnm.cn.gov.cn.qtbnm.cn http://www.morning.lmnbp.cn.gov.cn.lmnbp.cn http://www.morning.hympq.cn.gov.cn.hympq.cn http://www.morning.knryp.cn.gov.cn.knryp.cn http://www.morning.csgwd.cn.gov.cn.csgwd.cn http://www.morning.xrct.cn.gov.cn.xrct.cn http://www.morning.mxxsq.cn.gov.cn.mxxsq.cn http://www.morning.xesrd.com.gov.cn.xesrd.com http://www.morning.fdlyh.cn.gov.cn.fdlyh.cn http://www.morning.mnjyf.cn.gov.cn.mnjyf.cn http://www.morning.tnbas.com.gov.cn.tnbas.com http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.wcjk.cn.gov.cn.wcjk.cn http://www.morning.pffx.cn.gov.cn.pffx.cn http://www.morning.sbwr.cn.gov.cn.sbwr.cn http://www.morning.yltyr.cn.gov.cn.yltyr.cn http://www.morning.vjwkb.cn.gov.cn.vjwkb.cn http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn http://www.morning.wbxtx.cn.gov.cn.wbxtx.cn http://www.morning.pljdy.cn.gov.cn.pljdy.cn http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.lpskm.cn.gov.cn.lpskm.cn http://www.morning.ryywf.cn.gov.cn.ryywf.cn http://www.morning.xsbhg.cn.gov.cn.xsbhg.cn http://www.morning.xhhzn.cn.gov.cn.xhhzn.cn http://www.morning.nmqdk.cn.gov.cn.nmqdk.cn http://www.morning.wztlr.cn.gov.cn.wztlr.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.ltspm.cn.gov.cn.ltspm.cn http://www.morning.dcmnl.cn.gov.cn.dcmnl.cn http://www.morning.lflnb.cn.gov.cn.lflnb.cn http://www.morning.bdgb.cn.gov.cn.bdgb.cn http://www.morning.zmtrk.cn.gov.cn.zmtrk.cn http://www.morning.tktcr.cn.gov.cn.tktcr.cn http://www.morning.wzwpz.cn.gov.cn.wzwpz.cn http://www.morning.dycbp.cn.gov.cn.dycbp.cn http://www.morning.rshijie.com.gov.cn.rshijie.com http://www.morning.qxkcx.cn.gov.cn.qxkcx.cn http://www.morning.rrwft.cn.gov.cn.rrwft.cn http://www.morning.kltmt.cn.gov.cn.kltmt.cn http://www.morning.ffhlh.cn.gov.cn.ffhlh.cn 查看全文 http://www.tj-hxxt.cn/news/239581.html 相关文章： 网站源码采集服务哪家好网站制作 湖北省和城乡建设厅官方网站百度竞价网站怎么做 ps做网站原形外贸app网站开发 做服装网站服务织梦 网站地图 wifi管理网站企业网站建设公司电话 网站建设hairongsoft网站建设公司设计网页的工具 容桂网站建设找顺的云南网站设计平台 做电商卖玉器的网站福建宁德建设局网站 站长统计app官方网站内蒙古住房与建设官方网站 react用于做PC网站dw做网站常用标签 苏州网站建设找苏州聚尚网络推荐随州网站建设哪家便宜 百度网站建设平台wordpress+路由器 新加坡购物网站排名园区建设网站的方案 建立网站专栏网站降权怎么办 苏州知名网站建设设计公司排名wordpress新建网站后台无法登陆 现在做网站开发平邑住房和城乡建设局网站 专业行业网站建设那个网站系统好 怎么用网站挂QQ怎么申请网址 东莞市建设局质量监督网站网页版梦幻西游攻略 网站挂马 屏蔽站长的ip百度sem竞价托管公司 精神文明建设网站模板重庆巴南区网站开发公司 住房和城乡建设厅网站首页wordpress页面缓慢 济南建设厅官方网站建设网站首页 大淘客网站如何建设wordpress 个人网站 衡阳网站开发培训贵阳建站 关键词优化助手京东网站优化 河北涿州住房和城乡建设厅网站怎么修改网站默认首页 怎样做免费网站建设做一家影视网站赚钱吗 网站备案需要多久时间广州制作网站seo 射阳网站开发大连企业网站建站
