当前位置： 首页 > news >正文 西北电力建设甘肃工程公司网站房地产设计院 news 2025/11/5 1:58:51 西北电力建设甘肃工程公司网站,房地产设计院,mcms怎么做网站,网站开发小组总结报告锁屏面试题百日百刷#xff0c;每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线#xff0c;官网地址#xff1a;https://www.demosoftware.cn。已收录了每日更新的面试题的所有内容#xff0c;还包含特色的解锁屏幕复习面试题、每日编程题目邮件推送等功能。让你… 锁屏面试题百日百刷每个工作日坚持更新面试题。锁屏面试题app、小程序现已上线官网地址https://www.demosoftware.cn。已收录了每日更新的面试题的所有内容还包含特色的解锁屏幕复习面试题、每日编程题目邮件推送等功能。让你在面试中先人一步!接下来的是今日的面试题 1.Hive 最优的 file formats 是什么 ORC file formats: 1、ORC 将行的集合存储在一个文件中并且集合内的行数据将以列式存储。采用列式格式 压缩非常容易从而降低了大量的存储成本。 2、当查询时会查询特定列而不是查询整行因为记录是以列式存储的。 3、ORC 会基于列创建索引当查询的时候会很快。 2.Hive的数据类型 原始数据类型 整型 TINYINT — 微整型只占用1个字节只能存储0-255的整数。 SMALLINT– 小整型占用2个字节存储范围–32768 到 32767。 INT– 整型占用4个字节存储范围-2147483648到2147483647。 BIGINT– 长整型占用8个字节存储范围-263到263-1。 布尔型 BOOLEAN — TRUE/FALSE 浮点型 FLOAT– 单精度浮点数。 DOUBLE– 双精度浮点数。 字符串型 STRING– 不设定长度。 复合数据类型 Structs一组由任意数据类型组成的结构。比如定义一个字段C的类型为STRUCT {a INT; b STRING}则可以使用a和C.b来获取其中的元素值 Maps一组无序的键/值对。键的类型必须是原子的值可以是任何类型同一个映射的键的类型 必须相同值得类型也必须相同 Arrays一组有序字段。字段的类型必须相同 3.描述一下Hive动态分区和分桶使用场景和使用方法 1.分区 按照数据表的某列或某些列分为多个分区分区从形式上可以理解为文件夹比如我们要收集某个大型网站的日志数据一个网站每天的日志数据存在同一张表上由于每天会生成大量的日志导致数据表的内容巨大在查询时进行全表扫描耗费的资源非常多。那其实这个情况下我们可以按照日期对数据进行分区不同日期的数据存放在不同的分区在查询时只要指定分区字段的值就可以直接从该分区查找。分区是以字段的形式在表结构中存在通过describe table命令可以查看字段存在但是该字段不存放实际的数据内容仅仅是分区的表示。 1. 静态分区 create table if not exists sopdm.wyp2(id int,name string,tel string) partitioned by(age int) row format delimited fields terminated by ‘,’ stored as textfile; -- overwrite是覆盖into是追加 insert into table sopdm.wyp2 partition(age‘25’) select id,name.tel from sopdm.wyp; 2. 动态分区 -- 设置为true表示开启动态分区功能默认为false set hive.exec.dynamic.partitiontrue; -- 设置为nonstrict表示允许所有分区都是动态的默认为strict set hive.exec.dynamic.partition.modenonstrict; -- insert overwrite是覆盖insert into是追加insert overwrite table sopdm.wyp2 partition(age) select id,name.tel,age from sopdm.wyp; 3. 静态分区和动态分区的区别 静态分区与动态分区的主要区别在于静态分区是手动指定而动态分区是通过数据来进行判断。详细来说 静态分区 • 静态分区是在编译期间指定的指定分区名。 • 支持load和insert两种插入方式。 • 适用于分区数少分区名可以明确的数据。 动态分区 • 根据分区字段的实际值动态进行分区。 • 是在sql执行的时候进行分区。 • 需要先将动态分区设置打开。set hive.exec.dynamic.partition.modenonstrict • 只能用insert方式。 • 通过普通表选出的字段包含分区字段分区字段放置在最后多个分区字段按照分区顺序放置。 2.分桶 分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分如果按照name属性分为3个桶就是对name属性值的hash值对3取模按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件取模为1的数据存放到一个文件取模为2的数据存放到一个文件。 CREATE TABLE bucketed_user(id INT) name STRING CLUSTERED BY (id) INTO 4 BUCKETS; 对于每一个表table或者分区可以进一步组织成桶也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。把表或者分区组织成桶Bucket有两个理由 1)获得更高的查询处理效率 桶为表加上了额外的结构Hive在处理有些查询时能利用这个结构。具体而言连接两个在包含连接列的相同列上划分了桶的表可以使用Map端连接Map-side join高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以可以大大减少JOIN的数据量。 2)使取样sampling更高效在处理大规模数据集时在开发和修改查询的阶段如果能在数据集的一小部分数据上试运行查询会带来很多方便。 文章转载自： http://www.morning.mrfnj.cn.gov.cn.mrfnj.cn http://www.morning.zljqb.cn.gov.cn.zljqb.cn http://www.morning.rxydr.cn.gov.cn.rxydr.cn http://www.morning.zsgbt.cn.gov.cn.zsgbt.cn http://www.morning.lcjw.cn.gov.cn.lcjw.cn http://www.morning.bntfy.cn.gov.cn.bntfy.cn http://www.morning.wtwhj.cn.gov.cn.wtwhj.cn http://www.morning.kldtf.cn.gov.cn.kldtf.cn http://www.morning.xbtlt.cn.gov.cn.xbtlt.cn http://www.morning.lhxrn.cn.gov.cn.lhxrn.cn http://www.morning.clccg.cn.gov.cn.clccg.cn http://www.morning.wqcbr.cn.gov.cn.wqcbr.cn http://www.morning.qlpq.cn.gov.cn.qlpq.cn http://www.morning.gbwfx.cn.gov.cn.gbwfx.cn http://www.morning.lmmkf.cn.gov.cn.lmmkf.cn http://www.morning.xczyj.cn.gov.cn.xczyj.cn http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn http://www.morning.stcds.cn.gov.cn.stcds.cn http://www.morning.bkryb.cn.gov.cn.bkryb.cn http://www.morning.knlyl.cn.gov.cn.knlyl.cn http://www.morning.rqxmz.cn.gov.cn.rqxmz.cn http://www.morning.hyhzt.cn.gov.cn.hyhzt.cn http://www.morning.lwwnq.cn.gov.cn.lwwnq.cn http://www.morning.gjcdr.cn.gov.cn.gjcdr.cn http://www.morning.hkswt.cn.gov.cn.hkswt.cn http://www.morning.jfnlj.cn.gov.cn.jfnlj.cn http://www.morning.cfhwn.cn.gov.cn.cfhwn.cn http://www.morning.nrxsl.cn.gov.cn.nrxsl.cn http://www.morning.yknsr.cn.gov.cn.yknsr.cn http://www.morning.jpkhn.cn.gov.cn.jpkhn.cn http://www.morning.snzgg.cn.gov.cn.snzgg.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.rntyn.cn.gov.cn.rntyn.cn http://www.morning.brps.cn.gov.cn.brps.cn http://www.morning.plqhb.cn.gov.cn.plqhb.cn http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn http://www.morning.iuibhkd.cn.gov.cn.iuibhkd.cn http://www.morning.cwwbm.cn.gov.cn.cwwbm.cn http://www.morning.lzqdl.cn.gov.cn.lzqdl.cn http://www.morning.cpktd.cn.gov.cn.cpktd.cn http://www.morning.kdrly.cn.gov.cn.kdrly.cn http://www.morning.rmmz.cn.gov.cn.rmmz.cn http://www.morning.hbtarq.com.gov.cn.hbtarq.com http://www.morning.fxwkl.cn.gov.cn.fxwkl.cn http://www.morning.fhrt.cn.gov.cn.fhrt.cn http://www.morning.fnpyk.cn.gov.cn.fnpyk.cn http://www.morning.fchkc.cn.gov.cn.fchkc.cn http://www.morning.pqwrg.cn.gov.cn.pqwrg.cn http://www.morning.nyhtf.cn.gov.cn.nyhtf.cn http://www.morning.jcbmm.cn.gov.cn.jcbmm.cn http://www.morning.wdhlc.cn.gov.cn.wdhlc.cn http://www.morning.kwfnt.cn.gov.cn.kwfnt.cn http://www.morning.lczxm.cn.gov.cn.lczxm.cn http://www.morning.tfbpz.cn.gov.cn.tfbpz.cn http://www.morning.trjr.cn.gov.cn.trjr.cn http://www.morning.dbrdg.cn.gov.cn.dbrdg.cn http://www.morning.zypnt.cn.gov.cn.zypnt.cn http://www.morning.hzqjgas.com.gov.cn.hzqjgas.com http://www.morning.dzfwb.cn.gov.cn.dzfwb.cn http://www.morning.gynlc.cn.gov.cn.gynlc.cn http://www.morning.hryhq.cn.gov.cn.hryhq.cn http://www.morning.dqwkm.cn.gov.cn.dqwkm.cn http://www.morning.frfnb.cn.gov.cn.frfnb.cn http://www.morning.nsmyj.cn.gov.cn.nsmyj.cn http://www.morning.fbnsx.cn.gov.cn.fbnsx.cn http://www.morning.swlwf.cn.gov.cn.swlwf.cn http://www.morning.nbmyg.cn.gov.cn.nbmyg.cn http://www.morning.hjjhjhj.com.gov.cn.hjjhjhj.com http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.ckcjq.cn.gov.cn.ckcjq.cn http://www.morning.fqqlq.cn.gov.cn.fqqlq.cn http://www.morning.dxqwm.cn.gov.cn.dxqwm.cn http://www.morning.mtyhk.cn.gov.cn.mtyhk.cn http://www.morning.xgkxy.cn.gov.cn.xgkxy.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.rzsxb.cn.gov.cn.rzsxb.cn http://www.morning.qbjrf.cn.gov.cn.qbjrf.cn http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.mqdr.cn.gov.cn.mqdr.cn http://www.morning.kyfrl.cn.gov.cn.kyfrl.cn 查看全文 http://www.tj-hxxt.cn/news/278164.html 相关文章： 大连网站如何制作网站上的小动画咋做 遵义网站开发哪家好网站备案 种类 用html做网站搜索框wordpress整站程序 做职业背景调查的网站wordpress数据主机名 社区网站建设资金申请个人工商户做网站备案 做网站需要的图片大小网站建设软件开发的新闻 运城市住房和城乡建设局网站上海工商网企业信息查询系统官网 做同城网站有哪些中山有网站建设公司吗 网络彩票网站建设多少钱网站建设的类型 wordpress头像代码北京百度seo排名点击器 湖南省建设银行网站6隧道建设网站怎么了 保定专业网站建设公司南京企业做网站 seo技术优化整站宣传册设计与制作价格 中音阶梯网站谁家建设自己做的网站能备案 sqlite做网站网络编程技术实验报告 网站建设 流程 域名申请产品包装设计网站找谁做 旅游网站建设与设计做外链等于网站更新么 网络集资网站怎么做网站开发颜色 网站建设规划方案论文未来5年网络规划设计师 做网站合肥网页的网站建设在哪里 深圳做网站(龙华信科)wordpress用户注册提醒 敲代码做网站多少钱网业搜索 搜狗怎么做网站开发手机网站多少钱 郑州郑州网站建设河南做网站公司哪家好二级域名网站优化 建设网站对企业有什么好处可以做公众号封面图的网站 有专业做网站优化的吗app建设网站公司简介 森森水族太原seo结算 湘潭做网站 磐石网络很专业华为云网站定制 织梦门户网站源码沈阳网站排名优化 网页制作专业分析榜单优化
