做黄色网站怎么赚钱长沙百度公司
Presto缓存
引入Presto缓存之前 BackgroundHiveSplitLoader 使用底层的文件系统直接进行数据的读写；
引入Presto缓存机制之后，底层的文件系统被被CachingFileSystem 代理一层
CachingFileSystem 有两个子类，根据你选用的底层缓存引擎的不同可能会是下面的两个之一:
AlluxioCachingFileSystem /əˈluːʒ(ə)n/: 在Presto Worker本地利用磁盘进行了数据的缓存
FileMergeCachingFileSystem: 在本地缓存检查这个数据块是否已经读取过了，通过底层的文件系统来从远端来读取数据，读取到数据之后再添加到本地的磁盘缓存
Presto自己实现FileSystem接口，添加cacheable参数，确定是否缓存数据
如何保证缓存的命中率?
即，相同数据请求打到同一节点上，本地读取缓存进行查询提速
节点分发策略：NodeSelectionStrategy：1.指定节点。 2.尽量指定节点 3.随机指定节点
将worker节点进行hash计算，优先选择Prefered Nodes，判断是否繁忙TotalSplitCount，若繁忙则再选择最空闲的节点。
Presto数据类型
Type接口封装，定义了类型定长、变长属性。
定长：
Boolean: 用 Byte 来表示, 0-1 表示 是否
float：内部对应real ,底层用int表示，因为block类针对的都是int
其余：Decimal、时间类型、字符串、IpAddress、Geo等
变长：
varchar(n)
Presto Slice
Slice是Presto里面用来对内存高效地、自由地进行操作的接口。是对sun.misc.Unsafe的包装，更加安全易用。
Slice的结构
Slice里面是通过三个参数来确定一个内存地址: base , address , size
base：是通过JVM分配出来的内存，在JVM层面是int数组、byte数组的对象，而对Slice来说这就是我们要操作的内存块。
address：Unsafe常量，表示byte数组里面第一个元素的地址离整个byte数组地址头的偏移量（为什么会有这么一个偏移量？因为数组由元数据和数据组成，默认从16个字节以后开始存储数据）
size：是我们这块内存的大小，一般来说就是 base 底层所对应的内存的大小(in bytes), 或者更小一点
TupleDomain
TupleDomain 是用来表达 table 里面各个字段的约束条件、取值范围的。内部维护了一个字段名到对应的Domain的映射关系，表示一个表里面多个字段的取值约束条件。
Group by 分组聚合操作的逻辑计划执行流程
stage-0 output
stage-1 exchange aggregation project 读取上游outputbuffer数据，聚合
stage-2 tablescan filter project aggregation 扫描数据，过滤，局部聚合
生成Stage
生成逻辑执行计划过程中，递归原root树生成
生成Task
多个Stage，谁首先生成Task?
由ExecutionPolicy决定，默认：AllAtOnceExecutionPolicy
生成几个Task?
Stage两种类型，数据源读数据和非数据源读数据
数据源读数据，根据具体的数据源类型来确定
如果从connector中拿到的spilt是必须本地访问的，task数取决于数据分布的节点数。
如果从connector中拿到的spilt是远程访问的，取决于limit和presto node个数的较小值。
非数据源读数据
单节点或hash_partition_count决定
Task状态
内部接口每100毫秒调用一次TaskInfoFetcher
Count(distinct) 优化
select A, count(distinct B) from T group by A.
转换成
select A, count(B) from (select A, B from T group by A, B) group by A.