当前位置：首页 > news >正文

个人网页制作模板免费网站seo诊断分析报告

news 2025/10/25 19:48:09

个人网页制作模板免费,网站seo诊断分析报告,文化建设意义,当今做网站的流行文章目录说明零 BigTable一 Hbase简介二 HBase 访问接口简介三行式列式存储四 HBase 数据模型4.1 HBase 列族数据模型4.2 数据模型的相关概念4.3 数据坐标五概念物理视图说明本文参考自林子雨老师的大数据技术原理与应用(第三版)教材内容#xff0c;仅供学习… 文章目录说明零 BigTable一 Hbase简介二 HBase 访问接口简介三行式列式存储四 HBase 数据模型4.1 HBase 列族数据模型4.2 数据模型的相关概念4.3 数据坐标五概念物理视图说明本文参考自林子雨老师的大数据技术原理与应用(第三版)教材内容仅供学习和交流零 BigTable Google Bigtable是一种高度可扩展的分布式数据库旨在处理海量数据并提供高吞吐量和低延迟的访问。它是谷歌公司为其内部使用而开发的并在2004年首次公开发表。它利用谷歌提出的 MapReduce 分布式并行计算模型来处理海量数据使用谷歌分布式文件系统 GFS 作为其底层数据存储方式通过自动分片和负载均衡来实现数据在集群中的分布和访问并采用 Chubby 提供协同管理服务可以扩展到 PB 级别的数据和上千台机器具备广泛应用性、可扩展性、高性能和高可用性等特点。 Bigtable还提供了强大的数据一致性和持久性保证。数据在写入时会被复制到多个地理位置的存储节点以确保数据的可靠性和冗余备份。此外Bigtable还支持强一致性和事务操作使得应用程序可以进行复杂的数据操作和查询。 Google Bigtable是一种高度可扩展、具有高性能和可靠性的分布式数据库适用于处理大规模数据集和高并发访问的场景。 BigTable 具备以下特性支持大规模海量数据分布式并发数据处理效率极高易于扩展且支持动态伸缩适用于廉价设备适合读操作不适合写操作。一 Hbase简介 HBase 是谷歌 BigTable 的开源实现是一个高可靠、高性能、面向列、可伸缩的分布式非关系型数据库主要用来存储非结构化和半结构化的松散数据并提供高吞吐量和低延迟的数据访问能力。 HBase的架构是基于Hadoop生态系统的它使用HDFS作为底层存储系统并利用 Hadoop MapReduce来处理 HBase 中的海量数据实现高性能计算利用 ZooKeeper 作为协同服务实现稳定服务和失败恢复。 Sqoop 为 HBase 提供了高效、便捷的关系数据库管理系统Relational DataBase Management SystemRDBMS数据导人功能Pig 和 Hive为 HBase 提供了高层语言支持。 HBase 和 BigTable 的底层技术对应关系项目BigTableHBase文件存储系统GFSHDFS海量数据处理MapReduceHadoop协同服务管理ChubbyZooKeeper 二 HBase 访问接口简介 HBase 提供了 Native Java API、HBase Shell、Thrift Gateway、REST Gateway、Pig、Hive 等多种访问方式类型特点使用场合Native Java API常规和高效的访问方式适合 Hadoop MapReduce 作业并行批处理 HBase 表数据HBase ShellHBase 的命令行工具最简单的接口适合 HBase 管理Thrift Gateway利用 Thrift 序列化技术支持 C、PHP、Python 等多种语言适合其他异构系统在线访问 HBase 表数据REST Gateway解除语言限制支持 REST 风格的 HTTP API 访问 HBasePig使用 Pig Latin 流式编程语言来处理HBase 中的数据适合数据统计Hive简单以类似 SQL 的方式来访问 HBase 三行式列式存储传统的关系数据库采用的是面向行的存储被称为“行式数据库”。而HBase 是面向列的存储也就是说HBase 是一个“列式数据库”。行式数据库使用行存储模型N-ary Storage ModelNSM一个元组或行会被连续地存储在磁盘页中。数据是一行一行被存储的第一行写入后再继续写入第二行以此类推。在读取数据时需要顺序扫描每个元组的完整内容然后从每个元组中筛选出查询所需要的属性。如果每个元组只有少量属性的值对于查询是有用的那么 NSM 就会浪费许多磁盘空间和内存带宽。列式数据库采用列存储模型Decomposition Storage ModelDSM目的是最小化无用的 I/O。DSM 采用不同于 NSM 的思路对于采用 DSM 的关系数据库DSM会对关系进行垂直分解并为每个属性分配一个子关系。因此一个具有 n 个属性的关系会被分解成 n 个子关系每个子关系单独存储每个子关系只有当其相应的属性被请求时才会被访问。DSM 以关系数据库中的属性或列为单位进行存储关系中多个元组的同一属性值或同一列值会被存储在一起而一个元组中不同属性值通常会被分别存放于不同的磁盘页中。行式数据库主要适合小批量的数据处理如联机事务型数据处理 Oracle 和MySQL 等关系数据库都属于行式数据库。列式数据库主要适合批量数据处理和即席查询Ad-Hoc Query用于数据挖掘、决策支持和地理信息系统等查询密集型系统中。 DSM优点降低 I/O 开销支持大量并发用户查询数据处理速度快具有较高的数据压缩比DSM 的缺陷是执行连接操作时需要昂贵的元组重构代价。因为一个元组的不同属性被分散到不同磁盘页中存储当需要一个完整的元组时就要从多个磁盘页中读取相应字段的值来重新组合得到原来的一个元组。如果严格从关系数据库的角度来看HBase 并不是一个列式存储的数据库毕竟HBase 是以列族为单位进行分解的列族当中可以包含多个列而不是每个列都单独存储但是HBase 借鉴和利用了磁盘上的这种列存储格式所以从这个角度来说HBase 可以被视为列式数据库。四 HBase 数据模型 4.1 HBase 列族数据模型 HBase 是一个稀疏、多维度、排序的映射表索引包括行键、列族、列限定符和时间戳。每个值是一个未经解释的字符串没有数据类型。在表中存储数据每一行都有一个可排序的行键和任意多的列。表在水平方向由一个或者多个列族组成一个列族中可以包含任意多个列同一个列族里面的数据存储在一起。列族支持动态扩展可以很轻松地添加一个列族或列无须预先定义列的数量以及类型所有列均以字符串形式存储用户需要自行进行数据类型转换。由于同一张表里面的每一行数据都可以有截然不同的列因此对于整个映射表的每行数据而言有些列的值是空的所以说 HBase 是稀疏的。HBase执行更新操作时保留旧版本的数据同时生成一个新版本的数据。HBase 可以对允许保留的版本的数量进行设置。客户端可以选择获取距离某个时间最近的版本或者一次获取所有版本。在存储的时候数据会按照时间戳排序如果在查询的时候不提供时间戳会返回最新版本的数据。HBase 提供了两种数据版本回收方式一是保存数据的最后 n 个版本二是保存最近一段时间内的版本如最近 7 天。 4.2 数据模型的相关概念 HBase 实际上就是一个稀疏、多维、持久化存储的映射表它采用行键Row Key、列族Column Family、列限定符Column Qualifier和时间戳Timestamp进行索引每个值都是未经解释的字节数组 byte[] 表HBase 采用表来组织数据表由行和列组成列划分为若干个列族行键每个 HBase 表都由若干行组成每个行由行键Row Key来标识。访问表中的行只有 3 种方式通过单个行键访问通过一个行键的区间来访问全表扫描。行键可以是任意字符串最大长度是 64 KB。在 HBase 内部行键保存为字节数组。存储时数据按照行键的字典序存储将经常一起读取的行存储在一起列族一个 HBase 表被分组成许多“列族”的集合它是基本的访问控制单元列族需要在表创建时就定义好数量不能太多而且不能频繁修改存储在一个列族当中的所有数据通常都属于同一种数据类型数据具有较高的压缩率表中的每个列都归属于某个列族数据可以被存放到列族的某个列下面但是在把数据存放到这个列族的某个列下面之前必须首先创建这个列族。在创建完列族以后就可以使用同一个列族当中的列。列名都以列族作为前缀。例如courses:history 和 courses:math 这两个列都属于 courses 这个列族列限定符列族里的数据通过列限定符或列来定位。列限定符不用事先定义也不需要在不同行之间保持一致。列限定符没有数据类型总被视为字节数组 byte[]单元格在 HBase 表中通过行键、列族和列限定符确定一个“单元格”Cell。单元格中存储的数据没有数据类型总被视为字节数组 byte[]。每个单元格中可以保存一个数据的多个版本每个版本对应一个不同的时间戳时间戳每个单元格都保存着同一份数据的多个版本这些版本采用时间戳进行索引。每次对一个单元格执行操作新建、修改、删除时HBase 都会隐式地自动生成并存储一个时间戳。一个单元格的不同版本根据时间戳降序存储确保最新的版本可以被最先读取。 4.3 数据坐标 HBase 使用坐标来定位表中的数据。HBase 中需要根据行键、列族、列限定符和时间戳来确定一个单元格因此可以视为一个“四维坐标”即行键, 列族, 列限定符, 时间戳五概念物理视图在一个 HBase 表的概念视图中每个行都包含相同的列族尽管行不需要在每个列族里存储数据.从这个角度来说HBase表是一个稀疏的映射关系即里面存在很多空的单元格HBase 存储数据的概念视图物理视图在物理存储层面它采用基于列的存储方式而不是像传统关系数据库那样采用基于行的存储方式。表 4-4 的概念视图在物理存储的时候会存成表 4-5 中的两个小片段。HBase 表会按照 contents 和 anchor 这两个列族分别存放属于同一个列族的数据保存在一起同时和每个列族一起存放的还包括行键和时间戳。
文章转载自：
http://www.morning.yhdqq.cn.gov.cn.yhdqq.cn
http://www.morning.thbnt.cn.gov.cn.thbnt.cn
http://www.morning.rzcmn.cn.gov.cn.rzcmn.cn
http://www.morning.lgxzj.cn.gov.cn.lgxzj.cn
http://www.morning.nqgff.cn.gov.cn.nqgff.cn
http://www.morning.bfhrj.cn.gov.cn.bfhrj.cn
http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn
http://www.morning.qqnh.cn.gov.cn.qqnh.cn
http://www.morning.prprj.cn.gov.cn.prprj.cn
http://www.morning.irqlul.cn.gov.cn.irqlul.cn
http://www.morning.mlckd.cn.gov.cn.mlckd.cn
http://www.morning.thbqp.cn.gov.cn.thbqp.cn
http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn
http://www.morning.jqwpw.cn.gov.cn.jqwpw.cn
http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn
http://www.morning.zrnph.cn.gov.cn.zrnph.cn
http://www.morning.phwmj.cn.gov.cn.phwmj.cn
http://www.morning.cpctr.cn.gov.cn.cpctr.cn
http://www.morning.gxfzrb.com.gov.cn.gxfzrb.com
http://www.morning.wqkzf.cn.gov.cn.wqkzf.cn
http://www.morning.rnxw.cn.gov.cn.rnxw.cn
http://www.morning.ynlbj.cn.gov.cn.ynlbj.cn
http://www.morning.roymf.cn.gov.cn.roymf.cn
http://www.morning.hcwjls.com.gov.cn.hcwjls.com
http://www.morning.ebpz.cn.gov.cn.ebpz.cn
http://www.morning.kzxlc.cn.gov.cn.kzxlc.cn
http://www.morning.jhswp.cn.gov.cn.jhswp.cn
http://www.morning.nspbj.cn.gov.cn.nspbj.cn
http://www.morning.zlgth.cn.gov.cn.zlgth.cn
http://www.morning.wklmj.cn.gov.cn.wklmj.cn
http://www.morning.ahscrl.com.gov.cn.ahscrl.com
http://www.morning.rmpkn.cn.gov.cn.rmpkn.cn
http://www.morning.muniubangcaishui.cn.gov.cn.muniubangcaishui.cn
http://www.morning.ypbp.cn.gov.cn.ypbp.cn
http://www.morning.gqcd.cn.gov.cn.gqcd.cn
http://www.morning.qwfl.cn.gov.cn.qwfl.cn
http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn
http://www.morning.ghryk.cn.gov.cn.ghryk.cn
http://www.morning.sbpt.cn.gov.cn.sbpt.cn
http://www.morning.bnrff.cn.gov.cn.bnrff.cn
http://www.morning.gbgdm.cn.gov.cn.gbgdm.cn
http://www.morning.gnbfj.cn.gov.cn.gnbfj.cn
http://www.morning.tpbhf.cn.gov.cn.tpbhf.cn
http://www.morning.khtyz.cn.gov.cn.khtyz.cn
http://www.morning.jwfqq.cn.gov.cn.jwfqq.cn
http://www.morning.bdwqy.cn.gov.cn.bdwqy.cn
http://www.morning.jqbpn.cn.gov.cn.jqbpn.cn
http://www.morning.cpfbg.cn.gov.cn.cpfbg.cn
http://www.morning.slmbg.cn.gov.cn.slmbg.cn
http://www.morning.ckbmz.cn.gov.cn.ckbmz.cn
http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn
http://www.morning.nlwrg.cn.gov.cn.nlwrg.cn
http://www.morning.lxkhx.cn.gov.cn.lxkhx.cn
http://www.morning.datadragon-auh.cn.gov.cn.datadragon-auh.cn
http://www.morning.easiuse.com.gov.cn.easiuse.com
http://www.morning.qcrhb.cn.gov.cn.qcrhb.cn
http://www.morning.phlwj.cn.gov.cn.phlwj.cn
http://www.morning.tgxrm.cn.gov.cn.tgxrm.cn
http://www.morning.sqqds.cn.gov.cn.sqqds.cn
http://www.morning.smj78.cn.gov.cn.smj78.cn
http://www.morning.ktskc.cn.gov.cn.ktskc.cn
http://www.morning.jgrjj.cn.gov.cn.jgrjj.cn
http://www.morning.npbgj.cn.gov.cn.npbgj.cn
http://www.morning.bhgnj.cn.gov.cn.bhgnj.cn
http://www.morning.ftwlay.cn.gov.cn.ftwlay.cn
http://www.morning.rfhwc.cn.gov.cn.rfhwc.cn
http://www.morning.zcwtl.cn.gov.cn.zcwtl.cn
http://www.morning.ykswq.cn.gov.cn.ykswq.cn
http://www.morning.rwfj.cn.gov.cn.rwfj.cn
http://www.morning.jfch.cn.gov.cn.jfch.cn
http://www.morning.cwknc.cn.gov.cn.cwknc.cn
http://www.morning.rtlg.cn.gov.cn.rtlg.cn
http://www.morning.dxqwm.cn.gov.cn.dxqwm.cn
http://www.morning.ydwsg.cn.gov.cn.ydwsg.cn
http://www.morning.sqgqh.cn.gov.cn.sqgqh.cn
http://www.morning.pxjp.cn.gov.cn.pxjp.cn
http://www.morning.jfbbq.cn.gov.cn.jfbbq.cn
http://www.morning.nkwgy.cn.gov.cn.nkwgy.cn
http://www.morning.pwksz.cn.gov.cn.pwksz.cn
http://www.morning.pmtky.cn.gov.cn.pmtky.cn

查看全文

http://www.tj-hxxt.cn/news/249023.html