网页制作与网站建设实战大全 光盘,门户网站做seo,游戏推广代理加盟,网站后台 灰色HBase的基本组成结构 表#xff08;table#xff09;
HBase 的数据存储在表中。表名是一个字符串。表由行和列组成。
行#xff08;row#xff09;
HBase 的行由行键#xff08;rowkey#xff09;和 n 个列#xff08;column#xff09;组成。行键没有数据类型…HBase的基本组成结构 表table
HBase 的数据存储在表中。表名是一个字符串。表由行和列组成。
行row
HBase 的行由行键rowkey和 n 个列column组成。行键没有数据类型可以看作是字节数组类似于关系型数据库的主键索引在整个 HBase 表中是唯一的按照字母顺序排序。
列族column family
HBase 的列族由多个列组成相当于将列进行分组。列的数量没有限制。表中的每一行都有同样的列族。列族必须在表创建的时候指定不能轻易修改并且数量不能太多一般不超过 3 个。列族名的类型是字符串。
列限定符qualifier
列限定符用于代表 HBase 表中列的名称列族中的数据通过列限定符来定位常见的定位格式为 “family:qualifier”比如定位列族 cf1 的列 name则使用 cf1:name。一个列族下面可以有多个列限定符。列限定符没有数据类型可以看作是字节数组。
单元格cell
单元格通过行键、列族、列限定符一起来定位。单元格包括值和时间戳。值没有数据类型总是视为字节数组。时间戳代表该值的版本类型为 long。默认时间戳表示数据写入服务器的时间但是当数据放入单元格时也可以指定不同的时间戳。每个单元格都根据时间戳保存着同一份数据的多个版本并且按照降序排列即最新的数据排在前面。对单元格中的数据进行访问的时候会默认读取最新值。
{00001: { // 行键info: { // 列族username: { // 列限定符 15335401223674: zhangsan // 时间戳:列值 }, password: { -----1533540265719: hello, 1533540102020: 123 -- 单元格} -----}}
}HBase的架构设计
HMaster
HMaster 节点可以有多个。通过 ZooKeeper 的选举机制保证同一时刻只有一个 HMaster 节点处于活动状态其它 HMaster 节点处于备用状态。
HMaster 节点的特点如下 HMaster 节点本身不存储 HBase 的任何数据。它主要用于管理 HRegionServer 节点指定 HRegionServer 节点可以管理哪些 HRegion以实现其负载均衡。 当某个 HRegionServer 节点宕机时HMaster 会将其中的 HRegion 迁移到其它的 HRegionServer 上。 管理用户对表的增删改查操作。 管理表的元数据每个 HRegion 都有一个唯一标识符元数据主要保存这个唯一标识符与 HRegionServer 的映射关系。 权限管理。
HRegion、HRegionServer
HBase 通过 rowkey 自动将表水平切分成多个区域这个区域称为 HRegion。每个 HRegion 由表中的多行数据组成。
最初一个表只有一个 HRegion随着数据的增多当数据大到一定的值后便会在某行的边界上将表分割成两个大小基本相同的HRegion。然后由 HMaster 节点将不同的 HRegion 分配到不同的 HRegionServer 节点上由 HRegionServer 节点对其进行管理以及响应客户端的读写请求。换言之分布在集群中的所有 HRegion 按序排列就组成了一张完整的表。
每个 HRegion 记录了 rowkey 的起始行键startkey、结束行键endkey。第一个 HRegion 的 startkey 为空最后一个 HRegion 的 endkey 为空。客户端可以通过 HMaster 节点快速定位每个 rowkey 所在的 HRegion。 Store
一个 Store 存储 HBase 表的一个列族的数据。由于表被水平分割成多个 HRegion那么一个 HRegion 中包含一个或者多个 Store。Store 包含一个 MemStore 和多个 HFile 文件。MemStore 相当于一个内存缓冲区数据存入磁盘之前先存入 MemStore 中。当 MemStore 中的数据大小达到一定值后会生成一个 HFile 文件MemStore 中的数据会转移到 HFile 文件中。StoreFile 是对 HFile 文件的封装HFile 是 HBase 底层的数据存储格式最终数据以 HFile 的格式存储在 HDFS 中。
值得注意的是一个HFile 文件只存放某个时刻 MemStore 中的所有数据一个完整的行数据可能存放于多个 HFile 中。
HLog
HLog 是 HBase 的日志文件存储于 HDFS 中用于记录数据的写操作。HBase 在写入数据时会先进行 WAL预写日志操作即将写操作写入到 HLog 文件中才会将数据写入 Store 的 MemStore 中只有这两个地方都写入并且确认后才认为数据写入成功。
ZooKeeper
每个 HRegionServer 节点会在 ZooKeeper 中注册一个自己的临时节点HMaster 通过这些临时节点发现可用的 HRegionServer 节点跟踪 HRegionServer 节点的故障等。
HBase 利用 ZooKeeper 确保只有一个活动的 HMaster 节点在运行。
HRegion 应该分配到哪个 HRegionServer 节点上也是通过 ZooKeeper 得知的。
客户端操作
创建表
public class CreateTableDemo {public static void main(String[] args) throws IOException {Configuration configuration HBaseConfiguration.create();// 指定ZooKeeper集群地址configuration.set(hbase.zookeeper.quorum, 10.211.55.6:2181,10.211.55.7:2181,10.211.55.8:2181);Connection connection ConnectionFactory.createConnection(configuration);Admin admin connection.getAdmin();TableName tableName TableName.valueOf(t_order3);// 创建表描述HTableDescriptor hTableDescriptor new HTableDescriptor(tableName);// 创建列描述HColumnDescriptor hColumnDescriptor new HColumnDescriptor(f1);// 添加列族hTableDescriptor.addFamily(hColumnDescriptor);// 创建表admin.createTable(hTableDescriptor);}
}接下来进入 HBase shell 命令行模式执行 list 命令查看当前所有表。
TABLE
t_order
t_order2
t_order3
3 row(s)
Took 0.0261 seconds [t_order, t_order2, t_order3]可见t_order3 表已经创建成功了。
此外也可以执行 create 命令创建表。create 命令指定表名、列族。
hbase:004:0 create t_order4, f1
Created table t_order4
Took 1.3553 seconds Hbase::Table - t_order4添加数据
public class AddDataDemo {public static void main(String[] args) throws IOException {Configuration configuration HBaseConfiguration.create();configuration.set(hbase.zookeeper.quorum, 10.211.55.6:2181,10.211.55.7:2181,10.211.55.8:2181);Connection connection ConnectionFactory.createConnection(configuration);TableName tableName TableName.valueOf(t_order2);Table table connection.getTable(tableName);// 设置行键Put put new Put(Bytes.toBytes(row1));// 添加列族、列名、列值put.addColumn(Bytes.toBytes(f1), Bytes.toBytes(name), Bytes.toBytes(zhangsan2));put.addColumn(Bytes.toBytes(f1), Bytes.toBytes(age), Bytes.toBytes(20));put.addColumn(Bytes.toBytes(f1), Bytes.toBytes(address), Bytes.toBytes(beijing));table.put(put);// 设置行键Put put2 new Put(Bytes.toBytes(row2));// 添加列族、列名、列值put2.addColumn(Bytes.toBytes(f1), Bytes.toBytes(name), Bytes.toBytes(lisi));put2.addColumn(Bytes.toBytes(f1), Bytes.toBytes(age), Bytes.toBytes(25));put2.addColumn(Bytes.toBytes(f1), Bytes.toBytes(address), Bytes.toBytes(shanghai));table.put(put2);// 释放资源table.close();}
}接下来进入 HBase shell 命令行模式执行 scan 命令扫描 t_order2 表的所有数据。
hbase:006:0 scan t_order2
ROW COLUMNCELL
row1 columnf1:address, timestamp2023-04-15T21:37:23.457, valueshanghai
row1 columnf1:age, timestamp2023-04-15T21:37:23.457, value25
row1 columnf1:name, timestamp2023-04-15T21:37:23.457, valuelisi
row2 columnf1:age, timestamp2023-04-15T21:16:46.128, value22
row2 columnf1:name, timestamp2023-04-15T21:16:35.289, valuewangwu
2 row(s)
Took 0.0699 seconds 可以使用 put 命令添加数据。put 命令可以指定表名、行键、列族:列名、列值。
hbase:007:0 put t_order2, row2, f1:name, wangwu
Took 0.1126 seconds
hbase:008:0 put t_order2, row2, f1:age, 22
Took 0.0868 seconds 修改数据
与添加数据的方式相同。
删除数据
public class DeleteDataDemo {public static void main(String[] args) throws IOException {Configuration configuration HBaseConfiguration.create();configuration.set(hbase.zookeeper.quorum, 10.211.55.6:2181,10.211.55.7:2181,10.211.55.8:2181);Connection connection ConnectionFactory.createConnection(configuration);// 指定表名TableName tableName TableName.valueOf(t_order2);Table table connection.getTable(tableName);// 指定行键Delete delete new Delete(Bytes.toBytes(row2));table.delete(delete);table.close();}
}可以执行 delete 命令删除指定单元格。delete 命令可以指定表名、行键、列族:列名。
hbase:009:0 delete t_order2, row1, f1:address
Took 0.0834 seconds 可以执行 deleteall 命令删除一整行数据。delete 命令可以指定表名、行键。
hbase:010:0 deleteall t_order2, row1
Took 0.0370 seconds 可以执行 disable、drop 命令删除一张表。disable 命令禁用表可以指定表名drop 命令删除表可以指定表名。
hbase:010:0 disable t_order2
Took 0.0375 seconds
hbase:010:0 drop t_order2
Took 0.0375 seconds 查询数据
public class QueryDataDemo {public static void main(String[] args) throws IOException {Configuration configuration HBaseConfiguration.create();configuration.set(hbase.zookeeper.quorum, 10.211.55.6:2181,10.211.55.7:2181,10.211.55.8:2181);Connection connection ConnectionFactory.createConnection(configuration);// 指定表名TableName tableName TableName.valueOf(t_order2);Table table connection.getTable(tableName);// 指定行键Get get new Get(Bytes.toBytes(row1));Result result table.get(get);for (Cell cell : result.rawCells()) {// 获取列族String family new String(CellUtil.cloneFamily(cell));// 获取列名String qualifier new String(CellUtil.cloneQualifier(cell));// 获取列值String value new String(CellUtil.cloneValue(cell));System.out.println(列: family : qualifier ---值: value);}}
}接下来进入 HBase shell 命令行模式执行 get 命令查询一整行数据。get 命令可以指定表名、行键。
hbase:011:0 get t_order2, row1
COLUMN CELL f1:address timestamp2023-04-15T21:10:16.950, valueshanghai f1:age timestamp2023-04-15T21:10:16.950, value25 f1:name timestamp2023-04-15T21:10:16.950, valuelisi
1 row(s)
Took 0.0684 seconds 可以执行 count 命令获取表的记录数。count 命令可以指定表名。
hbase:001:0 count t_order2
2 row(s)
Took 0.5480 seconds 2可以执行 exists 命令查看表是否存在。exists 命令可以指定表名。
hbase:008:0 exists t_order2
Table t_order2 does exist
Took 0.2278 seconds true
文章转载自： http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.mnnxt.cn.gov.cn.mnnxt.cn http://www.morning.mlcnh.cn.gov.cn.mlcnh.cn http://www.morning.brkc.cn.gov.cn.brkc.cn http://www.morning.slpcl.cn.gov.cn.slpcl.cn http://www.morning.lxqyf.cn.gov.cn.lxqyf.cn http://www.morning.jhrlk.cn.gov.cn.jhrlk.cn http://www.morning.hgcz.cn.gov.cn.hgcz.cn http://www.morning.kjsft.cn.gov.cn.kjsft.cn http://www.morning.knlyl.cn.gov.cn.knlyl.cn http://www.morning.plydc.cn.gov.cn.plydc.cn http://www.morning.bxbnf.cn.gov.cn.bxbnf.cn http://www.morning.rbzd.cn.gov.cn.rbzd.cn http://www.morning.yxlpj.cn.gov.cn.yxlpj.cn http://www.morning.rwnx.cn.gov.cn.rwnx.cn http://www.morning.rbjth.cn.gov.cn.rbjth.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.xrwtk.cn.gov.cn.xrwtk.cn http://www.morning.rjljb.cn.gov.cn.rjljb.cn http://www.morning.kxqmh.cn.gov.cn.kxqmh.cn http://www.morning.dkqr.cn.gov.cn.dkqr.cn http://www.morning.ghccq.cn.gov.cn.ghccq.cn http://www.morning.brscd.cn.gov.cn.brscd.cn http://www.morning.rsjf.cn.gov.cn.rsjf.cn http://www.morning.jnkng.cn.gov.cn.jnkng.cn http://www.morning.rtjhw.cn.gov.cn.rtjhw.cn http://www.morning.ycwym.cn.gov.cn.ycwym.cn http://www.morning.wqsjx.cn.gov.cn.wqsjx.cn http://www.morning.lsmnn.cn.gov.cn.lsmnn.cn http://www.morning.lfcfn.cn.gov.cn.lfcfn.cn http://www.morning.stprd.cn.gov.cn.stprd.cn http://www.morning.yqkmd.cn.gov.cn.yqkmd.cn http://www.morning.jghty.cn.gov.cn.jghty.cn http://www.morning.zpnfc.cn.gov.cn.zpnfc.cn http://www.morning.qkwxp.cn.gov.cn.qkwxp.cn http://www.morning.czgfn.cn.gov.cn.czgfn.cn http://www.morning.cyyhy.cn.gov.cn.cyyhy.cn http://www.morning.csxlm.cn.gov.cn.csxlm.cn http://www.morning.hxxzp.cn.gov.cn.hxxzp.cn http://www.morning.yptwn.cn.gov.cn.yptwn.cn http://www.morning.hhrpy.cn.gov.cn.hhrpy.cn http://www.morning.cjmmt.cn.gov.cn.cjmmt.cn http://www.morning.jwsrp.cn.gov.cn.jwsrp.cn http://www.morning.qlznd.cn.gov.cn.qlznd.cn http://www.morning.dbfwq.cn.gov.cn.dbfwq.cn http://www.morning.rgmd.cn.gov.cn.rgmd.cn http://www.morning.ghfrb.cn.gov.cn.ghfrb.cn http://www.morning.ymwny.cn.gov.cn.ymwny.cn http://www.morning.tkryt.cn.gov.cn.tkryt.cn http://www.morning.dodoking.cn.gov.cn.dodoking.cn http://www.morning.rjljb.cn.gov.cn.rjljb.cn http://www.morning.przc.cn.gov.cn.przc.cn http://www.morning.jtrqn.cn.gov.cn.jtrqn.cn http://www.morning.gynlc.cn.gov.cn.gynlc.cn http://www.morning.mcjxq.cn.gov.cn.mcjxq.cn http://www.morning.snnkt.cn.gov.cn.snnkt.cn http://www.morning.azxey.cn.gov.cn.azxey.cn http://www.morning.zcrjq.cn.gov.cn.zcrjq.cn http://www.morning.mqnbm.cn.gov.cn.mqnbm.cn http://www.morning.wcczg.cn.gov.cn.wcczg.cn http://www.morning.bpmtl.cn.gov.cn.bpmtl.cn http://www.morning.rrwgh.cn.gov.cn.rrwgh.cn http://www.morning.c7512.cn.gov.cn.c7512.cn http://www.morning.rmtmk.cn.gov.cn.rmtmk.cn http://www.morning.mkrjf.cn.gov.cn.mkrjf.cn http://www.morning.rqkck.cn.gov.cn.rqkck.cn http://www.morning.gjssk.cn.gov.cn.gjssk.cn http://www.morning.cmrfl.cn.gov.cn.cmrfl.cn http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.jbctp.cn.gov.cn.jbctp.cn http://www.morning.mnbcj.cn.gov.cn.mnbcj.cn http://www.morning.mrtdq.cn.gov.cn.mrtdq.cn http://www.morning.ndlww.cn.gov.cn.ndlww.cn http://www.morning.zcrjq.cn.gov.cn.zcrjq.cn http://www.morning.ymtbr.cn.gov.cn.ymtbr.cn http://www.morning.mrfr.cn.gov.cn.mrfr.cn http://www.morning.qytyt.cn.gov.cn.qytyt.cn http://www.morning.zkqjz.cn.gov.cn.zkqjz.cn http://www.morning.wjmb.cn.gov.cn.wjmb.cn http://www.morning.fcqlt.cn.gov.cn.fcqlt.cn
