大数据hadoop之 四十二.HBASE使用管理工具
本文于1842天之前发表，文中内容可能已经过时。
每个人都希望自已的HBASE管理员能够让集群运行流畅,存储大量的数据,并且能同时,迅速和可靠地处理几百万的并发请求.对于管理员来说,让HBASE中海量数据一直保持可存取,易管理和便于查询是一项至关重要的任务.
除了对于你运行的集群要有扎实的了解之外,你所使用的工具也同样重要.HBASE自带了一些管理工具,它可以使管理员的工作变得轻松一些.HBASE带有一个基于WEB的管理页面.在此页面中可以查看集群的状态.
一. HBASE主WEB界面
HBASE主WEB界面是一个简单而又有用的工具,它可以为我们提供集群当前的状态的概况.从该页面中可以获取所运行HBASE版本/HBASE的配置(包括HDFS根路径和ZOOKeeper仲裁地址)/集群的平均负载以及表/区域/区域服务器的列表.
HBASE主界面的默认端口是60010,请确保你的网络防火墙已经对你的客户端打开了该端口.
1 | http://192.168.1.80:16010/master-status |
HBASE主WEB界面如下
正如你所看到的那样,在”Attributes区中显示的信息有”:HBASE和Hadoop的版本/HBASE在HDFS上的根目录/集群的平均负载以及Zookeeper仲裁地址.HBASE根目录和Zookeeper服务器地址是HBASE配置文件hbase-site.xml中设置的值.平均负载是每个区域服务器所负责区域的平均值.一个区域服务器的负载显示在Region Server区中.
在Catalog Table(目录表)区中你可以看到两张表:-ROOT和.META.这是两张HBASE的系统表,-ROOT表里保存的是部署有.META表所有区域服务器的引用,而.META表中保存的是所有用户表区域的引用.
二. 使用HBASE SHELL管理表
我们现在通过下列步骤来展示如何使用DDL命令来管理HBASE表.
在客户机节点上执行以下命仅启动HBASE SHELL
1
#hbase shell
在HBASE SHELL中使用create命令创建一张带有一个列族(f1)的表(t1)
1
hbase(main):001:0> create 't1','f1'
使用list命令列出所有表的列表
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24hbase(main):008:0> list
TABLE
MIANTIAO_USERNAME
PERFORMANCE_10000
SYSTEM.CATALOG
SYSTEM.FUNCTION
SYSTEM.SEQUENCE
SYSTEM.STATS
US_POPULATION
US_POPULATION2
UUU
UUU33
hly_temp
lxw1234
question
ssss
t1
t2
t3
t4
18 row(s) in 0.0370 seconds
=> ["MIANTIAO_USERNAME", "PERFORMANCE_10000", "SYSTEM.CATALOG", "SYSTEM.FUNCTION", "SYSTEM.SEQUENCE", "SYSTEM.STATS", "US_POPULATION", "US_POPULATION2", "UUU", "UUU33", "hly_temp", "lxw1234", "question", "ssss", "t1", "t2", "t3", "t4"]
hbase(main):009:0>使用describe命令来显示该表的属性
1
2
3
4
5
6
7
8hbase(main):009:0> describe 't1'
Table t1 is ENABLED
t1
COLUMN FAMILIES DESCRIPTION
{NAME => 'f1', BLOOMFILTER => 'ROW', VERSIONS => '5', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => '
NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE
=> '0'}
1 row(s) in 0.1840 seconds使用disable 命令来禁用该表
1
2
3
4
5
6hbase(main):013:0> disable 't1'
0 row(s) in 0.0170 seconds
hbase(main):014:0> is_enabled 't1'
false
0 row(s) in 0.0160 seconds使用alter命令来修改表的属性.下面这段代码会先将f1修改为只有一个版本,然后再添加了一个新列族的f2
1
2
3
4
5
6
7
8hbase(main):015:0> alter 't1',{NAME=>'f1',VERSIONS=>'1'},{NAME=>'f2'}
Updating all regions with the new schema...
1/1 regions updated.
Done.
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 3.8100 seconds使用enable命令来启用该表
1
2
3
4
5
6hbase(main):016:0> enable 't1'
0 row(s) in 1.4190 seconds
hbase(main):017:0> is_enabled 't1'
true
0 row(s) in 0.0090 seconds输入以下命令来再次禁用该表.然后将期删除
1
2
3
4
5hbase(main):018:0> disable 't1'
0 row(s) in 2.2440 seconds
hbase(main):019:0> drop 't1'
0 row(s) in 1.2650 seconds使用put命令将下列数据插入到该表中
1
2
3
4
5
6
7
8hbase(main):021:0> put 't1','row1','f1:c1','value1'
0 row(s) in 0.1030 seconds
hbase(main):022:0> put 't1','row1','f1:c2','value2'
0 row(s) in 0.0130 seconds
hbase(main):023:0> put 't1','row2','f1:c1','value3'
0 row(s) in 0.0230 seconds
put命令使用表名(t1)/行键(row1)/列族和限定符(f1:c1)以及要赋予的值(value1)为参数,别外它还有一个可选的时间戳参数.在f1:c1中.冒号(:)是列族(f1)与限定符(c1)之前的间隔符.在HBASE SHELL中,如果想要把一个值当成字符串,你就用单引号包括起来就行.
- 执行count命令来获取该表的行数
1
2
3
4hbase(main):024:0> count 't1'
2 row(s) in 0.0930 seconds
=> 2
count命令可以统计一张表中记录数,它会以”行键”为基础进行统计,所以为2.
使用scan命令来扫描数据.在对记录很多的表进行scan时,不要忘记指定LIMIT属性
1
2
3
4
5
6
7hbase(main):029:0> scan 't1',{LIMIT=>10}
ROW COLUMN+CELL
row1 column=f1:c1, timestamp=1460644326819, value=value1
row1 column=f1:c2, timestamp=1460644335627, value=value2
row2 column=f1:c1, timestamp=1460644754895, value=value7
row3 column=f1:c1, timestamp=1460644762929, value=value7
3 row(s) in 0.0600 seconds使用get命令来读取某一行
1
2
3
4
5hbase(main):030:0> get 't1','row1'
COLUMN CELL
f1:c1 timestamp=1460644326819, value=value1
f1:c2 timestamp=1460644335627, value=value2
2 row(s) in 0.0200 seconds使用delete命令来删除某一指定单元格
1
2
3
4
5
6
7
8
9hbase(main):032:0> delete 't1','row1','f1:c1'
0 row(s) in 0.0250 seconds
hbase(main):033:0> scan 't1',{LIMIT=>10}
ROW COLUMN+CELL
row1 column=f1:c2, timestamp=1460644335627, value=value2
row2 column=f1:c1, timestamp=1460644754895, value=value7
row3 column=f1:c1, timestamp=1460644762929, value=value7
3 row(s) in 0.0240 seconds使用deleteall命令删除某一指定行的所有单元格
1
2hbase(main):002:0> delete 't1','row1','f1:c1'
0 row(s) in 0.0610 seconds再次执行get命令;你会发现整个row1行都已被从表中删除了.
1
2
3
4hbase(main):001:0> get 't1','row1'
COLUMN CELL
f1:c2 timestamp=1460644335627, value=value2
1 row(s) in 0.3090 seconds使用incr命令让计数器(row1:f1:c1)的值加1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18hbase(main):003:0> scan 't1'
ROW COLUMN+CELL
row1 column=f1:c2, timestamp=1460644335627, value=value2
row2 column=f1:c1, timestamp=1460644754895, value=value7
row3 column=f1:c1, timestamp=1460644762929, value=value7
3 row(s) in 0.1120 seconds
hbase(main):004:0> incr 't1','row1','f1:c1',1
COUNTER VALUE = 1
0 row(s) in 0.0280 seconds
hbase(main):005:0> scan 't1'
ROW COLUMN+CELL
row1 column=f1:c1, timestamp=1460801878627, value=\x00\x00\x00\x00\x00\x00\x00\x01
row1 column=f1:c2, timestamp=1460644335627, value=value2
row2 column=f1:c1, timestamp=1460644754895, value=value7
row3 column=f1:c1, timestamp=1460644762929, value=value7
3 row(s) in 0.0310 seconds再使该计数器加10
1
2
3
4
5
6
7
8
9
10
11hbase(main):006:0> incr 't1','row1','f1:c1',10
COUNTER VALUE = 11
0 row(s) in 0.0160 seconds
hbase(main):007:0> scan 't1'
ROW COLUMN+CELL
row1 column=f1:c1, timestamp=1460802073632, value=\x00\x00\x00\x00\x00\x00\x00\x0B
row1 column=f1:c2, timestamp=1460644335627, value=value2
row2 column=f1:c1, timestamp=1460644754895, value=value7
row3 column=f1:c1, timestamp=1460644762929, value=value7
3 row(s) in 0.0300 seconds使用get_counter命令来读取该计数器的新值
1
2hbase(main):008:0> get_counter 't1','row1','f1:c1'
COUNTER VALUE = 11执行truncate命令来截断该表
truncate命令会进行一系列的操作,对表进行禁用/删除/然后再重建1
2
3
4
5hbase(main):009:0> truncate 't1'
Truncating 't1' table (it may take a while):
- Disabling table...
- Truncating table...
0 row(s) in 3.4570 seconds
三. 使用HBASE SHELL管理集群
四. 在HBASE SHELL中执行JAVA方法
五. WAL工具 手动分割和转储WAL
六. HFile工具 以文本方式查看HFile的内容
七. HBASE hbck检查HBASE集群的一致性
1 | 查看hbasemeta情况 |