标签：内容 不显示 租户 除了 seconds mapr string 报告 basic
HBase的前提条件：
JDK
SSH
Hadoop
JDK:Hadoop和JDK运行的环境，他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如： jdk-8u161-linux-x64.rpm。
SSH:实现简单的服务器与主机的通信。在集群中，只有启动sshd后，才可以通过脚本远程操作其他的Hadoop和HBase进程。为了实现自动化操作，需要配置SSH免密码的的登录方式。
Hadoop:HDFS是HBase的底层存储文件系统。
进入HBase官网，下载HBase对应版本：
src和bin版本的区别：
src版本包含源码，主要给高级开发人员准备，可以去修改其中的源码改变或扩展功能。
bin版本主要是一般开发人员或使用者准备，只需要使用其固化功能即可。
HBase 的运行模式包括单机、伪分布式和分布式三种。
单机模式搭建：使用本地文件系统，所有进程运行在一个 JVM 上，单机模式一 般只用于测试，HBase 需要结合 Hadoop 才能展现出其分布式存储的能力。
//单机模式搭建步骤： //1.解压 [root@localhost hbase]# tar zxvf hbase-2.2.3-bin.tar.gz //2.修改hbase/conf/hbase-env.sh，添加java环境变量 [root@localhost conf]# vi hbase-env.sh export JAVA_HOME=/usr/local/java/jdk1.8.0_241/ export HBASE_MANAGES_ZK=true //（使用hbase内置的zookeeper） //3.编辑hbase-site.xml,若是不配置默认是temp 每次启动会被清空 <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/local/hbase-2.2.3-bin/rootDir</value> <description> hbase.rootdir是RegionServer的共享目录，用于持久化存储HBase数据，默认写入/tmp中。如果不修改此配置，在HBase重启时，数据会丢失。此处一般设置的是hdfs的文件目录， 如NameNode运行在namenode.Example.org主机的9090端口，则需要设置为hdfs://namenode.example.org:9090/hbase </description> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/local/hbase-2.2.3-bin/zookeeperDir</value> <description>此项用于设置存储ZooKeeper的元数据，如果不设置默认存在/tmp下，重启时数据会丢失。</description> </property> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> </configuration> //4.添加hbase环境变量 [root@localhost bin]# vi /etc/profile //5.启动hbase [root@localhost bin]# ./hbase shell //6.jps查看，出现HMaster就是启动成功了
修改配置文件,修改安装目录下的conf文件夹中的配置文件，主要包括2个文件:hbase-env.sh和hbase-site.xml.
伪分布式模式下，所有进程运行在一个 JVM 上，可以进行小集群的配置，用于测试。在生产环境下，需要在不同机器上的 JVM 中运行守护进程。
//1、下载安装hbase,官网:https://hbase.apache.org/downloads.html
tar xzvf hbase-2.2.4-bin.tar.gz /usr/local
cd /usr/local
mv hbase-2.2.4-bin.tar.gz hbase
ls
//2、修改配置文件,修改安装目录下的conf文件夹中的配置文件:hbase-env.sh和hbase-site.xml,同时分发到集群中的各个regionserver节点.
//比如:hbase-env.sh文件修改
export JAVA_HOME=/usr/java/j dkl.8.0_161
export HBASE_MANAGES_ZK=true
ps: ZooKeeper 也可以作为独立的集群来运行，即完全与 HBase 脱离关系，这时需要设置 HBASE_MANAGES_ZK 变量为 false。
分布式模式是一种主从模式，基本由一个Master 节点和多个 Slave 节点组成，均使用 HDFS作为底层文件系统。
//1、分布式集群实例进行hbase-site.xml文件配置,hbase-site.xml配置文件如下:
<configuration>
<property>
<name> hbase.rootdir </name>
<value>hdfs://example0:9000/hbase</value>
<description> hbase.rootdir是RegionServer的共享目录，用于持久化存储HBase数据，默认写入/tmp中。如果不修改此配置，在HBase重启时，数据会丢失。此处一般设置的是hdfs的文件目录，如NameNode运行在namenode.Example.org主机的9090端口，则需要设置为hdfs://namenode.example.org:9090/hbase
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>此项用于配置HBase的部署模式，false表示单机或者伪分布式模式，true表不完全分布式模式。
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>examplel,example2,example3</value>
<description>此项用于配置ZooKeeper集群所在的主机地址。examplel、 example2、example3是运行数据节点的主机地址，zookeeper服务的默认端口为2181。
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/var/zookeeper</value>
<description>此项用于设置存储ZooKeeper的元数据，如果不设置默认存在/tmp下，重启时数据会丢失。</description>
</property>
</configuration>
//2、修改 conf/regionservers 文件,罗列了所有region服务器的主机名.同时在配置完成后,需要同步这些文件到集群上的其他节点 .
ps:在master服务器上已经配置了对集群中所有slave机器的无密码登录,使用start-hbase.sh脚本即可启动整个集群.
前提条件:
hdfs处于运行状态,jps命令查看namenode和datanode的服务是否正常启动
hbase启动命令:
//hbase的bin目录下,启动伪分布式集群或分布式集群的执行命令
bin/start-hbase.sh
jps //查看进程,如果是完全分布式模式,则在master节点运行有hmaster和hquorumpeer进程;在slave节点上有hregionserver和hquorumpeer进程.
hbase关闭命令:
//hbase的bin目录下,关闭hbase集群,执行命令
bin/stop-hbase.sh
hbase shell是一个命令行工具。在linux上，输入命令： . /hbase shell
version:显示当前hbase的版本号
status:显示各主节点的状态,之后可以加入参数
whoami:显示当前用户名
退出shell模式:exit或quit.
[test@cs010 bin]$ ./hbase shell //version显示当前hbase版本号 hbase(main):001:0> version 1.4.12, r6ae4a77408ad35d6a7a4e5cebfd401fc4b72b5ec, Sun Nov 24 13:25:41 CST 2019 //status显示各主节点的状态 hbase(main):002:0> status 1 active master, 0 backup masters, 1 servers, 1 dead, 7.0000 average load //whoami显示当前用户名 hbase(main):003:0> whoami test(auth:SIMPLE) groups: test
Hbase的表结构(schema)只有表名和列族两项内容.但列族的属性很多,在修改和建立表结构时,可以对列族的数量和属性进行设定.
HBase Shell操作表命令：
3.2.1 创建表
//创建表,必须指明两个参数:表名和列族的名字 1. create ‘table1‘,‘basic‘ //建立表名为table1,含有一个列族basic 2. create ‘table1‘,‘basic‘,‘advanced‘ //建立表名为table1,建立了2个列族basic,advanced. 3. create ‘table2‘,‘basic‘,MAX_FILESIZE=>‘134217728‘ //对表中所有列族设定,所有分区单次持久化的最大值为128MB 4. create ‘TABLE1‘,‘basic‘ //hbase区分大小写,与第一个table1是2张不同的表 5. create ‘table1‘,{NAME => ‘basic‘,VERSION => 5,BLOCKCACHE => true} //大括号内是对列族basic进行描述,定义了VERSION=>5,表示对于同一个cell,保留最近的5个历史版本,BLOCKCACHE赋值为true,允许读取数据时进行缓存.其他未指定的参数,采用默认值 //大括号中的语法,NAME和VERSION为参数名,不需要用括号引用. //创建命名空间 create_namespace ‘bigdata‘ //命名空间下创建表 create ‘bigdata:student‘,‘info‘ //命名空间下删除表,如果有表，需要先删除表
drop_namespace ‘bigdata‘
3.2.2 查看表名列表
//list命令查看当前所有表名 list //list命令查看当前命名空间 list_space //exists 命令查看此表是否存在 exists ‘table_test1‘ eg: hbase(main):010:0> list TABLE table_test1 1 row(s) in 0.0060 seconds hbase(main):043:0> list_namespace NAMESPACE default 1 row(s) in 0.0190 seconds hbase(main):011:0> exists ‘table_test1‘ Table table_test1 does exist 0 row(s) in 0.0070 seconds
3.2.3 描述表结构
//描述表结构 describe命令查看指定表的列族信息,包括有多少个列族、每个列族的参数信息 describe ‘table_test1‘
//描述命名空间下的表结构
describe ‘bigdata:table_test1‘
eg: hbase(main):013:0> describe ‘table_test1‘ Table table_test1 is ENABLED table_test1 COLUMN FAMILIES DESCRIPTION {NAME => ‘test001‘, BLOOMFILTER => ‘ROW‘, VERSIONS => ‘1‘, IN_MEMORY => ‘false‘, KEEP_DELETED_CELLS => ‘FALSE‘, DATA_BLOCK_ENCODING => ‘NONE‘, TTL => ‘FOREVER‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, BLOCKCACHE => ‘true‘, BLOCKSIZE =>‘65536‘, REPLICATION_SCOPE => ‘0‘} {NAME => ‘test002‘, BLOOMFILTER => ‘ROW‘, VERSIONS => ‘1‘, IN_MEMORY => ‘false‘, KEEP_DELETED_CELLS => ‘FALSE‘, DATA_BLOCK_ENCODING => ‘NONE‘, TTL => ‘FOREVER‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, BLOCKCACHE => ‘true‘, BLOCKSIZE =>‘65536‘, REPLICATION_SCOPE => ‘0‘} 2 row(s) in 0.0250 seconds
3.2.4 修改表结构
//修改表结构,alter命令,比如增加列族或修改列族参数. //eg:表table_test1中新增列族test002 1. alter ‘table_test1‘，‘test001‘,‘test002‘ //新增列族test002 2. alter ‘table_test1‘，‘test002‘ //新增列族test002 3. alter ‘table_test1‘，‘test001‘,{NAME=> ‘test002‘,IN_MEMORY =>true} //新增列族test002 //修改列族名称,该列族下已存有数据,需要对数据进行修改 4. alter ‘table_test1‘，{NAME=> ‘test001‘,IN_MEMORY =>true} //删除一个列族,以及其中的数据(前提是至少要有一个列族) 5. alter ‘table_test1‘,‘delete‘=>‘test001‘ 6. alter ‘table_test1‘,{NAME=> ‘test002‘,METHOD=>‘delete‘} eg： [haishu@cs010 bin]$ . /hbash shell hbase(main):001:0> list TABLE table_test1 1 row(s) in 0.1710 seconds hbase(main):002:0> alter ‘table_test1‘,‘delete‘=>‘test001‘ Updating all regions with the new schema... 1/1 regions updated. Done. 0 row(s) in 1.9480 seconds hbase(main):003:0> alter ‘table_test1‘,{NAME=>‘test002‘,METHOD=>‘delete‘} Updating all regions with the new schema... 1/1 regions updated. Done. 0 row(s) in 1.8710 seconds
3.2.5 删除表
//先禁用表,再删除表 disable ‘table1‘ //禁用表table1 is_disable ‘table1‘//查看是否禁用成功 drop ‘table1‘//删除表 //顺序完成禁用、删除表、删除所有数据、重新建立空表，即清空表中所有的数据 truncate ‘table1‘
HBase Shell 增删改查命令：
3.3.1 数据插入
//数据插入,参数依次显示为：表名、行键名称、列族：列的名称、单元格的值、时间戳或数据版本号，数值越大表示时间或版本越新,如果省略，默认显示当前时间戳 put ‘table_test‘,‘001‘，‘basic:test001‘,‘micheal jordan‘,1 put ‘table_test‘,‘002‘，‘basic:test002‘,‘kobe‘
3.3.2 数据更新
//数据更新，put语句行键、列族已存在，但不考虑时间戳。建表时设定VERSIONS=>n,则用户可以查询到同一个cell，最新的n个数据版本 put ‘table_test‘,‘001‘,‘basic:test001‘,‘air jordan‘,2
3.3.3 数据删除
HBase 的删除操作并不会立即将数据从磁盘上删除，删除操作主要是对要被删除的数据打上标记。
当执行删除操作时，HBase 新插入一条相同的 KeyValue 数据，但是使 keytype=Delete，这便意味着数据被删除了，直到发生 Major compaction 操作时，数据才会被真正的从磁盘上删除，删除标记也会从StoreFile删除。
//数据删除，用delete,必须指明表名和列族名称 delete ‘table_test‘,‘001‘，‘basic‘ delete ‘table_test‘,‘002‘，‘basic:test002‘ delete ‘table_test‘,‘002‘，‘basic:test002‘,2 //如果指明了版本，默认删除的是所有版本<=2的数据 //delete命令的最小粒度是cell,且不能跨列族删除。 //删除表中所有列族在某个行键上的数据，即删除一个逻辑行，则需要使用deleteall命令 deleteall ‘table_test‘,‘001‘ deleteall ‘table_test‘,‘002‘,1 //hbase并不能做实时删除数据，当hbase删除数据时，可以看作为这条数据put了新的版本，有一个删除标记(tombstone)
3.3.4 计数器
//incr命令可以将cell的数值在原值上加入指定数值 incr ‘table_test‘,‘001‘,‘basic:scores‘,10 //get_counter命令可以查看计数器的当前值 get_counter ‘table_test‘,‘001‘,‘basic:scores‘
hbase有2种基本的数据查询方法：
1.get:按行键获取一条数据
2.scan:扫描一个表，可以指定行键范围或使用过滤器限制范围。
3.count:采用count指令计算表的逻辑行数
//get命令的必选参数为表名和行键名 get ‘table_test‘,‘001‘ //可选项，指明列族名称、时间戳的范围、数据版本数、使用过滤器 get ‘table_test‘,‘001‘,{COLUMN=>‘basic‘} get ‘table_test‘,‘001‘,{COLUMN=>‘basic‘,TIMERANGE=>[1,21]} get ‘table_test‘,‘001‘,{COLUMN=>‘basic‘,VERSIONS=>3} get ‘table_test‘,‘001‘,{COLUMN=>‘basic‘,TIMERANG=>[1,2],VERSION=>3} get ‘table_test‘,‘001‘,{FILTER=>"ValueFilter(=,‘binary:Michael Jordan 1‘)"}
//scan数据扫描，不指定行键，hbase只能通过全表扫描的方式查询数据 scan ‘table_test‘ //指定列族名称 scan ‘table_test‘ ,{COLUMN =>‘basic‘} //指定列族和列名 scan ‘table_test‘ ,{COLUMN =>‘basic:name‘} //指定输出行数 scan ‘table_test‘ ,{LIMIT => 1} //指定行键的范围，中间用逗号隔开 scan ‘table_test‘ ,{LIMIT =>‘001‘,LIMIT => ‘003‘} //指定时间戳或时间范围 scan ‘table_test‘ ,{TIMESTAMP => 1} scan ‘table_test‘ ,{TIMESTAMP => [1,3]} //使用过滤器 scan ‘table_test‘ ,FILTER=>"RowFilter(=,substring:0‘)" //指定对同一个键值返回的最多历史版本数量 scan ‘table_test‘ ,{version=> 1}
//采用count指令可以计算表的逻辑行数 count ‘table_test‘
无论是在get方法还是scan方法，均可以使用过滤器(filter)来显示扫描或输出的范围。
//过滤器进行过滤查询,配合比较运算符或比较器共同使用：>、<、=、>=、<=、!= show_filters
比较器：
//比较器语法使用,用FILTER=> "过滤器（比较方式）"的方式指明所使用的过滤方法 //在语法格式上，过滤的方法用双引号引用，而比较方式用小括号引用 scan ‘table_test‘,FILTER=>"RowFilter(=,‘substring:0‘)" scan ‘table_test‘,{FILTER=>"RowFilter(=,‘substring:0‘)"}
过滤器的用途：
行键过滤器：
//行键过滤器，RowFilter:可以配合比较器及运算符，实现行键字符串的比较和过滤。 //需求：显示行键前缀为0开头的键值对，进行子串过滤只能用=或！=两种方式，不支持采用大于或小于 scan ‘table_test‘,FILTER=>"RowFilter(=,‘Substring:0‘)" scan ‘table_test‘,FILTER=>"RowFilter(>=,‘BinaryPrefix:0‘)"
//行键前缀比较器,PrefixFilter:比较行键前缀（等值比较）的命令 scan ‘table_test‘,FILTER=>"PrefixFilter(‘0‘)"
//KeyOnlyFilter:只对cell的键进行过滤和显示，不显示值，扫描效率比RowFilter高 scan ‘table_test‘,{FILTER=>"KeyOnlyFilter()"} //FirstKeyFilter:只扫描相同键的第一个cell，其键值对都会显示出来，如果有重复的行键则跳过。可以用来实现对行键(逻辑行)的计数，和其他计数方式相比。 scan ‘table_test‘,{FILTER=>"FirstKeyFilter()"} //InclusiveStopFilter:使用STARTROW和ENDROW进行设定范围的scan时，结果会包含STARTROW行，但不包括ENDROW,使用该过滤器替代ENDROW条件 scan ‘table_test‘,{STARTROW=>‘001‘,ENDROW=>‘002‘} scan ‘table_test‘,{STARTROW=>‘001‘,FILTER=>"InclusiveStopFilter (‘binary:002‘)",ENDROW=>‘002‘}
列族和列过滤器：
//列族和列过滤器 //列族过滤器：FamilyFilter scan ‘table_test‘,FILTER=>"FamilyFilter(=,‘substring:test001‘)" //列名（列标识符）过滤器：QualifierFilter scan ‘table_test‘,FILTER=>"QualifierFilter(=,‘substring:test001‘)" //列名前缀过滤器：ColumnPrefixFilter scan ‘table_test‘,FILTER=>"ColumnPrefixFilter(‘f‘)" //指定多个前缀的ColumnPrefixFilter：MultipleColumnPrefixFilter scan ‘table_test‘,FILTER=>"MultipleColumnPrefixFilter(‘f‘,‘l‘)" //时间戳过滤器：TimestampsFilter scan ‘table_test‘,{FILTER=>"TimestampsFilter(1,2)"} //列名范围过滤器：ColumnRangeFilter scan ‘table_test‘,{FILTER=>"ColumnRangeFilter(‘f‘,false,‘lastname‘,true)"} //参考列过滤器：DependentColumnFilter,设定一个参考列（即列名），如果某个逻辑行包含该列，则返回该行中和参考列时间戳相同的所有键值对 //过滤器参数中，第一项是需要过滤数据的列族名，第二项是参考列名，第三项是false说明扫描包含"basic:firstname"，如果是true则说明在basic列族的其他列中进行扫描。 scan ‘table_test‘,{FILTER=>"DependentColumnFilter(‘basic‘,‘firstname‘,false)"}
值过滤器：
//ValueFilter:值过滤器，get或者scan方法找到符合值条件的键值对,变量=值：Michael Jordan
get ‘table_test‘,‘001‘,{FILTER=>"ValueFilter(=,‘binary:Michael Jordan‘)"}
scan ‘table_test‘,{FILTER=>"ValueFilter(=,‘binary:Michael Jordan‘)"}
//SingleColumnValueFilter:在指定的列族和列中进行比较的值过滤器，使用该过滤器时尽量在前面加上一个独立的列名限定
scan ‘table_test‘,{ COLUMN => ‘basic:palyername‘ , FILTER => "SingleColumnValueExcludeFilter(‘basic‘,‘playername‘,=,‘binary:Micheal Jordan 3‘)"}
//SingleColumnValueExcludeFilter:和SingleColumnValueFilter类似，但功能正好相反，即排除匹配成功的值
scan ‘table_test‘, FILTER => "SingleColumnValueExcludeFilter( ‘basic‘ , ‘playername‘ ,=,‘binary:Micheal Jordan 3‘)"
SingleColumnValueFilter和SingleColumnValueExcludeFilter区别： Value = "Micheal Jordan "的键值对，或者返回除此之外的其他所有键值对。
//其他过滤器
1. ColumnCountGetFilter:限制每个逻辑行最多返回多少个键值对（cell）,一般用get，不用scan.
2. PageFilter:对显示结果按行进行分页显示
3. ColumnPaginationFilter:对显示结果按列进行分页显示
4. 自定义过滤器：hbase允许采用Java编程的方式开发新的过滤器
eg: scan ‘table_test‘, FILTER => "ColumnPrefixFilter( ‘first‘ ) AND ValueFilter(=, ‘substring:kobe‘)"
eg:
hbase(main):012:0> get ‘Test‘,‘002‘,{FILTER=>"ValueFilter(=,‘binary:test004‘)"}
COLUMN CELL
zhangsan:wendy001 timestamp=1587208488702, value=test004
zhangsan:wendy002 timestamp=1587208582262, value=test004
1 row(s) in 0.0100 seconds
hbase(main):013:0> scan ‘Test‘,{FILTER=>"ValueFilter(=,‘binary:test004‘)"}
ROW COLUMN+CELL
001 column=zhangsan:wendy001, timestamp=1587208452109, value=test004
002 column=zhangsan:wendy001, timestamp=1587208488702, value=test004
002 column=zhangsan:wendy002, timestamp=1587208582262, value=test004
2 row(s) in 0.0100 seconds
hbase(main):018:0> scan ‘Test‘,{ COLUMN => ‘zhangsan:wendy002‘ , FILTER => "SingleColumnValueExcludeFilter(‘zhangsan‘,‘wendy002‘,=,‘binary:test004‘)"}
ROW COLUMN+CELL
0 row(s) in 0.0040 seconds
hbase(main):019:0> scan ‘Test‘,{COLUMN=>‘zhangsan:wendy002‘,FILTER=>"SingleColumnValueFilter(‘zhangsan‘,‘wendy002‘,=,‘binary:test004‘)"}
ROW COLUMN+CELL
002 column=zhangsan:wendy002, timestamp=1587208582262, value=test004
1 row(s) in 0.0060 seconds
快照：一种不复制数据就能建立表副本的方法，可以用于数据恢复，构建每日、每周或每月的数据报告，并在测试中使用等。
快照前提：Hbase的配置文件hbase-site.xml中配置hbase.snpashot.enabled属性为true。一般情况下，HBase的默认选项即为true。
//建立表的快照p1 snapshot ‘test001‘,‘p1‘ //显示快照列表 List_snapshots //删除快照 delete_snapshot ‘p1‘ PS：注意删除快照后，原表的数据仍然存在。删除原表，快照的数据也仍然存在。 //通过快照生成新表play_1,注意用此种方法生成新表，不会发生数据复制，只会进行元数据操作 clone_snapshot ‘p1‘,‘play_1‘ //快照恢复原表格，将抛弃快照之后的所有变化 restore_snapshot ‘p1‘ //利用快照实现表改名，方法：制作一个快照，再将快照生成为新表，最后将不需要的旧表和快照删除 snapshot ‘player‘,‘p1‘ clone_snapshot ‘p1‘,‘play_1‘ disable ‘player‘ drop ‘player‘ delete_snapshot ‘p1‘
场景：put方法用于逐条采集数据，但如果需要将大量数据一次性写入HBase,则需要进行批量操作。此外，如果需要将数据备份到HDFS等位置，也需要进行批量操作，基于hadoopde的MapReduce方法实现，而数据的导入源头和备份目的，通常是在HDFS之上。
3.5.1 批量导入数据
批量导入数据，有两种方式：
1、第一种是并行化的数据插入，利用MapReduce等方式将数据发给多个RegionServer。
2、第二种是根据表信息直接将原始数据转换成HFile,并将数据复制到HDFS的相应位置，再将文件中的数据纳入管理。
方法1，利用ImportTsv类方法：将存储在HDFS上的文本文件导入到HBase的指定表，TXT文件当中应当有明确的列分隔符，比如利用‘\t‘（TAB键）分割的TSV格式，或逗号分割的CSV格式。
原理：执行机制是扫描整个文件，逐条将数据写入。使用MapReduce方法在多个节点上启动多个进程，同时读取多个HDFS上的文件分块。数据根据所属分区不同，被发向不同的Regionserver，利用分布式并行读写的方式，加快数据导入的速度。
//在linux的命令行通过HBase指令调用ImportTsv类 //player为表名，hdfs://namenode:8020/input/为导入文件所在的目录，这里不需要指定文件名，导入时会遍历目录中的所有文件。
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns= HBASE_ROW_KEY,basic:playername,advance:scores -Dimporttsv.skip.bad.lines =true player hdfs://namenode:8020/input/
//-Dimporttsv.columns=HBASE_ROW_KEY,参数依次为：第一个关键字HBASE_ROW_KEY是指定文本文件中的行键，第二个是写入列族basic下名为playername的列，第三个是写入advance列族下的scores列，这一参数一般为必选项。
//-Dimporttsv.skip.bad.lines=true表示略过无效的行，如果设置为false,则遇到无效行会导入报告失败
//可选参数
//-Dimporttsv.separator=‘,‘,用逗号作为分隔符，也可以指定为其他形式的分隔符，例如‘\0‘,默认情况下分隔符为‘\t‘。
//-Dimporttsv.timestamp =1298529542218，导入时使用指定的时间戳，如果不指定则采用当前时间。
方法二,利用bulk-load方法：直接将原始数据转换成HFile,并将数据复制到HDFS的相应位置，再将文件中的数据纳入管理，分为2个步骤。
//前提：表结构已经建立好，并且在命令中指定了表名，因为要根据表结构和分区状况准备文件 //第一步：利用ImportTsv生成文件 //第二步：复制 //第一步：利用ImportTsv生成文件 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns= HBASE_ROW_KEY,basic:playername,advance:scores -Dimporttsv.skip.bad.lines =true -Dimporttsv.bulk.output=hdfs://namenode:8020/bulkload/ player hdfs://namenode:8020/input/ //-Dimporttsv.bulk.output 参数，设定了HDFS路径，准备好HFile文件的存放地址：hdfs://namenode:8020/bulkload/，由于MapReduce的特性，该路径不能提前存在
//第二步：复制，利用MapReduce实现，参数为HFile文件所在路径和表名。 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://namenode:8020/bulkload player
方法三，从关系型数据库中导入数据到HBase：Hadoop系列组件中，有名为Sqoop的组件可以实现Hadoop、Hive、HBase等大数据工具与关系型数据库（例如MySQL、Oracle）之间的数据导入、导出。
Sqoop分为1和2两个版本,Sqoop1使用较为简单，Sqoo2则继承了更多功能，架构也更复杂。
//以sqoop1为例，其安装过程基本为解压。 //访问MySQL等数据库，则需要自行下载数据库连接组件（mysql-connector-java-x.jar）,并复制到其lib目录中。 sqoop import --connect jdbc:mysql://node1:3306/database1 --table table1 --hbase-table player --column-family f1 --hbase-row-key playername --hbase-create-table --username ‘root‘ -password ‘123456‘ //从mysql中导入数据（import）,之后指明了作为数据源的mysql的访问地址（node1）、端口(3306)、数据库名(database1)、表名(table1)。 //数据导入名为player的HBase表，并存入名为f1的列族，列名则和MySQL中保持一致，行键为MySQL表中名为playername的列。 //--hbase-create-table :HBase中建立这个表，最后指明了访问mysql的用户名和密码。
3.5.2 备份和恢复
HBase支持将表或快照复制到HDFS，支持将数据复制到其他HBase集群，以实现数据备份和恢复功能。有四种方式：
//Export、Import、ExportSnapshot、CopyTable //Export:将HBase的数据导出到HDFS。目的；备份，文件并不能直接以文本方式查看。 //参数中<tablename>为表名，<outputdir>为HDFS路径。 hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> //Import：导出的数据可以恢复到HBase。 hbase org.apache.hadoop.hbase.mapreduce.Import <tablename> <outputdir> //ExportSnapshot hbase org.apache.hadoop.hbase.mapreduce.ExportSnapshot -snapshot <snapshot name> -copy-to <outputdir> //snapshot 快照名 ；outputdir为HDFS路径，导出的快照文件可以利用Import方法恢复到表中。 //CopyTable:可以将一个表的内容复制到新表中，新表和原表可以在同一个集群内，也可以在不同的集群上。复制过程利用MapReduce进行。 //前提：新表已经建立起来 hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=<NEW_TABLE_NAME> -peer.adr=<zookeeper_peer:2181:/hbase> <TABLE_NAME> //--new.name=<NEW_TABLE_NAME>参数描述新表的名字，如果不指定则默认和原表名相同。 //-peer.adr=<zookeeper_peer:2181:/hbase>参数指向目标集群Zookeeper服务中的hbase数据入口（包括meta表的地址信息等） //CopyTable帮助 hbase org.apache.hadoop.hbase.mapreduce.CopyTable --help
phoenix核心功能：HBase提供SQL语言支持和JDBC接口。基于协处理器等功能，仿照关系型数据库的常见功能，对HBase进行了功能扩展：
4.1 phoenix 配置
squirrel-sql客户端下载：http://squirrel-sql.sourceforge.net/#installation
phoenix下载：http://archive.apache.org/dist/phoenix/apache-phoenix-4.10.0-HBase-0.98/bin/
配置方法：
1.下载相应的phoenix软件包，将其中的Jar包复制到regionserver下、HBase安装目录下的lib文件夹，并重启HBase
2.SQL客户端（如squirrel-sql）配置连接到phoenix的JDBCdriver.
HBase的基本使用(安装配置、启动关闭、hbash shell的基本操作)
标签：内容 不显示 租户 除了 seconds mapr string 报告 basic
原文地址：https://www.cnblogs.com/wendyw/p/12691971.html
