一、配置hbase 1、修改hbase-site.xml 添加如下配置： <property> <name>hbase.thrift.support.proxyuser</name> <value>true</value> </property> <property> <name>hbase.reg ...
分类：
其他好文 时间：
2020-06-11 13:33:17
阅读次数：
116
实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
相关接口文档： https://hbase.apache.org/book.html#arch.overview https://hbase.apache.org/apidocs/index.html http://hbase.apache.org/2.1/apidocs/index.html // ...
分类：
编程语言 时间：
2020-06-09 18:58:34
阅读次数：
66
在项目中频繁访问hbase，造成hbase压力过大，而后设立缓存系统，但是会造成缓存雪崩问题，即当缓存过期时，会出现大量的DB连接，对DB产生迅间高负载。由于采用redis缓存，所以用redis锁的功能来防止过多线程同时访问数据库的现象，对于mutex锁的ttl问题，在项目中不用考虑时间过期问题（因 ...
分类：
其他好文 时间：
2020-06-08 01:00:19
阅读次数：
70
hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
Kettle支持3种参数：位置参数、命名参数、变量。 位置参数（argument） 命名参数（parameter） 变量（variable） 说明 根据参数的位置来设置和读取参数值，用于在KJB外部传入，并在KJB内部使用 根据参数的名字来设置和读取参数值，用于在KJB外部传入，并在KJB内部使用 ...
分类：
其他好文 时间：
2020-06-05 14:46:53
阅读次数：
99
CDH6.3.2启用Kerberos集成使用phoenix标签（空格分隔）：大数据平台构建一、下载并安装Phoenixparcel二、安装CSD文件三、在ClouderaManager中添加Phoenix服务（前提是已经安装了HBase服务）四、配置HBase以用于Phoenix五、验证Phoenix安装与冒烟测试六、导入数据验证测试七、七：关于phoinex的schema与hbase的names
分类：
其他好文 时间：
2020-06-05 00:31:53
阅读次数：
121
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
