hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
CDH6.3.2启用Kerberos集成使用phoenix标签（空格分隔）：大数据平台构建一、下载并安装Phoenixparcel二、安装CSD文件三、在ClouderaManager中添加Phoenix服务（前提是已经安装了HBase服务）四、配置HBase以用于Phoenix五、验证Phoenix安装与冒烟测试六、导入数据验证测试七、七：关于phoinex的schema与hbase的names
分类：
其他好文 时间：
2020-06-05 00:31:53
阅读次数：
121
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
以 mysql_native_password 加密方式修改密码 ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password'; #更新一下用户的密码 FLUSH PRIVILEGES; #刷新权限 ...
分类：
数据库 时间：
2020-06-04 01:21:30
阅读次数：
236
mariadb必须清理主机为combcloud-2020xxxx的那一行数据账号否则会报以下错误MariaDB加授权，不需要flushprivileges;的，直接grants就生效的
分类：
数据库 时间：
2020-06-03 10:45:47
阅读次数：
60
唯一原则 ? 由于在HBase中数据存储是Key-Value形式，若HBase中同一表插入相同Rowkey，则原先的数据会被覆盖掉(如果表的version设置为1的话)，所以务必保证Rowkey的唯一性 长度原则 ? Rowkey是一个二进制码流，Rowkey的长度建议设计在10~100个字节，不过 ...
分类：
其他好文 时间：
2020-06-02 18:38:52
阅读次数：
55
hbase在创建表的时候，一开始只有一个Region，当数据量越来越大时，此region不能承受数据量，就会进行split 这种方式有两种缺点：1.数据往一个region上写,会有写热点问题 2.region split会消耗宝贵的集群I/O资源 所以引入了预分区概念。 https://blog.c ...
分类：
其他好文 时间：
2020-06-02 11:27:42
阅读次数：
69
第一章、phoenix入门简介 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据 ...
分类：
其他好文 时间：
2020-06-01 18:05:21
阅读次数：
103
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
