数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
Hadoop 分布式系统基础结构 海量数据存储，海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache：最基础 Cloudera：大型互联网企业 Horto ...
分类：
其他好文 时间：
2020-06-21 23:10:42
阅读次数：
63
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明
分类：
其他好文 时间：
2020-06-18 16:08:02
阅读次数：
58
zookeeper简介： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目 ...
分类：
其他好文 时间：
2020-06-17 09:16:36
阅读次数：
76
hbase建表create高级属性 //hbase 表预分区也就是手动分区 这个很重要 下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性1、BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式布隆过滤可以每列 ...
分类：
其他好文 时间：
2020-06-16 15:09:09
阅读次数：
150
1.请先创建好命名空间 .然后再创建表 . create 'gld:student',{NAME=>'cf1', VERSIONS=>5}, {SPLITS => ['1', '2', '3', '4', '5', '6', '7', '8', '9']} 我这里的namespace是提前创建好了的 ...
分类：
其他好文 时间：
2020-06-15 10:36:55
阅读次数：
87
Hbase系统架构图 1、数据热点问题 产生数据热点问题的原因： （1）Hbase的数据是按照字典排序的，当大量连续的rowkey集中写到个别的region，各个region之间实际分布不均衡； （2）创建表时没有提前预分区，创建的表默认只有一个region，大量的数据写入当前region； （3） ...
分类：
其他好文 时间：
2020-06-14 18:51:08
阅读次数：
112
1.HBase shell操作 hbase shell 查看版本 version 查看服务状态 status 查看有哪些表 list 创建表 create 'students','info' list 查看表结构 describe 'students' 插入数据 put 'students','10 ...
分类：
其他好文 时间：
2020-06-13 17:33:15
阅读次数：
47
在做hbase大数据实验，安装了3台机子，不知道为啥现在电脑贼卡，无奈只有重新看看找服务器来跑hbase，学生党又没啥钱，就看看免费云服务器，刚好看到很多人在推荐阿贝云，就抱着尝试的心态试试，需要实名认证0.3毛，我就充了1元，本来想安装虚拟机，然后我就想安装windows的系统，我太天真了，免费云 ...
分类：
其他好文 时间：
2020-06-12 20:35:53
阅读次数：
150
