1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。D ...
分类：
其他好文 时间：
2020-09-23 22:58:58
阅读次数：
34
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
rhel-system-roles.selinux 此模块为为系统模块，可通过安装rhel-system-roles来获取。模块功能包括： 设置selinux模式（enforcing和permissive） 恢复文件默认上下文类型（restorecon) 设置获取上下文 管理登录以及端口 用法实例 ...
分类：
系统相关 时间：
2020-09-18 03:24:24
阅读次数：
56
一、大数据 大数据的特性 （一）大体量，可从数百TB，PB，EB （二）多样性，大数据包括各种格式和形态的数据 （三）时效性，很多大数据需要在一定的时间限度下得到及时处理 （四）准确性，处理的结果一定要准备性 （五）大价值，大数据包含很多的深度的价值，大数据分析挖掘和利用将带来巨大的商业价值 二、H ...
分类：
其他好文 时间：
2020-09-18 02:20:12
阅读次数：
35
一、安装 yum install -y ansible 二、密钥授权 ssh-keygen -t rsa注释：-t type指定要创建的密钥类型。 rsa 加密算法 三、模块介绍（https://www.cnblogs.com/mcsiberiawolf/articles/10056777.html ...
分类：
其他好文 时间：
2020-09-18 02:00:30
阅读次数：
37
#1.安装Eclipse EE版本 #2.配置Eclipse 配置Eclipse 将插件hadoop-eclipse-plugin-2.6.0jar拷贝到Eclipse安装目录下的dropins目录 启动Eclipse,增加Map/Reduce功能区 增加Hadoop集群的连接 导入MapReduc ...
分类：
系统相关 时间：
2020-09-18 01:39:40
阅读次数：
46
将管理节点的脚本上传至被管理节点执行，理论上此模块不许需要被管理服务器上有python [root@ceph1 ~]# cat a.sh touch /tmp/ansible-script [root@ceph1 ~]# ansible webservers -m script -a "a.sh" ...
分类：
其他好文 时间：
2020-09-18 01:10:39
阅读次数：
31
官网 [root@ceph1 ~]# cat a.repo [epel] name=Extra Packages for Enterprise Linux 7 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/7/$bas ...
分类：
其他好文 时间：
2020-09-18 01:09:51
阅读次数：
28
