需要准备 hadoop-2.6.0-cdh5.7.0 、jdk1.8.0_161 、zookeeper-3.4.5-cdh5.7.0、 hive-1.1.0-cdh5.7.0 1.在hadoop 的etc/hadoop/目录中的文件 core-site.xml 添加下面代码 ，其中颜色标记部分为你的 ...
分类：
其他好文 时间：
2020-12-29 11:30:43
阅读次数：
0
实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中 cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sour ...
分类：
Web程序 时间：
2020-07-18 22:49:42
阅读次数：
97
mapred-default.xml： 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类：
其他好文 时间：
2020-07-10 15:35:12
阅读次数：
74
1 hadoop 在虚拟机上的安装与配置 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 演示的下载包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载解压 环境c ...
分类：
其他好文 时间：
2020-06-20 00:48:56
阅读次数：
63
大数据平台CDH5.16.2安装配置标签（空格分隔）：大数据平台构建一：环境初始化二：安装CDH5.16.21.1:系统环境介绍系统：RHEL7.7X64cat/etc/hosts---172.17.100.21rhel01.flyfish172.17.100.22rhel02.flyfish172.17.100.23rhel03.flyfish172.17.100.24rhel04.flyfis
分类：
其他好文 时间：
2020-04-26 11:06:22
阅读次数：
143
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 第二步 开始大配置 修改主机名和用户名 vim /etc/sysconfig/network --( ...
分类：
其他好文 时间：
2020-04-26 01:41:23
阅读次数：
69
升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
1、图形页面表展示限制为5000，业务需要进行调整。参数如下/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hue/apps/beeswax/src/beeswax/server/hive_server2_lib.py744max_rows=5000754max_rows=5000771max_rows=5000784max_rows=5
分类：
其他好文 时间：
2020-04-08 12:28:37
阅读次数：
327
1、下载安装包 安装包下载地址： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz 将安装包上传到node01服务器/kkb/soft路径下，并进行解压 cd /kkb/soft/ tar -zxvf hbase- ...
分类：
其他好文 时间：
2020-03-18 13:55:31
阅读次数：
70
1.安装启动zookeeper /home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/conf/zoo.cfg bin/zkServer start 2.安装启动logstash /home/hadoop/app/logstash-2.4.1/project.conf ...
分类：
其他好文 时间：
2020-03-16 14:49:22
阅读次数：
91
