master 192.168.1.30 saver1 192.168.1.40 saver2 192.168.1.50 首先,时间同步 然后,ssh互通 接下来开始: 1.安装MySQL5.6.44 tar -xvf MySQL-5.6.44-1.el6.x86_64.rpm-bundle.tar ...
分类:
其他好文 时间:
2019-07-29 00:33:52
阅读次数:
120
4.2、使用oozie调度我们的hive 第一步:拷贝hive的案例模板 cd /export/servers/oozie-4.1.0-cdh5.14.0 cp -ra examples/apps/hive2/ oozie_works/ cd /export/servers/oozie-4.1.0- ...
分类:
其他好文 时间:
2019-07-10 23:02:41
阅读次数:
131
1. impala安装软件下载: http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/ 2. linux磁盘的挂载: [root@node03 ~]# df -lhFilesystem Size Used Avail Use% Mounte ...
分类:
系统相关 时间:
2019-07-03 00:08:37
阅读次数:
144
使用protobuf生产模板代码,使用的版本是: hbase的版本是:1.2.1-cdh5.1.4.0 如果打印maven依赖树的话,可以看到hbase的protobuf版本是2.5.0 这种情况下打包不会报错,但是一旦运行就会出错: 那么应该咱么解决? 答案是想办法向下兼容~ , 就是保留高版本, ...
分类:
其他好文 时间:
2019-07-02 19:08:44
阅读次数:
174
收集hive的log hive的运行日志: /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包: 传到/home/hadoop/CDH5.3.6/flume ...
分类:
Web程序 时间:
2019-06-23 20:43:26
阅读次数:
119
一、前置准备1. 基础信息1.1 机器机器名服务hadoop1主节点hadoop2data、taskhadoop3data、task1.2 服务版本服务版本cdh5.15.2cm5.15.2jdk1.82. 创建hadoop用户不直接建议使用root用户,所以此处新建 hadoop用户2.1 添加用... ...
分类:
其他好文 时间:
2019-06-20 18:45:07
阅读次数:
624
Server端需要打开端口 7180 7182 选址正确的版本,cdh版本不要高于cm版本 CM下载地址 http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH下载地址 http ...
分类:
其他好文 时间:
2019-06-20 09:15:59
阅读次数:
261
更换国内比较快的yum源 163 cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.backup wget http://mirrors.163.com/.help/CentOS6-Base-163.repo mv CentOS6-Ba ...
分类:
系统相关 时间:
2019-06-19 20:28:00
阅读次数:
241
部署环境 准备的软件包,cloudera官网可以直接下载 https://archive.cloudera.com/cdh5 https://archive.cloudera.com/cm5 10.1.1.120 c1.heboan.com 10.1.1.121 c2.heboan.com 10.1 ...
分类:
其他好文 时间:
2019-06-19 00:34:58
阅读次数:
355
如果执行hdfs文件操作的时候抛异常 winutils 如何解决: 第一步:把 F:\传智播客大数据离线阶段课程资料\3、大数据离线第三天\解决winutils的问题\hadoop-2.6.0-cdh5.14.0 这个安装包拷贝到一个没有中文没有空格的路径下面去(D:\Develop\hadoop- ...
分类:
编程语言 时间:
2019-05-30 01:27:43
阅读次数:
158