一、安装sqoop1、解压##解压[root@hadoop-senior cdh]# tar zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.... ...
分类：
其他好文 时间：
2019-05-06 16:05:55
阅读次数：
169
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
从零手把手编译spark2.4.2！+hadoop-2.6.0-cdh5.14.0
分类：
其他好文 时间：
2019-04-29 12:29:24
阅读次数：
252
Apache Hadoop的服务的部署比較繁琐。须要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。因为须要对Hive,HBase,Impala,Spark进行功能測试，就採用了Cloudera Manager方式进行安装。 Cl ...
分类：
其他好文 时间：
2019-04-23 09:17:26
阅读次数：
362
1查询官网地址，提供了详细的各个版本的jar依赖版本信息 https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_516x.html ...
分类：
其他好文 时间：
2019-04-07 12:51:34
阅读次数：
197
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/j ...
分类：
编程语言 时间：
2019-04-04 09:43:55
阅读次数：
700
处理parquet数据 RuntimeException: file:/Users/arthurlance/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json is not a Parquet file ...
分类：
其他好文 时间：
2019-03-30 18:50:04
阅读次数：
267
1）Hive下载：http://archive.cloudera.com/cdh5/cdh/5/ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz 2）解压 tar -zxvf hive-1.1.0-cdh5 ...
分类：
其他好文 时间：
2019-03-21 01:04:22
阅读次数：
180
1) 下载Hadoop http://archive.cloudera.com/cdh5/cdh/5/ 2.6.0-cdh5.7.0 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 2）安装jdk 下载 ...
分类：
其他好文 时间：
2019-03-21 00:57:23
阅读次数：
174
cdh版本控制CDH安装包下载地址http://archive.cloudera.com/cdh5/parcels/5.13.0/ClouderaManager下载地址http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.0/RPMS/x86_64/我们生产环境线上用的cdh5.13.0centos7.1环境cdh5.13.0版本中各个组件
分类：
其他好文 时间：
2019-03-18 23:48:11
阅读次数：
257
