出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
通过snapshot实现 hdfs上文件的备份api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html=========...
分类：
其他好文 时间：
2015-06-18 19:32:28
阅读次数：
172
[Author]: kwu --- CentOS6.6安装CM5.4的问题，在安装cloudera-scm-agent时出现异常，提示缺少类库。...
分类：
其他好文 时间：
2015-06-16 11:05:43
阅读次数：
137
一、快速入门
（一）下载安装
1、下载并解压
wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz
tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz
2、将sqoop中的命令添加至$PATH中
export PATH=$PATH:/home/jediael/setup...
分类：
其他好文 时间：
2015-06-06 12:06:23
阅读次数：
252
搭建要求：
1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中
搭建步骤
1. 主机操作
修改hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.1...
分类：
其他好文 时间：
2015-06-03 23:30:26
阅读次数：
877
要配置生产环境前，最好严格按照官方文档/说明配置环境。比如，官方说这个安装包用于RETHAT6, CENTOS6，那就要装到6的版本下，不然很容易出现各种各样的错。配置这个CDH5我入了很多坑，最重要的有2点1. HP GEN9 DL60服务器装CentOS系统, 开始想装7的版本, 官方只说支持到...
分类：
其他好文 时间：
2015-05-30 22:42:17
阅读次数：
776
前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用Yarn做统一的资源调度，建议使用Yarn。
CDH对Yarn的部分参数做了少了修改，并且添加了相...
分类：
其他好文 时间：
2015-05-29 23:18:43
阅读次数：
198
CDH集群中YARN的参数配置前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn...
分类：
其他好文 时间：
2015-05-29 19:47:51
阅读次数：
197
CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成...
分类：
其他好文 时间：
2015-05-29 18:38:55
阅读次数：
239
CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用..
分类：
其他好文 时间：
2015-05-29 18:21:09
阅读次数：
162
