离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基 ...
分类:
其他好文 时间:
2016-11-04 19:45:07
阅读次数:
8286
一、hadoop发行版介绍目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于ApacheHadoop衍生出来的,之所以有这么多的版本,是由于ApacheHadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业..
分类:
其他好文 时间:
2016-11-04 02:43:09
阅读次数:
230
Sqoop version:1.4.6-cdh Hadoop version:2.6.0-cdh5.8.2 场景:使用Sqoop从MSSqlserver导数据 虽然1.4.6的官网说 Even if Sqoop supports a database internally, you may stil ...
分类:
数据库 时间:
2016-10-24 13:48:09
阅读次数:
249
1. Hadoop 环境搭建 过 1.1 hadoop2.6.4 搭建伪分布式 ok ref 伪分布式 hadoop 2.6.4 后续: 1.2 纯分布式搭建 notok 1.3 发行版CDH、Hortornwork 搭建 notok 2. HDFS 命令行使用 过 1.1 常用功能使用 ok 创建 ...
分类:
其他好文 时间:
2016-10-23 17:01:07
阅读次数:
161
4. 为CDH 5集群添加Kerberos身份验证4.1 安装sentry1、点击“操作”,“添加服务”;2、选择sentry,并“继续”; 3、选择一组依赖关系 4、确认新服务的主机分配 5、配置存储数据库;在mysql中创建对应用户和数据库: 6、测试连接 7、创建Sentry数据表,启动Sen ...
分类:
其他好文 时间:
2016-10-17 07:09:37
阅读次数:
2303
1. 准备测试数据 2. 创建用户2.1. 创建系统用户在集群所有节点创建系统用户并设置密码 2.2. 创建kerberos用户 3. 创建数据库和表3.1. 创建数据库admin为sentry的超级管理员,该用户配置权限时已设置 通过beeline连接 hiveserver2,运行下面命令创建hi ...
分类:
其他好文 时间:
2016-10-17 06:50:47
阅读次数:
285
配置目标文件为 /etc/profile #Kylin exportKYLIN_HOME=/opt/apache-kylin-1.5.4-cdh5.7-bin #Hadoop export HBASE_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p ...
分类:
其他好文 时间:
2016-09-28 12:10:30
阅读次数:
156
cloudera分为两个部分:CDH和CM。CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的comp ...
分类:
其他好文 时间:
2016-09-28 02:07:39
阅读次数:
408
Spark on YARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop HDFS并且运行在yarn上,然后就可以开始部署spark on yarn了,假设现在准备环境已经部署完毕,这里是在CDH 环境下部署Spark 除了上面的环境准备 ...
分类:
其他好文 时间:
2016-09-23 11:08:49
阅读次数:
164
生产环境下cloudera的cdh版本更受欢迎,但是貌似cloudera对于YARN的开发力度不是很突出,所以在apache与cdh版本选择的时候,大家是怎么考虑的? 生产环境下cloudera的cdh版本更受欢迎,但是貌似cloudera对于YARN的开发力度不是很突出,所以在apache与cdh ...
分类:
其他好文 时间:
2016-09-20 08:59:50
阅读次数:
235