安装和配置Sentry 本文主要记录安装和配置Sentry的过程，关于Sentry的介绍，请参考 Apache Sentry架构介绍 。 1. 环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本： CDH5.4 运行用户：root 这里，我参考 使用yum安装CDH Hadoop ...
分类：
其他好文 时间：
2016-04-24 15:28:41
阅读次数：
420
之前一直结合Maven开发Hadoop2.2.0的程序。环境换成CDH5.2后报错，发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖。但这类站点仅仅能查到通用的maven依赖，没有包括CDH依赖。还好Cloudera提供了CDH的依 ...
分类：
其他好文 时间：
2016-04-21 10:00:14
阅读次数：
169
先说一下环境，有两个集群，一个新的一个旧的，打算把新的调试好然后把旧的关掉。新：ClouderaExpress5.6.0，CDH-5.6.0旧:ClouderaExpress5.0.5，CDH-5.0.5新集群搭建过程中发现一个问题，执行以下命令对lzo文件创建索引，在新集群中job无法提交到指定队列，同样的命令在旧集群..
分类：
编程语言 时间：
2016-04-19 00:48:33
阅读次数：
174
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。
由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH...
分类：
其他好文 时间：
2016-04-17 22:55:40
阅读次数：
202
卸载步骤 记录卸载过程和问题。现有环境Cloudera Manager + (1 + 2 )的CDH环境。 1、先在Manage管理端移除所有服务。 2、删除Manager Server 在Manager节点运行 $ sudo /usr/share/cmf/uninstall-cloudera-ma ...
分类：
其他好文 时间：
2016-04-17 14:36:48
阅读次数：
109
1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0 ...
分类：
其他好文 时间：
2016-04-12 07:06:19
阅读次数：
372
最近CDH集群频繁告警，原因是某些host频繁swapping，极大影响了集群的性能。 后来发现有个设置（/proc/sys/vm/swappiness）需要修改，默认值60 Setting the vm.swappiness Linux Kernel Parameter vm.swappiness ...
分类：
移动开发 时间：
2016-04-11 20:51:15
阅读次数：
817
Sqoop 关系DB与Hive/HDFS/HBase导入导出的Mapreduce框架。 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.0/SqoopUserGuide.html ETL: Extraction-Transforma ...
分类：
其他好文 时间：
2016-04-05 15:35:01
阅读次数：
230
cloudera 的 QuickStart VM，為一種免安裝、免設定 Linux 及 Hadoop，已幫你建好 CDH 5.x、Hadoop、Eclipse 的一個虛擬機環境。下載後解壓縮，可直接以 VirtualBox、VMWare、Docker、KVM 任一虛擬機，開啟 Hadoop 2.x ...
分类：
其他好文 时间：
2016-04-02 15:59:02
阅读次数：
193
