log4j直接输出日志到flume ????????此jar是由Cloudera的CDH发行版提供的一个工具类，通过配置，可以将log4j的日志直接输出到flume，方便日志的采集。 ????????在CDH5.3.0版本中是：flume-ng-log4...
分类：
Web程序 时间：
2015-07-06 16:17:06
阅读次数：
609
启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/...
分类：
其他好文 时间：
2015-07-04 20:52:52
阅读次数：
203
在安装Cloudera CDH的时候，是要求安装配置NTP服务器来实现不同主机之间的时间同步问题。下面详细的介绍一下NTP的安装过程。一、服务器端的配置1、首先安装ntp服务器，安装的方式有很多，可以选择rpm，tar也可以选择yum在线安装。那么在这里我选择的是在线安装 执行 yum insta....
分类：
其他好文 时间：
2015-06-30 14:26:17
阅读次数：
132
Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。制作本地源先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4...
分类：
其他好文 时间：
2015-06-28 00:07:08
阅读次数：
732
这几天一直在安装CDH,头都搞大了，安装第三次，终于成功了。
第一次问题很多，后面卸载了，由于没有卸载干净导致第二次安装失败。后来索性重装系统了，直接使用了纯净系统进行安装。一个人跑到学院机房去装系统，苦逼惨了。
，不扯了，记录下安装流程。系统环境
操作系统：CentOS 6.5 x64，配置如下：
Cloudera Manager：5.3.4
CDH: 5.3.4前期准备工作（系统环...
分类：
其他好文 时间：
2015-06-27 22:51:49
阅读次数：
282
安装
http://blog.sina.com.cn/s/blog_75262f0b0101aeuo.html
在这之前我们先把cm包里面的所有文件安装在说
这是由于CM依赖postgresql，需要在本机上安装postgresql，如果是在线安装，自动以Yum方式安装，由于是离线，无法自动安装postgresql。
检查是否安装了postgresql：
[r...
分类：
其他好文 时间：
2015-06-27 16:42:47
阅读次数：
142
8、配置ssh免密码登陆
且过，后面再补
进入.ssh里面
这将生成一个隐藏文件 .ssh，进入这个文件夹，然后将公钥追加到authorized_keys文件中，此文件最初并不存在，但执行追加命令后将自动生成：
cd .ssh
cat id_rsa.pub >> authorized_keys
...
分类：
其他好文 时间：
2015-06-26 18:13:46
阅读次数：
238
1.网络配置
1.1 为每台机器配置固定IP
安装完cm后尽量不要修改IP, cm在安装时会绑定IP, 修改IP会造成cm不能正确识别主机.
1.2 设置开机自动连接
图形界面
或修改配置文件
vi /etc/sysconfig/network-scripts/ifcfg-eth0
将ONBOOT由no改为yes
...
分类：
其他好文 时间：
2015-06-26 09:24:24
阅读次数：
239
因为集群中的节点服务器都是通过DHCP自动分配IP，原则上重启了IP也不会变更，因为在启动的时候已经为Mac地址固定分配了一个IP地址，除非Mac地址变更。巧合的是，昨天早上扫地大妈把某Master的节点服务器因为擦桌子而把网线给扯掉了，等我发现该节点连接不上的时候，重新插上网线之后结果Ip变了.....
分类：
其他好文 时间：
2015-06-24 14:13:37
阅读次数：
191
1、安装依赖包yuminstallrsyncgccopenldap-develpython-ldapmysql-develpython-develpython-setuptoolspython-simplejson
sqlite-devellibxml2-devellibxslt-develcyrus-sasl-devel2、下载hue的cdh版本wgethttp://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2...
分类：
其他好文 时间：
2015-06-23 23:24:28
阅读次数：
602
