标签:hadoop cloudera manager 报错处理 linux
2014.12.18
做同步时间的时候,执行命令操作:
[root@zhanglin ~]# /usr/sbin/ntpdate pool.ntp.org
会报错:
Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, reason: Temporary failure in name resolution
1、首先确认ntpd 服务是开启的。
[root@retail-153 ~]# /etc/init.d/ntpd start
正在启动 ntpd: [确定]
2、检查你的DNS是否添加,如果没有添加,就把你所使用的添加上去。
编辑文件:
[root@zhanglin ~]# vi /etc/resolv.conf
nameserver 202.99.144.12
nameserver 202.99.143.11
或者添加通用DNS: nameserver 8.8.8.8
测试:
[root@zhanglin ~]# ntpdate pool.ntp.org
18 Dec 13:40:32 ntpdate[23722]: the NTP socket is in use, exiting
[root@retail-153 ~]# date -R
Thu, 18 Dec 2014 13:40:36 +0800
http://blog.itpub.net/27099995/viewspace-1372167/
2、当cloudera-manager-installer.bin安装不完全
也就是没联网的时候安装的时候错误的时候,我们后面直接吧相应的usr/share/cmf文件夹全部删除就好饿了
3、一个问题就是yum源无法安装cloud-manager
yum源更新后需要导入 key值,否则报错如下,无法安装相关的包。
Total size: 42 M
Downloading Packages:
warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5
GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5
解决办法:
1. 先安装如下工具包:
rpm -Uhv http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.4-1.el4.rf.i386.rpm
[root@localhost yum.repos.d]# rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-6
一般来说安装完成后即可,安装完这个就可以了。
如果还是不行,查看系统的
编辑yum源文件:替换 RPM-GPG-KEY-CentOS-5 替换为对应的 key 文件名:RPM-GPG-KEY-CentOS-6 (要全部替换)
root@localhost yum.repos.d]# vi CentOS-Base-sohu.repo
[base]
name=CentOS-$releasever - Base - sohu.com
mirrorlist=http://mirrorlist.centos.org/?release=releasever&arch=basearch&repo=os
baseurl=http://mirrors.sohu.com/centos/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
4、error: rpmts_HdrFromFdno: headerRead failed: hdr blob(982592): BAD, read returned 32296
这里爆了一堆错的主要原因是rpm包坏了,我从新下载就都好了
5、cdh安装失败,无法进行身份认证
可能我们前面配置的是对ROOT用户进行免秘钥,我们要对所有的用户进行免秘钥!!!!
6、安装报错无法打开”/var/log/cloudera-scm-agent//cloudera-scm-agent.log” 读取数据: 没有那个文件或目录
这个错误是因为在/etc/hosts 里IP/hostname 的对应不正确,修好之后再点选Retry 。这个错误是因为在/etc/hosts里IP/hostname的对应不正确,修好之后再点选Retry 。 Cloudera Manager 会先把之前的所有操作rollback,回复到初始状态之后才重装。 Cloudera Manager 会先把之前的所有操作rollback,回复到初始状态之后才重装。
7、安装失败。 无法接收 Agent 发出的检测信号。
请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问(检查防火墙规则)。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安装详细信息中找到)。
could not find config file /var/run/cloudera-scm-agent/supervisor/supervisord.conf
这个错误的解决是:
修改了我们/etc/hosts文件之后,我们得重启一下服务cloudera-scm-agent
service cloudera-scm-agent restart
8、安装CM之后无法显示
9、7180界面打不开
用impala做实验遇到了cloudera-scm-server dead but pid file exists问题。
问题发生的经过是这样的:
首先我在单机配置的为2核4GB内存的5台虚拟机上安装了cloudera manager,然后用它安装了cdh和impala
然后一切都是正常的,我就往集群的hdfs里面导入了100GB的数据
然后一切仍然是正常的,可是突然有一天,cloudera manager的web界面无法访问了(7180端口的那个),hadoop还可以用,impala挂掉了
之前用大内存的虚拟机装上百节点的impala都是没问题的呀,估计是内存不足导致的(想起来之前装过一次单机2GB内存的集群,装完不久 cloudera manager就也打不开了,当时由于用不到这个集群也就每台多想),查看了一下主节点上(也就是运行cloudera manager、即cloudera-scm-server的那个节点),果然啥也没干内存就只剩下400MB了。
看来安装impala,单机内存配置至少应该是8GB。
不过还是尝试解决了这个问题:
首先交代下实验环境:
硬件配置上面已经说了,操作系统是CentOS6.4 64位,软件cdh4.5.0.30+impala1.2.1.850
操作步骤如下:
版权声明:本文为博主原创文章,未经博主允许不得转载。
标签:hadoop cloudera manager 报错处理 linux
原文地址:http://blog.csdn.net/cutter_point/article/details/46660323