标签:running webui 启动 .sh ror 开机 ice 解决 quit
问题1:
Hadoop Slave节点 NodeManager 无法启动
解决方法:
yarn-site.xml
reducer取数据的方式是mapreduce_shuffle
问题2:
启动hadoop,报错Error JAVA_HOME is not set and could not be found
解决方法:
因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误。
解决方法是 在 hadoop-env.sh中 显示地重新声明一遍JAVA_HOME。
问题3:
hadoop 执行start-dfs.sh后,datenode没有启动
解决方法:
上网查了下,有些文章说的解决办法是删掉数据文件,格式化,重启集群,但这办法实在太暴力,根本无法在生产环境实施,所以还是参考另一类文章的解决办法,修改clusterID:
step1:
查看hdfs-site.xml,找到存namenode元数据和datanode元数据的路径:
step2:
打开namenode路径下的current/VERSION文件
打开datanode路径下的current/VERSION文件
step3:
将data节点的 clusterID 修改成和 name 节点的 clusterID 一致,重启集群即可。
问题1:
Spark 集群启动后,Slave节点 Worker 进程一段时间后自动结束
解决方法:
修改各节点 /etc/hostname 文件中的主机名:
与 /etc/sysconfig/network 中的主机名保持一致。
重启机器。
问题2:
Spark只启动了Master,Worker没启动
解决方法:
各节点 /home/hadoop/spark-2.2.1/conf/ spark-env.sh 中的 SPARK_LOCAL_IP 改为该节点自己的 IP。
问题3:
Spark集群启动后,Slave节点上有Worker进程,但打开webui,Workers列表却只显示有Master节点
解决方法:
关闭机器的防火墙
CentOS 7 默认采用新防火墙firewall,不再用iptables(service iptables status 查看防火墙状态 ,chkconfig iptables off 关闭防火墙)
systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
问题4:
Spark shell退出操作以及出现问题的解决方法
解决方法:
退出的正确操作是:
:quit
标签:running webui 启动 .sh ror 开机 ice 解决 quit
原文地址:https://www.cnblogs.com/SZxiaochun/p/9149697.html