码迷,mamicode.com
首页 > 其他好文 > 详细

大数据实践总结--两个故障的处理及思路总结

时间:2017-09-27 10:20:21      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:大数据 实践

    已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细谈这个内容)。

    而且最近,把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利,但没想到,还是出了许多问题。一些简单的问题就直接解决了,但仍是有两个大的故障,一直到今天下午才全部都解决了。现总结如下,为以后也能更好的学习使用。



故障一:虚拟机上虚拟适配器不能链接到主机的网络


故障现像

   在将原来的虚拟机整体复制到新电脑上之后,发现从虚拟机上可以PING通外网,但从自己的主机上不能PING通虚拟机。这样就导致了无法从CRT软件上远程登录虚拟机。


解决思路

    这个现像在网络上叫单通,也即PING操作里只有一个方向能够通过,一般出现这种情况,首先的判断是防火墙的问题。而从虚机到外网可达,说明虚机上的防火墙是关闭着的。然后重点就是在主机侧,通过查看主机的网络链接,没有找到跟虚拟机的网络链接。故障原因可能是出在这个地方。


解决步骤

    关于这个问题,网络上能搜索到许多贴子,解决办法也有很多种。什么重启,重新配置之类都有很多。但都没有最终解决虚拟网络链接的问题。


1,http://tieba.baidu.com/p/3508962695主要是参考了这个贴子里16楼提到的方法,因为故障的关键是在虚拟网络没有建立上。所以主要思考如何能够重新建立这个链接。

2,在以上的解决办法中,没有按照上边的一步一步来照着操作,而是直接下载了cc cleaner这个软件,因为通过之前的相关贴子,发现之所以虚拟网络链接无法建立,可能跟操作系统有关,而这一块又肯定与注册表有关。而这个软件主要是修改系统的相应注册表项。

3,当修复完相关的注册表项,查看网上邻居的属性页面,发现出现了与虚拟机相连的VMnet8的网络链接。然后通过属性页面,修改其IP为虚拟机的网关IP地址,同时DNS也设置为虚拟机上的DNS。


最后,再进行相关验证,在这里有一点需要注意,要把你主机的对外网络设置为可共享(相当于虚拟机通过共享上外网)。至此,故障解决!


故障反思

    任何故障的出现都是有原因的,在网络上都能够搜索到相关的信息。如何找到关键词,找到适合自己的相关内容很关键。同时要对故障产生的大概原因有一个前提判断,这样就是可以在正确的跑道上去寻找答案。首先要相信一点,是故障总是会被解决的。不要总想着重装系统来解决问题,这只是逃避问题的一种方案。多去思考,多去看前人的技术总结,会让你的技术思路有很大提升的。


故障二:在搭建好Hadoop集群后,namenode与datanode两个过程不能起来,或者一个启动之后另一个自动关闭


故障现像

    此故障可以算是在换电脑搭集群后最多的故障了,首先是从节点上相关进程都没起来,后来又是进程起来后从节点上datanode节点没起来,最后是datanode进程起来之后,主节点上namenode进程又没起来。此故障看起来一波三折,实际上在理解好相关原理后,解决起来要比第一个故障轻松一些。


解决思路

    原理为先:首先要找到对应关系,主节点上namenode主要是跟从节点上datanode相对应。

                                  主节点上jobtracker主要是跟从节点是tasktrack相对应。

    故障细分:1,从节点上进程起不来。2,datanode无法开启 3,namenode无法开启


解决步骤

    此故障在网上也是有很多攻略,在看完其他人的解决方法后。从理论联系实操分三步走来解决这个故障:


1,从节点上进程无法启动,这个问题较为简单。大部分是由于各虚拟机之间的防火墙没有关闭,而在真实的生产系统中。也表现来Linux之间的防火墙问题导致的HDFS集群不通。又或者是暂时性关闭防火墙,没有永久性关闭。具体的命令从网上都可以找到。

2,datanode无法开启,这里就要寻找你当初设置此集群时的六个文件,里边就有设置的相关参数。主要是在core-site.xml内,在这个里边,我们设置了相关临时文件夹,也相当于这个进程在开启之后是否与主节点需要通信。当把这里边建立的tmp文件夹删除之后,从节点上的datanode就可以顺利开启了。

3,namenode无法开启,由于从上边的原理上来看,datanode与namenode是相互依存的关系,而它们之间要启动肯定是同时启运的。不会一个开启,一个关闭。若是这样,那肯定另一个进程一会儿也会自动关闭。而控制两个进程之间同步的有时间戳消息。而这个消息主要是在logs日志里。当把hadoop安装目录下的logs全删除后。


然后,将全部进程停止,再全部重新启动。所有进程就都起来了。至此,故障解决!!


故障反思

    此故障解决起来,主要是要把原理搞明白。不然在看网上相关攻略的时候总是会找不到方法。多去思考背后的原因,多去总结,反思!提升自己解决问题的能力!


    经过这两个故障,更多的对Linux的基础命令熟悉了许多,同时对HDFS的相关设置也更加熟悉。在实践过程中,也遇到过:若是故障解决不了,要不要重新搭建的问题?后来想明白了。在网吧上网的年代,那些喊一声网管,电脑死机了。网管一般的解决办法就是重启。而重新搭建就跟网管的功能是一样的,遇到技术上的问题,不要逃避,多去思考,多去实践,才是提升你大数据技术实力的关键。


本文出自 “数据挖掘与可视化” 博客,转载请与作者联系!

大数据实践总结--两个故障的处理及思路总结

标签:大数据 实践

原文地址:http://bingyang.blog.51cto.com/533655/1968998

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!