码迷,mamicode.com
首页 > 其他好文 > 详细

工作日记:Hadoop客户端配置需与集群节点保持一致

时间:2017-01-07 21:31:15      阅读:103      评论:0      收藏:0      [点我收藏+]

标签:hadoop

昨天因为datanode出现大规模离线的情况,初步判断是dfs.datanode.max.transfer.threads参数设置过小。于是将所有datanode节点的hdfs-site.xml配置文件都作了调整。重启集群后,为了验证,试着运行一个作业,在jobhistory中查看该作业的configuration,令人意外的是,显示的居然还是旧的值,也就是说,作业还是用旧的值运行的,明明所有datanode节点已经做了配置文件的更新了啊。


忽然间想起,hadoop作业的调度是由另外一台集群外的机器发起的,这台机的配置文件并没有更新。会不会是在作业发起的时候,读取的是这台客户端机器的hadoop配置呢?去更改这台客户机配置后再测试,新的作业果然使用了新配置的值了。


从这个事情上看,估计hadoop配置文件看来并不完全是由namenode、datanode等守护进程读取,有部分配置项其实是由发起作业的客户端读取,并传递到hadoop的job中并影响作业运行的。因此如果hadoop调度是由集群外机器发起,切记将发起机器的配置文件与集群配置文件保持一致,以避免各种莫名其妙的问题。


PS:以上结论只是根据实践进行的推测,后续要再根据资源查证确认。

本文出自 “大数据学习探索” 博客,请务必保留此出处http://bigdata1024.blog.51cto.com/6098731/1889993

工作日记:Hadoop客户端配置需与集群节点保持一致

标签:hadoop

原文地址:http://bigdata1024.blog.51cto.com/6098731/1889993

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!