标签:ocs rest rnn 服务 cdh conf guid mic 详细信息
早上看CDH发现有一个nodemanager挂掉
然后查看对应的日志。 发现在日志里面并没有错误。,然然后发现服务器的磁盘满了,赶紧清理磁盘空间
清理磁盘的时候发现主要是/tmp目录下面生成了很多
类似这种的日志。
清理完空间之后 重启nodemanager。发现还是启不来
到这里之后发现就停住了。。。。然后CDH页面就挂了nodemanager还是起不来。
继续查看
发现8042端口注册不上。 然后继续追述上个日志 只要nodemanager启动就会recovering application
所以 find 一下
find /* -name *application application_1560341746674_1515*
发现 /data/yarn/nm/usercache/root/appcache/* 目录下面很多 类似的文件,时间为头一天晚上7点过,继续看zabbix监控 发现
内存不足,
然后晚上九点过显示磁盘空间不足,解决办法
rm -fr /data/yarn/nm/usercache/*
删除cache之后 重启nodemanager正常
并且删除
/var/lib/hadoop-yarn/yarn-nm-recovery/*
问题分析:由于这台机器上跑大任务,导致内存不足,内存不足 yarnnodemanager会一直报警写到 /tmp目录下,产生很多大文件,进而导致磁盘不足,
删除/tmp 下面的日志之后 启动node 但是一直起不来,yarn会去cache里面 recovering任务,但是这些任务已经过时导致一直起不来,解决办法就是删除这些cache
详细信息可以参考
https://mapr.com/docs/61/AdministratorGuide/c-config-nodemanager-restart.html
标签:ocs rest rnn 服务 cdh conf guid mic 详细信息
原文地址:https://www.cnblogs.com/ZFBG/p/11135425.html