Ansible中文权威指南鸟哥的linux私房菜AWK使用手册Centos的epel源下载Ceph国内社区ChinaUnix运维文库Confluence和Jira中文演示站点Django基础教程Docker-https://hub.docker.comDocker官方镜像下载Docker基础学习Docker教程-从入门到实践Docker中文社区Gitlab中文官方网站Git基础教程Hadoop运维
分类：
系统相关 时间：
2018-11-14 19:16:24
阅读次数：
284
从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
分类：
其他好文 时间：
2018-07-31 17:27:47
阅读次数：
176
最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos 6, 新机房加的机器是centos 7。一、丢包问题在跨机房的时候，datanode显示很多Slow BlockReceiver的日志WARN org.apache.hadoop.hdfs.server.datanod
分类：
其他好文 时间：
2018-07-13 16:21:59
阅读次数：
251
Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell..
分类：
其他好文 时间：
2017-11-03 11:06:44
阅读次数：
147
运维工作解释 2017/3/9 PC小记：《运维之下》的文档作者对运维工作的解释清晰明了，有利于工作的划分和职业的规划，因而值得整理后分享。 https://github.com/opera443399/ops/tree/master/doc/ARCHITECTURE/ops 【Q】：如何开展运维工 ...
分类：
其他好文 时间：
2017-03-12 18:14:19
阅读次数：
380
1、Namenode岩机处理:重启集群无法恢复的情况下 一般NameNode情况下是不会岩机的，但如果出现违规操作，如突然断电等就会造成NameNode镜像文件的损坏，重启就起不来了。hdoop1的一个设计不好的地方就是单机依赖，对NameNode这台机器依赖太高，一旦NameNode出现岩机整个集 ...
分类：
其他好文 时间：
2016-06-10 16:14:44
阅读次数：
210
1.处理hadoop的namenode宕机 处理措施：进入hadoop的bin目录，重启namenode服务 操作命令：cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施：进...
分类：
其他好文 时间：
2015-09-26 17:19:36
阅读次数：
162
应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。Active的namenode元数据硬盘满了，满了，满了...上来第一句话就如雷贯耳。运维人员发现硬盘满了以后执行了对activenameno..
分类：
其他好文 时间：
2015-08-28 21:44:10
阅读次数：
348
坐标：北京
职位：
技术研发类:搜索研发工程师 支付风险控制/数据挖掘
广告研发工程师 图像处理工程师
技术研发类:自然语言处理工程师 数学建模工程师
机器学习/数据挖掘 PHP开发工程师
技术研发类:Hadoop数据研发工程师 检索/存储架构工程师
前端开发工程师 即时通讯(IM)（C++）
技术研发类:JAVA研发工程师 安全工程师
Hadoop运维工程师 DBA开发工程师
...
分类：
其他好文 时间：
2015-05-27 22:51:33
阅读次数：
360
早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全..
分类：
其他好文 时间：
2015-04-30 20:28:43
阅读次数：
150
