一、概要公司近期Storm清洗程序那边反应HDFS会出现偶发性的异常导致数据写不进HDFS,另外一些Spark作业在大规模往HDFS灌数据时客户端会出现各种“alldatanodebad..”以及服务端出现各种timeout,值得注意的是出现这样的问题是各个datanode节点的负载并不高!二、故障分析首先,..
分类:
编程语言 时间:
2015-08-13 20:20:37
阅读次数:
191
硬盘在服务器中起着至关重要的作用,对于硬盘的管理是IAAS部门的责任,但作为业务运维也需要懂得相关的技术。
可以采用LVM或裸盘来管理硬盘,用裸盘的好处是节省了硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。...
分类:
其他好文 时间:
2015-08-11 16:15:17
阅读次数:
442
《机器学习实战》之K-均值聚类算法的python实现最近的项目是关于“基于数据挖掘的电路故障分析”,项目基本上都是师兄们在做,我只是在研究关于项目中用到的如下几种算法:二分均值聚类、最近邻分类、基于规则的分类器以及支持向量机。基于项目的保密性(其实也没有什么保密的,但是怕以后老板看到我写的这篇博文,所以,你懂的),这里就不介绍“基于数据挖掘的电路故障分析”的思路了。废话不多说了,开始正题哈。...
分类:
编程语言 时间:
2015-07-28 23:20:37
阅读次数:
646
前几天接一个客户电话,PPPoE下用户异常掉线,掉线后拨号困难到达后,我首先查看PPPoE日志,发现一秒钟内有大量PADI包,浪费服务器的SESSION,同时让服务器无法处理其他用户的请求。打开Wireshark后,发现用户使用协靠的MAC地址,就是自定义数据包,来发送数据这种大量的PPPoE请求,...
分类:
其他好文 时间:
2015-07-15 10:49:05
阅读次数:
276
文章来源:《https://www.centos.bz/2015/04/handle-nginx-write-io-problem/》故障现象突然收到一台服务器负载过高告警,紧接着网站打开缓慢。故障分析1、登录服务器,使用top命令看到Cpu行的iowait达到了70%以上,所以断定是IO负载过高的...
分类:
其他好文 时间:
2015-07-11 14:52:30
阅读次数:
146
环境是,域控+exchange2010server+edge边缘服务器的邮件系统。故障现象:某个内网邮箱以前可以收发外网邮件,现在突然不能收发外网邮件了。故障分析:分析最近对服务器做了那些操作。解决办法:原来是自己更改了设置,没有留意这个内网邮箱用户加了多个通讯组,通讯组有交叉,..
分类:
其他好文 时间:
2015-07-04 01:07:54
阅读次数:
152
故障现象把hosts文件指向CAS服务器,下载通讯薄卡在进度界面,没有反应,也不报错。=======================================================故障分析通过运行客户端autodiscover自动发现,可以找到OAB的虚拟目录地址https://mail.contoso.cn/OAB/627acf4f-05f5-4f31-b73f-22f..
分类:
其他好文 时间:
2015-06-21 23:55:05
阅读次数:
311
作为一名从事Linux运维行业多年的运维人员,分享一下曾经在运维过程中遇到过的荆手的故障分析,供大家分享,如果你在使用云计算中有什么问题,可以根据以下方式来查找? 遇到服务器故障,问题出现的原因很少可以一下就...
分类:
其他好文 时间:
2015-06-19 10:42:10
阅读次数:
149
互联网安全越来越严峻
自从windowsxp停止更新维护后,世界范围内的安全事件就层出不穷,几乎一发不可收拾。
windows漏洞很多,入侵windows服务器基本上不是问题,所以安全事件不可避免。
linux最近爆出很多漏洞,还有很多漏洞未爆出。
感觉unix比较安全,比如sinox操作系统。但是只是操作系统层面安全还不够,应用程序安全跟操作系统无关。
应用程序的漏洞,随着应用...
分类:
其他好文 时间:
2015-06-03 23:30:27
阅读次数:
162
今天对测试库发出shutdownimmediate命令后观察日志发现如下内容:TueMay1209:52:452015SHUTDOWN:Activeprocessespreventshutdownoperationshutdown被活动的进程阻止了,Ctrl+C无法中断当前回话,退出重连服务器,打开新的会话:[oracle@021Y-SH-BKAP~]$sqlplus/assysdba
SQL*Pl..
分类:
数据库 时间:
2015-05-12 11:38:45
阅读次数:
146