fishzzz

网站服务器 CPU 突然跑满、网站变卡:怎么一步步排查

服务器与运维更新于 约 1500 字

CPU 跑满只是结果,原因可能是正常流量涨了,也可能是被刷、被攻击、中了挖矿木马。先找到是哪个进程在用 CPU,再看是什么请求让它这么忙

CPU 跑满的排查顺序
  1. 找进程top 看是 PHP、MySQL 还是陌生进程
  2. PHP 高查日志按 IP、URL、UA 统计请求
  3. MySQL 高查慢查询processlist 和慢日志
  4. 陌生进程查挖矿进程路径、计划任务、启动项
  5. 止血封 IP、限速、开缓存
  6. 看配置是否合理进程数、内存、机器规格

第一步:找到是哪个进程

SSH 登上服务器,运行 top,按大写的 P 按 CPU 排序。看排在前面的是什么

  • php-fpm 或 php-cgi:网站代码在大量执行,多半是请求太多,看第二步
  • mysqld:数据库在做大量查询,看第三步
  • 名字奇怪的进程(随机字母、伪装成系统进程名、在 /tmp 目录下运行):很可能是挖矿木马,看第四步
  • Windows 服务器:打开任务管理器的详细信息页,或者用资源监视器,看 w3wp、php-cgi、sqlservr 哪个占用高

第二步:PHP 占满,查是谁在请求

统计访问日志里请求最多的 IP、网址和 User-Agent

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
awk '{print $7}' access.log | sort | uniq -c | sort -rn | head -20

常见的几种情况

  • 垃圾评论机器人:大量 POST 请求 wp-comments-post.php,数据库里堆了几万条待审评论。关闭不需要的评论功能,或者加验证
  • 暴力破解:大量请求 wp-login.php 和 xmlrpc.php,参考暴力破解那篇
  • 恶意爬虫和采集:同一个 UA 或同一批 IP 段在高速翻页,特别是搜索页、筛选页这种不走缓存的动态页面
  • 带随机参数刷页面:网址后面带着随机字符串,比如 /?abc123,每次都绕过缓存直达 PHP。我处理过一个站被这样刷,带宽和 CPU 都被打满,最后在 Nginx 里对带陌生参数的请求直接返回 444
  • CC 攻击:大量不同 IP 请求同一个耗资源的页面,需要在 CDN 或防火墙层面挡

止血

  • 把刷量最多的 IP 或 IP 段加进防火墙黑名单
  • 给容易被刷的页面加限速
  • 打开整页缓存,让大部分请求不经过 PHP
  • 网站有 CDN 的话开启 CC 防护

第三步:MySQL 占满,查慢查询

登录 MySQL 运行 SHOW FULL PROCESSLIST;,看正在执行的查询。如果有很多相同的查询长时间处于执行状态,就是它们在拖累

  • WooCommerce 的商品筛选、搜索在大数据量下没有索引
  • wp_options 里自动加载的数据太大
  • 某个插件在每个请求都做一次全表扫描
  • 数据库被大量垃圾数据撑大,比如几十万条垃圾评论、日志表、过期的临时数据

打开慢查询日志可以记录下所有执行超过 1 秒的语句,找到是哪个插件发出的再处理

第四步:陌生进程,排查挖矿木马

挖矿木马的特征是 CPU 长期接近 100%,杀掉进程后过一会又出现

  1. 用 ls -l /proc/进程号/exe 看程序真实路径
  2. 检查 crontab -l(包括 root 和 www 用户)和 /etc/cron.d/,挖矿木马几乎都会留定时任务
  3. 检查 /etc/rc.local、systemd 服务、~/.bashrc 这些开机自启位置
  4. 检查 ~/.ssh/authorized_keys 有没有被加入陌生公钥
  5. 先删定时任务和启动项,再杀进程删文件,顺序反了它会自己恢复

清理完要查清楚是怎么进来的:弱密码的 SSH、对公网开放的 Redis、面板弱口令、网站漏洞,都是常见入口

第五步:看配置是不是本来就不合理

有时候没有攻击,只是配置和机器规格不匹配

  • PHP-FPM 进程数开太多:每个进程占几十 MB 内存,开到 80 个,3.5G 内存直接撑爆,系统开始杀进程,MySQL 往往第一个被杀
  • 机器规格太小:1 核 2G 跑 WooCommerce 加十几个插件,正常流量也会吃紧
  • 没有 swap:内存一满立即杀进程,加一点 swap 可以缓冲

按「可用内存除以单个 PHP 进程的平均内存」来算进程上限,再留出 MySQL 的部分

排查完要留后手

  • 装一个简单的监控,CPU 或内存持续高时发通知
  • 保留访问日志至少 30 天
  • 关键服务(MySQL、PHP)设置异常退出后自动拉起

CPU 一直降不下来、或者查到陌生进程不知道怎么清,可以把情况发我看看

把情况发我,先免费看一眼

不用先付钱。我看完直接告诉你问题在哪、能不能做、要多久

先免费判断改动前完整备份工程师本人对接淘宝担保交易

周一至周日 09:00 – 22:00

每天 09:00 – 22:00 在线

微信二维码扫码加微信fishzzz233 淘宝店铺二维码手机淘宝扫码平台担保交易

先免费判断,再决定做不做每天 09:00 – 22:00 · 一般 1 小时内回复

淘宝下单平台担保交易