概述

遇到服务器故障，问题出现的原因很少可以一下就能找到。我们基本上都会从以下步骤入手：

  • 搞清楚问题的前因后果
  • 有谁在服务器上？
  • 故障发生之前发生了什么？
  • 当前运行的进程有哪些？
  • 监听的网络服务有哪些？
  • 查看cpu、内存、磁盘使用情况
  • 查看硬件情况
  • 查看I/O性能
  • 查看挂载点和文件系统
  • 查看内核、中断和网络
  • 查看系统日志和内核消息
  • 查看定时计划情况
  • 查看具体应用的系统日志

搞清楚问题的前因后果

必须搞清楚的问题有：

  • 故障的表现是什么？无响应？报错？
  • 故障是什么时候发现的？
  • 故障是否可重现？
  • 有没有出现的规律（比如每小时出现一次）
  • 最后一次对整个平台进行更新的内容是什么（代码、服务器等）？
  • 故障影响的特定用户群是什么样的(已登录的, 退出的, 某个地域的…)？
  • 基础架构（物理的、逻辑的）的文档是否能找到?
  • 是否有监控平台可用？（比如Nagios、Zabbix等）
  • 是否有日志可以查看？ （比如rsyslog、ELK）

最后两个是最方便的信息来源，不过别抱太大希望，基本上它们都不会有，只能再继续摸索了。

有谁在服务器上？

用这两个命令看看都有谁在线，有哪些用户访问过。这不是什么关键步骤，不过最好别在其他用户正干活的时候来调试系统。

1
2
w
last

故障发生之前发生了什么？

查看一下之前服务器上执行过的命令。如果有堡垒机，能查看命令的操作记录就更好了。

1
history

当前运行的进程有哪些？

1
2
3
pstree -a
ps -ef
ps -aux

监听的网络服务有哪些？

1
2
3
4
5
6
7
8
9
10
11
# 查看tcp端口
netstat -lntp

# 查看udp端口
netstat -lnup

# 查看unix
netstat -lnxp

# 查看当前连接的端口
netstat -ant

查看cpu、内存、磁盘使用情况

注意以下问题:

  • 还有空余的内存吗？服务器是否正在内存和硬盘之间进行swap？
  • 还有剩余的CPU吗？服务器是几核的？是否有某些CPU核负载过多了？
  • 服务器最大的负载来自什么地方? 平均负载是多少？
1
2
3
4
5
6
# 查看内存
free -m

# 查看cpu、内存等使用情况
top
htop

查看硬件情况

  • RAID卡、CPU、空余的内存插槽。根据这些情况可以大致了解硬件问题的来源和性能改进的办法。
  • 网卡是否设置好? 是否正运行在半双工状态? 速度是10MBps? 有没有 TX/RX 报错?
1
2
dmidecode | more
ethtool eth0

查看I/O性能

1
2
3
4
iostat -kx 2
vmstat 2 10
mpstat 2 10
dstat --top-io --top-bio

这些命令对于调试后端性能非常有用，

  • 检查磁盘使用量：服务器硬盘是否已满？
  • 是否开启了swap交换模式 (si/so)？
  • CPU被谁占用：系统进程？用户进程？虚拟机？
  • dstat 可以看到谁在进行 IO： 是不是MySQL吃掉了所有的系统资源？还是你的PHP进程？

查看挂载点和文件系统

1
2
3
4
5
6
7
mount
cat /etc/fstab
vgs
pvs
lvs
df –h
lsof +D /

通过上面的命令我们可以得到以下信息，

  • 一共挂载了多少文件系统?
  • 有没有某个服务专用的文件系统? (比如MySQL?)
  • 文件系统的挂载选项是什么： noatime? default? 有没有文件系统被重新挂载为只读模式了？
  • 磁盘空间是否还有剩余?
  • 是否有大文件被删除但没有清空?
  • 如果磁盘空间有问题，你是否还有空间来扩展一个分区？

查看内核、中断和网络

1
2
3
4
5
sysctl -a | grep *
cat /proc/interrupts
cat /proc/net/ip_conntrack
netstat -an
ss –s
  • 你的中断请求是否是均衡地分配给CPU处理，还是会有某个CPU的核因为大量的网络中断请求或者RAID请求而过载了？
  • SWAP交换的设置是什么？对于工作站来说swappinness 设为 60 就很好, 不过对于服务器就太糟了：你最好永远不要让服务器做SWAP交换，不然对磁盘的读写会锁死SWAP进程。
  • conntrack_max 是否设的足够大，能应付你服务器的流量?
  • 在不同状态下(TIME_WAIT, …)TCP连接时间的设置是怎样的？
  • 如果要显示所有存在的连接，netstat 会比较慢， 你可以先用 ss 看一下总体情况。

查看系统日志和内核消息

1
2
3
4
dmesg
less /var/log/messages
less /var/log/secure
less /var/log/auth

通过上面的命令我们会得到以下信息，

  • 查看错误和警告消息，比如看看是不是很多关于连接数过多导致？
  • 看看是否有硬件错误或文件系统错误？
  • 分析是否能将这些错误事件和前面发现的疑点进行时间上的比对。
  • 查看是否有应用程序OOM。

查看定时计划情况

1
2
3
4
5
# 查看当前用户的定时计划
crontab -l 

# 查看系统定时计划
cat /etc/crontab
  • 是否有某个定时任务运行过于频繁？
  • 是否有些用户提交了隐藏的定时任务？
  • 在出现故障的时候，是否正好有某个备份任务在执行？

查看具体应用的系统日志

  • 查看当前服务器运行的应用程序的日志是否存在报错和告警。
  • 若有ELK或者日志系统，可以再日志系统中查找故障发生时的日志情况。