【Linux】lsof命令实战：从网络连接到文件恢复的深度排查指南

1. 初识lsof：Linux系统里的"文件侦探"

第一次接触lsof是在处理服务器端口冲突问题时。当时Nginx服务死活启动不了，报错显示80端口已被占用，但用netstat查不到具体进程。一位老工程师轻描淡写地敲下lsof -i :80，瞬间就锁定了罪魁祸首——一个早已被遗忘的测试服务。这个经历让我明白，在Linux世界里，lsof就是那个能看穿一切的"文件侦探"。

Linux奉行"一切皆文件"的哲学，普通文档、目录、硬件设备、网络连接，甚至进程间通信的管道，都被抽象成文件。而lsof（list open files）正是查看这些"文件"状态的瑞士军刀。它能告诉你：

• 谁在读写某个重要配置文件
• 哪个进程霸占了网络端口
• 被删除的文件为什么还占用磁盘空间
• 特定用户正在运行哪些程序

与netstat、ps等命令不同，lsof提供的是文件视角的系统监控。比如当你想卸载磁盘时，lsof /mount_point能直接列出所有占用该挂载点的进程；当服务异常时，lsof -p PID可以检查进程打开了哪些异常资源。

2. 网络故障排查实战

上周处理过一个典型案例：某台服务器上的Java应用突然无法连接MySQL数据库。按照标准流程，我先用telnet db_host 3306测试连通性——失败。接着在数据库服务器执行：

lsof -i :3306

输出显示3306端口确实被mysqld进程监听。继续在客户端执行：

lsof -i -n -P | grep mysql

发现大量ESTABLISHED状态的连接，但目标端口竟是3307！原来有人修改了连接配置却未同步更新文档。这就是lsof比netstat更直观的地方——它能直接显示进程名和完整连接信息。

对于网络问题，我最常用的组合拳是：

1. 查看所有连接：lsof -i（比netstat -tulnp更详细）
2. 过滤TCP/UDP：lsof -i tcp或lsof -i udp
3. 定位端口冲突：lsof -i :8080
4. 检查ESTABLISHED连接：lsof -i -sTCP:ESTABLISHED

特别实用的技巧是用+r参数实时刷新，比如监控SSH连接：

lsof -i :22 -r 5 # 每5秒刷新一次

3. 文件与磁盘空间疑难杂症

遇到过最诡异的情况是：df显示磁盘空间不足，但du -sh统计目录大小却差很多。这就是典型的"文件被删除但进程仍占用"问题。用以下命令轻松解决：

lsof +L1 | grep deleted

输出示例：

java 1234 user 1w REG 8,2 1.5G 123456 /var/log/app.log (deleted)

这表示PID为1234的Java进程仍在向已删除的app.log写入数据。解决方法要么重启进程，要么通过/proc/1234/fd/1恢复文件。

其他实用场景：

• 查找文件使用者：lsof /path/to/file
• 监控目录活动：lsof +D /tmp（注意大写D会递归子目录）
• 查看进程文件操作：lsof -p PID（特别关注FD列中的mem和txt）

4. 进程级深度排查技巧

去年排查过一个内存泄漏问题：某服务运行一周后必然OOM。用lsof发现了蛛丝马迹：

lsof -p $(pgrep service_name) -a -d mem

输出中不断增长的mem类型文件描述符，指向了未关闭的内存映射文件。配合-a（AND逻辑）参数可以组合多种条件：

• 特定进程+网络：lsof -p 1234 -a -i
• 用户+命令：lsof -u www-data -a -c nginx
• 文件类型+大小：lsof -t /dev/sda1 -a +L1

对于Java应用，我常用这个命令查看JVM加载的jar包：

lsof -p $(pgrep java) | grep '\.jar$'

5. 数据恢复与特殊技巧

最惊险的一次是误删了正在使用的数据库备份文件。多亏lsof，通过以下步骤成功恢复：

1. 找出持有文件的进程：

   lsof | grep '/backup/db.sql'

2. 从/proc目录复制：

   cp /proc/5678/fd/15 /backup/db.sql.recovered

其他救命技巧：

• 查看登录用户活动：lsof -u username（配合grep cwd看工作目录）
• 排查无法卸载的设备：lsof /mount/point
• 分析启动问题：lsof /var/log/boot.log

6. 性能优化与安全防护

在大负载服务器上，裸跑lsof可能导致短暂卡顿。我的优化经验是：

1. 精确过滤：尽量用-p、-u等限定范围
2. 使用-t简化输出：lsof -t -i :80只返回PID
3. 避免解析：-n禁用主机名解析，-P禁用端口名转换

安全方面，定期检查这些可疑项很有必要：

# 检查非root用户的敏感文件访问 lsof -u ^root /etc/passwd # 查找隐藏的socket连接 lsof -i -n | grep 'hidden_socket' # 监控/tmp目录异常 lsof +D /tmp | grep -v 'postgres\|mysql'

7. 生产环境经典案例

分享两个真实案例：

案例一：某电商大促期间，订单服务突然变慢。用lsof -i -nP发现大量CLOSE_WAIT状态的连接，结合lsof -p PID -a -i定位到是连接池配置不当导致。

案例二：服务器报警磁盘空间不足，但常规检查无果。最终用lsof +L1发现被删除的20GB日志文件，通过/proc恢复后优雅重启服务。

这些经验让我总结出一个排查流程：

1. 先用lsof -i查网络
2. 再用lsof +L1查幽灵文件
3. 最后用lsof -p深入进程

8. 组合命令的高级玩法

真正发挥lsof威力的是与其他命令组合：

# 统计各进程打开文件数 lsof -n | awk '{print $1}' | sort | uniq -c | sort -nr # 杀死占用端口的进程 kill -9 $(lsof -t -i :8080) # 监控文件变化 watch -n 1 'lsof /var/log/nginx/access.log'

对于复杂分析，可以输出到文件后处理：

lsof -n -i -F > network.txt # 然后使用grep/awk等解析

记住几个常用过滤模式：

• lsof -d 1-10：查看FD 1到10的文件
• lsof -a -d txt -c java：查看Java进程加载的代码文件
• lsof -a -i -u root：查看root用户的网络连接

掌握lsof就像获得了Linux系统的X光透视能力。从最初的端口排查到现在的全链路分析，它始终是我工具箱里使用频率最高的命令之一。建议在日常运维中养成"遇事不决lsof"的习惯，很多看似复杂的问题往往就是一条lsof命令的距离。