1. 项目概述当警报响起你该如何应对深夜手机突然响起刺耳的告警铃声。你睡眼惺忪地抓起手机屏幕上赫然显示着一条来自监控系统的告警“服务器CPU使用率异常飙升疑似恶意进程”。或者你刚上班就接到业务部门的电话“网站访问特别慢而且弹出了奇怪的页面。” 作为一名运维工程师、系统管理员甚至是刚入行的安全新人这种场景可能就是你的“日常”。面对一个可能已被入侵的Linux服务器你的第一反应是什么是慌乱地重启服务还是手足无措地四处翻看日志这就是Linux安全事件应急响应要解决的问题。它不是一个高深莫测的理论而是一套在安全事件发生后为了止损、定位、根除和恢复而必须执行的标准化动作集合。你可以把它想象成数字世界的“急救术”。当系统“生病”甚至“受伤”时你需要立刻判断伤势影响范围止血遏制攻击诊断病因溯源分析最后进行治疗和康复清除后门、修复漏洞、恢复业务。本篇文章就是为你准备的一份详尽的“急救手册”。无论你是想系统学习安全技能的爱好者还是需要应对实际生产环境挑战的工程师掌握这些基础必备技能都能让你在真正的安全事件面前从“被动挨打”转变为“有序应对”。2. 应急响应核心流程与核心思想在深入具体命令和技巧之前我们必须先建立正确的应急响应“世界观”。盲目地敲命令就像无头苍蝇效率低下且可能破坏现场。一个清晰的流程是行动的指南针。2.1 应急响应生命周期模型一个完整的应急响应过程通常遵循一个经典的PDCERF模型或其变种。我们可以将其简化为更适合个人或中小团队操作的四个核心阶段准备阶段这是平时就要做的工作。包括制定应急预案、准备工具包如干净的U盘、离线分析工具、确保日志配置完备、对关键系统进行备份。俗话说“养兵千日用兵一时”准备是否充分直接决定了事件发生时的响应速度和质量。检测与确认阶段收到告警或异常报告后首要任务是确认是否真的发生了安全事件。需要避免“狼来了”的误报消耗精力也要警惕那些悄无声息的真实入侵。这个阶段需要快速收集初步信息如异常进程、陌生网络连接、突增的日志量等做出初步判断。遏制、根除与恢复阶段这是技术对抗的核心。遏制立即采取措施防止影响扩大。例如将被入侵主机从网络中断开拔网线或修改防火墙策略暂停受影响的服务修改相关账号密码。根除在备份或镜像环境中彻底分析攻击路径找到并清除所有植入的后门、恶意软件、攻击者创建的账号等。恢复在确认系统干净后将业务从备份中恢复或修复受损的系统文件并安全地重新上线服务。总结与改进阶段事件平息后必须进行复盘。回答几个关键问题攻击是如何发生的漏洞利用点为什么没能阻止防御短板我们的响应过程有哪些可以优化流程改进并据此更新安全策略、修补漏洞、完善监控。核心思想提示在整个过程中保护现场和避免打草惊蛇至关重要。在确认需要深入分析前尽量避免在受害主机上使用攻击者可能监控的命令如w,last或者直接修改/删除可疑文件。优先考虑制作内存镜像和磁盘镜像在隔离环境中进行分析。2.2 搭建你的应急响应工具箱工欲善其事必先利其器。在事件发生前就应该在一个干净的、可信的介质上准备好你的工具集。我强烈建议准备一个便携的USB启动盘里面包含一个轻量级的Linux发行版如Kali Linux或自定义的Debian Live并预装好以下工具系统状态收集工具pspy: 一个无需root权限即可查看进程启动的命令行工具非常适合检测短时进程。linPEAS/linux-exploit-suggester: 本地提权检测和系统信息枚举脚本能快速发现配置缺陷和潜在漏洞。lynis: 开源的安全审计工具可以进行全面的系统健康检查。取证分析工具dd/dcfldd: 用于磁盘和内存的原始镜像获取。Volatility(内存取证框架): 如果条件允许获取内存镜像后用于分析进程、网络连接、命令行历史等。The Sleuth Kit (autopsy GUI界面)**: 用于分析磁盘镜像恢复文件查看时间线。网络分析工具tcpdump: 命令行下的网络抓包神器。Wireshark: 图形化网络协议分析工具用于深度分析网络流量。恶意软件分析工具chkrootkit/rkhunter: 经典的Rootkit检测工具。ClamAV: 开源杀毒引擎用于扫描已知病毒和恶意文件。YARA: 模式匹配工具可以通过编写规则来识别恶意软件家族。将工具放在U盘里是为了确保你使用的分析工具本身是干净、未被篡改的。直接从被入侵的系统上下载或安装工具存在风险。3. 入侵排查实战从异常现象到问题定位现在我们假设已经登录到一台疑似被入侵的Linux服务器在做好隔离的前提下。你的眼睛就是扫描器以下是一套系统性的排查路径。3.1 账号与权限攻击者的立足点攻击者入侵后为了持久化控制通常会创建隐藏账号、提升现有账号权限或窃取高权限账号。排查点1检查特权用户除了root任何UID为0的用户都拥有超级用户权限这是极度危险的。# 查看UID为0的用户 awk -F: $30{print $1} /etc/passwd正常情况下应该只有root。如果出现了toor,admin,super等或者看起来像普通用户名但UID是0立即拉响警报。排查点2检查可远程登录的账号查看/etc/shadow文件密码字段为!或!!表示密码被锁定无法登录为*表示是系统服务账号为空或包含$1$(MD5),$5$(SHA-256),$6$(SHA-512) 等哈希值的才是可以登录的账号。# 查看密码字段不为空且未被锁定的用户即可能登录的用户 awk -F: ($2 ! !! $2 ! ! $2 ! *){print $1} /etc/shadow结合/etc/ssh/sshd_config查看是否允许密码登录、允许的用户/用户组重点关注是否有不熟悉的账号被加入AllowUsers。排查点3检查sudo权限攻击者可能给一个普通账号添加了sudo权限以便随时获取root权限。# 查看拥有sudo权限的用户 grep -v ^#\|^$ /etc/sudoers | grep ALL(ALL) # 或者查看/etc/sudoers.d/目录下的所有文件 ls -la /etc/sudoers.d/ cat /etc/sudoers.d/*留意任何非管理员的普通业务账号。排查点4检查最近登录和当前登录# 查看当前登录用户及来源IP w # 或 who -a # 查看所有用户最近登录记录重点看来源IP和时间 last -ai # 查看失败的登录尝试爆破痕迹 lastb特别关注来自异常地理位置、非办公时间或陌生IP的登录记录。实操心得攻击者可能会清理last和lastb的日志通过清空/var/log/wtmp和/var/log/btmp。因此结合网络设备如防火墙、堡垒机的日志进行交叉验证至关重要。另外检查/var/log/secureRHEL/CentOS或/var/log/auth.logDebian/Ubuntu中的SSH登录成功/失败记录是更可靠的方法。3.2 进程与网络攻击者的活动现场恶意进程和异常网络连接是攻击者正在活动的直接证据。排查点1检查异常网络连接使用netstat或更现代的ss命令。# 查看所有TCP/UDP连接并显示进程名 netstat -antp # 或者使用ss速度更快 ss -antp重点关注不常见的端口特别是高位端口如 4444, 5555, 6666等上的监听。外部IP连接服务器上不应该有大量对外部IP尤其是海外IP的主动连接。可疑进程名连接对应的进程名是否奇怪如bash、sh、curl、wget在持续监听端口或者进程名伪装成[kthreadd]、[ata_sff]等内核线程通常用方括号括起。排查点2定位进程的可执行文件发现可疑PID例如 1234后追查其本源。# 查看进程启动命令可能被攻击者篡改 cat /proc/1234/cmdline | xargs -0 echo # 查看进程实际执行的文件路径更可靠 ls -l /proc/1234/exe # 如果exe显示为deleted说明文件已被删除但进程还在运行这是恶意软件的常见手法。 # 查看进程打开的文件 lsof -p 1234如果/proc/1234/exe指向/tmp、/dev/shm等临时目录下的一个已删除文件这几乎可以断定是恶意进程。排查点3检查隐藏进程高级的Rootkit会隐藏进程。可以通过对比ps输出和/proc目录列表来发现。# 列出所有/proc下的数字目录每个目录对应一个PID ls -d /proc/[0-9]* | cut -d/ -f3 | sort -n proc_list.txt # 获取ps看到的PID列表 ps -eo pid | tail -n 2 | sort -n ps_list.txt # 比较差异 diff proc_list.txt ps_list.txt如果proc_list.txt中有PID不在ps_list.txt中那么这个进程很可能被隐藏了。3.3 文件与痕迹攻击者的藏身之处攻击者会留下或修改文件以实现持久化或窃取数据。排查点1检查系统关键文件完整性使用rpmRHEL系或dpkgDebian系验证系统文件是否被篡改。# RHEL/CentOS/Fedora rpm -Va /tmp/rpm_verify.log 21 # 查看验证结果关注/bin, /sbin, /usr/bin等目录下关键命令的异常 grep -E ^..5.* /(bin|sbin|usr/bin|usr/sbin) /tmp/rpm_verify.log输出中S表示文件大小改变5表示MD5校验值改变内容被改T表示修改时间变化。例如如果/usr/bin/ls的校验值变了说明它可能被替换成了木马。排查点2查找近期被修改的可疑文件# 查找过去24小时内被修改过的所有文件从根开始但排除/proc, /sys等虚拟文件系统 find / -type f -mtime -1 ! -path /proc/* ! -path /sys/* 2/dev/null | head -50 # 查找过去3天内被修改的且权限为777的敏感文件 find / -type f -perm 777 -mtime -3 2/dev/null # 在Web目录中查找最近新增的PHP、JSP等可执行脚本 find /var/www/html -name *.php -mtime -1 2/dev/null排查点3查找隐藏文件和目录以.开头的文件/目录是隐藏的攻击者喜欢用。# 查找所有隐藏目录 find / -type d -name .* 2/dev/null | grep -vE /\.(\.)?$ # 在/tmp, /dev/shm等临时目录查找可疑文件 ls -la /tmp/ ls -la /dev/shm/排查点4查找可能的WebShellWebShell通常存在于Web根目录下文件名可能具有迷惑性。# 在Web目录中搜索包含特定危险函数的文件 grep -r eval\|base64_decode\|system\|passthru\|shell_exec /var/www/ --include*.php 2/dev/null # 使用专用工具扫描如河马WebShell查杀工具 # 假设已将扫描工具上传至服务器 ./hm scan /var/www/html3.4 自启动与定时任务攻击者的持久化机制为了在系统重启后依然能保持控制攻击者会设置各种自启动项。排查点1检查系统服务# 查看所有开机自启动的服务 systemctl list-unit-files --stateenabled # 或者使用老式的chkconfigSysVinit系统 chkconfig --list | grep 3:on\|5:on仔细检查列表中是否有陌生的、名字模仿合法服务如networksvsnetwork的服务。排查点2检查定时任务这是攻击者最常用的持久化手段之一。# 查看系统级定时任务 cat /etc/crontab ls -la /etc/cron.d/ /etc/cron.daily/ /etc/cron.hourly/ /etc/cron.monthly/ /etc/cron.weekly/ # 查看每个用户的定时任务重点 for user in $(cut -f1 -d: /etc/passwd); do echo Crontab for $user ; crontab -l -u $user 2/dev/null; done重点关注/etc/cron.d/下的非系统自带文件以及root用户和Web服务用户如www-data, nginx, apache的定时任务。任务内容是否在下载远程脚本、执行/tmp下的文件等。排查点3检查其他自启动位置/etc/rc.local: 系统启动最后执行的脚本。/etc/profile,/etc/bashrc,~/.bash_profile,~/.bashrc: 用户登录时执行的脚本可能被植入恶意命令。~/.ssh/authorized_keys: 是否被添加了攻击者的公钥以实现免密登录。某些特定软件的自启动配置如supervisord,docker容器的restart policy等。4. 日志分析追踪攻击者的足迹系统日志是还原攻击时间线的关键证据。但攻击者往往会清理日志所以需要多源印证并优先查看受保护或远程传输的日志。4.1 关键日志文件定位认证相关/var/log/secure(RHEL/CentOS) //var/log/auth.log(Debian/Ubuntu):重中之重。记录所有认证事件如SSH登录、sudo提权、用户创建删除等。系统与内核消息/var/log/messages(RHEL/CentOS) //var/log/syslog(Debian/Ubuntu): 记录系统级通用信息。/var/log/kern.log: 内核日志记录硬件、驱动相关事件。计划任务/var/log/cron: 记录cron任务执行情况。Web服务/var/log/nginx/access.log,/var/log/nginx/error.log(Nginx)/var/log/apache2/access.log,/var/log/apache2/error.log(Apache)二进制日志需专用命令查看/var/log/wtmp(查看登录成功历史):last -f /var/log/wtmp/var/log/btmp(查看登录失败历史):lastb -f /var/log/btmp/var/log/lastlog(查看所有用户最后登录时间):lastlog4.2 实战日志分析命令假设我们怀疑有SSH暴力破解和成功入侵分析/var/log/secure场景1分析SSH暴力破解# 1. 统计哪些IP在爆破SSH按尝试次数排序 grep Failed password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr | head -20 # 输出示例 # 150 61.177.172.1 # 89 218.92.1.2 # 表示IP 61.177.172.1尝试了150次失败登录。 # 2. 提取所有爆破IP更精确的IP匹配 grep Failed password /var/log/secure | grep -oE \b([0-9]{1,3}\.){3}[0-9]{1,3}\b | sort | uniq -c | sort -nr # 3. 看看攻击者用了哪些用户名来爆破 grep Failed password for invalid user /var/log/secure | awk {print $13} | sort | uniq -c | sort -nr | head -10 # 如果看到大量 root, admin, test 等常见用户名是典型的字典攻击。场景2检查成功的SSH登录# 1. 统计成功登录的IP grep Accepted password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr # 2. 查看详细的成功登录记录时间、用户、IP、端口 grep Accepted /var/log/secure | awk {print $1,$2,$3,$9,$11}关键点对比成功登录的IP和时间是否与正常运维的IP、时间段吻合。是否有在非工作时间如凌晨2点从陌生IP的成功登录场景3检查用户管理操作# 查找用户添加操作 grep useradd /var/log/secure # 查找用户密码修改操作 grep password changed /var/log/secure # 查找sudo提权操作 grep sudo: /var/log/secure | grep COMMAND如果发现非管理员在非计划时间内添加了用户如backdoor,hacker或修改了密码就是明确的入侵证据。注意事项高水平的攻击者会使用logrotate工具或直接清空日志文件 /var/log/secure。因此配置远程日志服务器如Rsyslog转发到中央日志服务器是保证日志不被篡改的最佳实践。在应急时如果发现本地日志时间有断层、文件大小异常小就要高度怀疑日志被清理过。5. 使用专业工具进行深度检测手动排查是基础但面对高级威胁需要借助专业工具。5.1 Rootkit检测Rootkit是用于隐藏自身、其他进程、文件的恶意工具集危害极大。使用rkhunter(Rootkit Hunter):# 安装以CentOS为例 yum install -y epel-release yum install -y rkhunter # 更新特征库 rkhunter --update # 进行全面检查并生成报告 rkhunter --check --sk # 查看报告 cat /var/log/rkhunter/rkhunter.log | grep -i warningrkhunter会检查系统命令的哈希值、隐藏进程、隐藏端口、可疑的内核模块等。使用chkrootkit:wget ftp://ftp.pangeia.com.br/pub/seg/pac/chkrootkit.tar.gz tar zxvf chkrootkit.tar.gz cd chkrootkit-* make sense ./chkrootkitchkrootkit会检查已知的rootkit文件、字符串和网络接口的混杂模式等。实操心得这些工具本身也可能被Rootkit篡改或绕过。最可靠的方法是从一个干净、只读的介质如光盘或写保护的U盘启动系统然后挂载受害系统的磁盘进行检查。或者将可疑文件上传到在线多引擎病毒扫描网站如VirusTotal进行分析。5.2 病毒与恶意软件扫描使用ClamAV:# 安装 yum install -y clamav clamav-update # RHEL/CentOS # 或 apt install -y clamav clamav-daemon # Debian/Ubuntu # 更新病毒库需要联网 freshclam # 扫描系统关键目录 clamscan -r -i --bell /bin /sbin /usr/bin /usr/sbin /etc /var/www # 扫描整个根目录并记录日志耗时较长 clamscan -r / --log/var/log/clamav_fullscan.logClamAV对Linux平台上的恶意软件检出率有限但可以作为一个基础筛查手段特别是针对可能通过Web上传的Windows病毒或通用恶意脚本。5.3 自动化安全检查脚本对于需要快速进行初步评估的场景可以使用一些开源的安全检查脚本它们集成了多项检查。GScan:git clone https://github.com/grayddq/GScan.git cd GScan chmod x GScan.sh ./GScan.sh这个脚本会检查账号、历史命令、进程、网络、启动项、定时任务、服务、文件等多个维度并生成一个HTML报告非常直观。使用这些自动化脚本可以快速获得一个全面的系统“体检报告”但绝不能完全依赖它。报告中的告警需要人工逐一核实脚本也可能存在误报或漏报。6. 应急响应后的加固与反思完成入侵排查、清除恶意程序、修复漏洞后工作并未结束。密码重置立即重置所有可能泄露的账号密码包括root、数据库用户、应用管理员等。漏洞修补根据溯源分析出的入侵途径如利用的Apache Struts2漏洞、未授权的Redis访问等立即打上相应的补丁或修改配置。恢复与验证从干净的备份中恢复被篡改的业务数据或配置文件。在恢复后再次进行全面的安全检查确保没有残留后门。监控加强增加对异常登录、异常进程、异常网络外连的监控告警。考虑部署HIDS主机入侵检测系统如OSSEC、Wazuh等。流程复盘召开复盘会议撰写事件报告。报告应包括事件时间线、影响范围、根本原因、响应措施、经验教训和改进计划。这是将一次安全事件转化为团队安全能力提升的关键步骤。Linux应急响应是一项结合了技术、流程和经验的综合性工作。它没有一成不变的“银弹”需要你在理解系统原理的基础上保持冷静的头脑像侦探一样细心观察、大胆假设、小心求证。从今天起就按照文中的 checklist 对你的测试环境进行一次“体检”吧只有平时多练习才能在真正的战斗中从容不迫。记住安全是一个持续的过程应急响应只是这个过程中的一个关键环节。
1. 项目概述当警报响起你该如何应对深夜手机突然响起刺耳的告警铃声。你睡眼惺忪地抓起手机屏幕上赫然显示着一条来自监控系统的告警“服务器CPU使用率异常飙升疑似恶意进程”。或者你刚上班就接到业务部门的电话“网站访问特别慢而且弹出了奇怪的页面。” 作为一名运维工程师、系统管理员甚至是刚入行的安全新人这种场景可能就是你的“日常”。面对一个可能已被入侵的Linux服务器你的第一反应是什么是慌乱地重启服务还是手足无措地四处翻看日志这就是Linux安全事件应急响应要解决的问题。它不是一个高深莫测的理论而是一套在安全事件发生后为了止损、定位、根除和恢复而必须执行的标准化动作集合。你可以把它想象成数字世界的“急救术”。当系统“生病”甚至“受伤”时你需要立刻判断伤势影响范围止血遏制攻击诊断病因溯源分析最后进行治疗和康复清除后门、修复漏洞、恢复业务。本篇文章就是为你准备的一份详尽的“急救手册”。无论你是想系统学习安全技能的爱好者还是需要应对实际生产环境挑战的工程师掌握这些基础必备技能都能让你在真正的安全事件面前从“被动挨打”转变为“有序应对”。2. 应急响应核心流程与核心思想在深入具体命令和技巧之前我们必须先建立正确的应急响应“世界观”。盲目地敲命令就像无头苍蝇效率低下且可能破坏现场。一个清晰的流程是行动的指南针。2.1 应急响应生命周期模型一个完整的应急响应过程通常遵循一个经典的PDCERF模型或其变种。我们可以将其简化为更适合个人或中小团队操作的四个核心阶段准备阶段这是平时就要做的工作。包括制定应急预案、准备工具包如干净的U盘、离线分析工具、确保日志配置完备、对关键系统进行备份。俗话说“养兵千日用兵一时”准备是否充分直接决定了事件发生时的响应速度和质量。检测与确认阶段收到告警或异常报告后首要任务是确认是否真的发生了安全事件。需要避免“狼来了”的误报消耗精力也要警惕那些悄无声息的真实入侵。这个阶段需要快速收集初步信息如异常进程、陌生网络连接、突增的日志量等做出初步判断。遏制、根除与恢复阶段这是技术对抗的核心。遏制立即采取措施防止影响扩大。例如将被入侵主机从网络中断开拔网线或修改防火墙策略暂停受影响的服务修改相关账号密码。根除在备份或镜像环境中彻底分析攻击路径找到并清除所有植入的后门、恶意软件、攻击者创建的账号等。恢复在确认系统干净后将业务从备份中恢复或修复受损的系统文件并安全地重新上线服务。总结与改进阶段事件平息后必须进行复盘。回答几个关键问题攻击是如何发生的漏洞利用点为什么没能阻止防御短板我们的响应过程有哪些可以优化流程改进并据此更新安全策略、修补漏洞、完善监控。核心思想提示在整个过程中保护现场和避免打草惊蛇至关重要。在确认需要深入分析前尽量避免在受害主机上使用攻击者可能监控的命令如w,last或者直接修改/删除可疑文件。优先考虑制作内存镜像和磁盘镜像在隔离环境中进行分析。2.2 搭建你的应急响应工具箱工欲善其事必先利其器。在事件发生前就应该在一个干净的、可信的介质上准备好你的工具集。我强烈建议准备一个便携的USB启动盘里面包含一个轻量级的Linux发行版如Kali Linux或自定义的Debian Live并预装好以下工具系统状态收集工具pspy: 一个无需root权限即可查看进程启动的命令行工具非常适合检测短时进程。linPEAS/linux-exploit-suggester: 本地提权检测和系统信息枚举脚本能快速发现配置缺陷和潜在漏洞。lynis: 开源的安全审计工具可以进行全面的系统健康检查。取证分析工具dd/dcfldd: 用于磁盘和内存的原始镜像获取。Volatility(内存取证框架): 如果条件允许获取内存镜像后用于分析进程、网络连接、命令行历史等。The Sleuth Kit (autopsy GUI界面)**: 用于分析磁盘镜像恢复文件查看时间线。网络分析工具tcpdump: 命令行下的网络抓包神器。Wireshark: 图形化网络协议分析工具用于深度分析网络流量。恶意软件分析工具chkrootkit/rkhunter: 经典的Rootkit检测工具。ClamAV: 开源杀毒引擎用于扫描已知病毒和恶意文件。YARA: 模式匹配工具可以通过编写规则来识别恶意软件家族。将工具放在U盘里是为了确保你使用的分析工具本身是干净、未被篡改的。直接从被入侵的系统上下载或安装工具存在风险。3. 入侵排查实战从异常现象到问题定位现在我们假设已经登录到一台疑似被入侵的Linux服务器在做好隔离的前提下。你的眼睛就是扫描器以下是一套系统性的排查路径。3.1 账号与权限攻击者的立足点攻击者入侵后为了持久化控制通常会创建隐藏账号、提升现有账号权限或窃取高权限账号。排查点1检查特权用户除了root任何UID为0的用户都拥有超级用户权限这是极度危险的。# 查看UID为0的用户 awk -F: $30{print $1} /etc/passwd正常情况下应该只有root。如果出现了toor,admin,super等或者看起来像普通用户名但UID是0立即拉响警报。排查点2检查可远程登录的账号查看/etc/shadow文件密码字段为!或!!表示密码被锁定无法登录为*表示是系统服务账号为空或包含$1$(MD5),$5$(SHA-256),$6$(SHA-512) 等哈希值的才是可以登录的账号。# 查看密码字段不为空且未被锁定的用户即可能登录的用户 awk -F: ($2 ! !! $2 ! ! $2 ! *){print $1} /etc/shadow结合/etc/ssh/sshd_config查看是否允许密码登录、允许的用户/用户组重点关注是否有不熟悉的账号被加入AllowUsers。排查点3检查sudo权限攻击者可能给一个普通账号添加了sudo权限以便随时获取root权限。# 查看拥有sudo权限的用户 grep -v ^#\|^$ /etc/sudoers | grep ALL(ALL) # 或者查看/etc/sudoers.d/目录下的所有文件 ls -la /etc/sudoers.d/ cat /etc/sudoers.d/*留意任何非管理员的普通业务账号。排查点4检查最近登录和当前登录# 查看当前登录用户及来源IP w # 或 who -a # 查看所有用户最近登录记录重点看来源IP和时间 last -ai # 查看失败的登录尝试爆破痕迹 lastb特别关注来自异常地理位置、非办公时间或陌生IP的登录记录。实操心得攻击者可能会清理last和lastb的日志通过清空/var/log/wtmp和/var/log/btmp。因此结合网络设备如防火墙、堡垒机的日志进行交叉验证至关重要。另外检查/var/log/secureRHEL/CentOS或/var/log/auth.logDebian/Ubuntu中的SSH登录成功/失败记录是更可靠的方法。3.2 进程与网络攻击者的活动现场恶意进程和异常网络连接是攻击者正在活动的直接证据。排查点1检查异常网络连接使用netstat或更现代的ss命令。# 查看所有TCP/UDP连接并显示进程名 netstat -antp # 或者使用ss速度更快 ss -antp重点关注不常见的端口特别是高位端口如 4444, 5555, 6666等上的监听。外部IP连接服务器上不应该有大量对外部IP尤其是海外IP的主动连接。可疑进程名连接对应的进程名是否奇怪如bash、sh、curl、wget在持续监听端口或者进程名伪装成[kthreadd]、[ata_sff]等内核线程通常用方括号括起。排查点2定位进程的可执行文件发现可疑PID例如 1234后追查其本源。# 查看进程启动命令可能被攻击者篡改 cat /proc/1234/cmdline | xargs -0 echo # 查看进程实际执行的文件路径更可靠 ls -l /proc/1234/exe # 如果exe显示为deleted说明文件已被删除但进程还在运行这是恶意软件的常见手法。 # 查看进程打开的文件 lsof -p 1234如果/proc/1234/exe指向/tmp、/dev/shm等临时目录下的一个已删除文件这几乎可以断定是恶意进程。排查点3检查隐藏进程高级的Rootkit会隐藏进程。可以通过对比ps输出和/proc目录列表来发现。# 列出所有/proc下的数字目录每个目录对应一个PID ls -d /proc/[0-9]* | cut -d/ -f3 | sort -n proc_list.txt # 获取ps看到的PID列表 ps -eo pid | tail -n 2 | sort -n ps_list.txt # 比较差异 diff proc_list.txt ps_list.txt如果proc_list.txt中有PID不在ps_list.txt中那么这个进程很可能被隐藏了。3.3 文件与痕迹攻击者的藏身之处攻击者会留下或修改文件以实现持久化或窃取数据。排查点1检查系统关键文件完整性使用rpmRHEL系或dpkgDebian系验证系统文件是否被篡改。# RHEL/CentOS/Fedora rpm -Va /tmp/rpm_verify.log 21 # 查看验证结果关注/bin, /sbin, /usr/bin等目录下关键命令的异常 grep -E ^..5.* /(bin|sbin|usr/bin|usr/sbin) /tmp/rpm_verify.log输出中S表示文件大小改变5表示MD5校验值改变内容被改T表示修改时间变化。例如如果/usr/bin/ls的校验值变了说明它可能被替换成了木马。排查点2查找近期被修改的可疑文件# 查找过去24小时内被修改过的所有文件从根开始但排除/proc, /sys等虚拟文件系统 find / -type f -mtime -1 ! -path /proc/* ! -path /sys/* 2/dev/null | head -50 # 查找过去3天内被修改的且权限为777的敏感文件 find / -type f -perm 777 -mtime -3 2/dev/null # 在Web目录中查找最近新增的PHP、JSP等可执行脚本 find /var/www/html -name *.php -mtime -1 2/dev/null排查点3查找隐藏文件和目录以.开头的文件/目录是隐藏的攻击者喜欢用。# 查找所有隐藏目录 find / -type d -name .* 2/dev/null | grep -vE /\.(\.)?$ # 在/tmp, /dev/shm等临时目录查找可疑文件 ls -la /tmp/ ls -la /dev/shm/排查点4查找可能的WebShellWebShell通常存在于Web根目录下文件名可能具有迷惑性。# 在Web目录中搜索包含特定危险函数的文件 grep -r eval\|base64_decode\|system\|passthru\|shell_exec /var/www/ --include*.php 2/dev/null # 使用专用工具扫描如河马WebShell查杀工具 # 假设已将扫描工具上传至服务器 ./hm scan /var/www/html3.4 自启动与定时任务攻击者的持久化机制为了在系统重启后依然能保持控制攻击者会设置各种自启动项。排查点1检查系统服务# 查看所有开机自启动的服务 systemctl list-unit-files --stateenabled # 或者使用老式的chkconfigSysVinit系统 chkconfig --list | grep 3:on\|5:on仔细检查列表中是否有陌生的、名字模仿合法服务如networksvsnetwork的服务。排查点2检查定时任务这是攻击者最常用的持久化手段之一。# 查看系统级定时任务 cat /etc/crontab ls -la /etc/cron.d/ /etc/cron.daily/ /etc/cron.hourly/ /etc/cron.monthly/ /etc/cron.weekly/ # 查看每个用户的定时任务重点 for user in $(cut -f1 -d: /etc/passwd); do echo Crontab for $user ; crontab -l -u $user 2/dev/null; done重点关注/etc/cron.d/下的非系统自带文件以及root用户和Web服务用户如www-data, nginx, apache的定时任务。任务内容是否在下载远程脚本、执行/tmp下的文件等。排查点3检查其他自启动位置/etc/rc.local: 系统启动最后执行的脚本。/etc/profile,/etc/bashrc,~/.bash_profile,~/.bashrc: 用户登录时执行的脚本可能被植入恶意命令。~/.ssh/authorized_keys: 是否被添加了攻击者的公钥以实现免密登录。某些特定软件的自启动配置如supervisord,docker容器的restart policy等。4. 日志分析追踪攻击者的足迹系统日志是还原攻击时间线的关键证据。但攻击者往往会清理日志所以需要多源印证并优先查看受保护或远程传输的日志。4.1 关键日志文件定位认证相关/var/log/secure(RHEL/CentOS) //var/log/auth.log(Debian/Ubuntu):重中之重。记录所有认证事件如SSH登录、sudo提权、用户创建删除等。系统与内核消息/var/log/messages(RHEL/CentOS) //var/log/syslog(Debian/Ubuntu): 记录系统级通用信息。/var/log/kern.log: 内核日志记录硬件、驱动相关事件。计划任务/var/log/cron: 记录cron任务执行情况。Web服务/var/log/nginx/access.log,/var/log/nginx/error.log(Nginx)/var/log/apache2/access.log,/var/log/apache2/error.log(Apache)二进制日志需专用命令查看/var/log/wtmp(查看登录成功历史):last -f /var/log/wtmp/var/log/btmp(查看登录失败历史):lastb -f /var/log/btmp/var/log/lastlog(查看所有用户最后登录时间):lastlog4.2 实战日志分析命令假设我们怀疑有SSH暴力破解和成功入侵分析/var/log/secure场景1分析SSH暴力破解# 1. 统计哪些IP在爆破SSH按尝试次数排序 grep Failed password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr | head -20 # 输出示例 # 150 61.177.172.1 # 89 218.92.1.2 # 表示IP 61.177.172.1尝试了150次失败登录。 # 2. 提取所有爆破IP更精确的IP匹配 grep Failed password /var/log/secure | grep -oE \b([0-9]{1,3}\.){3}[0-9]{1,3}\b | sort | uniq -c | sort -nr # 3. 看看攻击者用了哪些用户名来爆破 grep Failed password for invalid user /var/log/secure | awk {print $13} | sort | uniq -c | sort -nr | head -10 # 如果看到大量 root, admin, test 等常见用户名是典型的字典攻击。场景2检查成功的SSH登录# 1. 统计成功登录的IP grep Accepted password /var/log/secure | awk {print $11} | sort | uniq -c | sort -nr # 2. 查看详细的成功登录记录时间、用户、IP、端口 grep Accepted /var/log/secure | awk {print $1,$2,$3,$9,$11}关键点对比成功登录的IP和时间是否与正常运维的IP、时间段吻合。是否有在非工作时间如凌晨2点从陌生IP的成功登录场景3检查用户管理操作# 查找用户添加操作 grep useradd /var/log/secure # 查找用户密码修改操作 grep password changed /var/log/secure # 查找sudo提权操作 grep sudo: /var/log/secure | grep COMMAND如果发现非管理员在非计划时间内添加了用户如backdoor,hacker或修改了密码就是明确的入侵证据。注意事项高水平的攻击者会使用logrotate工具或直接清空日志文件 /var/log/secure。因此配置远程日志服务器如Rsyslog转发到中央日志服务器是保证日志不被篡改的最佳实践。在应急时如果发现本地日志时间有断层、文件大小异常小就要高度怀疑日志被清理过。5. 使用专业工具进行深度检测手动排查是基础但面对高级威胁需要借助专业工具。5.1 Rootkit检测Rootkit是用于隐藏自身、其他进程、文件的恶意工具集危害极大。使用rkhunter(Rootkit Hunter):# 安装以CentOS为例 yum install -y epel-release yum install -y rkhunter # 更新特征库 rkhunter --update # 进行全面检查并生成报告 rkhunter --check --sk # 查看报告 cat /var/log/rkhunter/rkhunter.log | grep -i warningrkhunter会检查系统命令的哈希值、隐藏进程、隐藏端口、可疑的内核模块等。使用chkrootkit:wget ftp://ftp.pangeia.com.br/pub/seg/pac/chkrootkit.tar.gz tar zxvf chkrootkit.tar.gz cd chkrootkit-* make sense ./chkrootkitchkrootkit会检查已知的rootkit文件、字符串和网络接口的混杂模式等。实操心得这些工具本身也可能被Rootkit篡改或绕过。最可靠的方法是从一个干净、只读的介质如光盘或写保护的U盘启动系统然后挂载受害系统的磁盘进行检查。或者将可疑文件上传到在线多引擎病毒扫描网站如VirusTotal进行分析。5.2 病毒与恶意软件扫描使用ClamAV:# 安装 yum install -y clamav clamav-update # RHEL/CentOS # 或 apt install -y clamav clamav-daemon # Debian/Ubuntu # 更新病毒库需要联网 freshclam # 扫描系统关键目录 clamscan -r -i --bell /bin /sbin /usr/bin /usr/sbin /etc /var/www # 扫描整个根目录并记录日志耗时较长 clamscan -r / --log/var/log/clamav_fullscan.logClamAV对Linux平台上的恶意软件检出率有限但可以作为一个基础筛查手段特别是针对可能通过Web上传的Windows病毒或通用恶意脚本。5.3 自动化安全检查脚本对于需要快速进行初步评估的场景可以使用一些开源的安全检查脚本它们集成了多项检查。GScan:git clone https://github.com/grayddq/GScan.git cd GScan chmod x GScan.sh ./GScan.sh这个脚本会检查账号、历史命令、进程、网络、启动项、定时任务、服务、文件等多个维度并生成一个HTML报告非常直观。使用这些自动化脚本可以快速获得一个全面的系统“体检报告”但绝不能完全依赖它。报告中的告警需要人工逐一核实脚本也可能存在误报或漏报。6. 应急响应后的加固与反思完成入侵排查、清除恶意程序、修复漏洞后工作并未结束。密码重置立即重置所有可能泄露的账号密码包括root、数据库用户、应用管理员等。漏洞修补根据溯源分析出的入侵途径如利用的Apache Struts2漏洞、未授权的Redis访问等立即打上相应的补丁或修改配置。恢复与验证从干净的备份中恢复被篡改的业务数据或配置文件。在恢复后再次进行全面的安全检查确保没有残留后门。监控加强增加对异常登录、异常进程、异常网络外连的监控告警。考虑部署HIDS主机入侵检测系统如OSSEC、Wazuh等。流程复盘召开复盘会议撰写事件报告。报告应包括事件时间线、影响范围、根本原因、响应措施、经验教训和改进计划。这是将一次安全事件转化为团队安全能力提升的关键步骤。Linux应急响应是一项结合了技术、流程和经验的综合性工作。它没有一成不变的“银弹”需要你在理解系统原理的基础上保持冷静的头脑像侦探一样细心观察、大胆假设、小心求证。从今天起就按照文中的 checklist 对你的测试环境进行一次“体检”吧只有平时多练习才能在真正的战斗中从容不迫。记住安全是一个持续的过程应急响应只是这个过程中的一个关键环节。
)
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
