logrotate 日志轮转与保留策略配置实战

logrotate 日志轮转看起来只是磁盘运维的小事,实际上直接决定两件事:攻击发生时你手里还有没有可用的日志,以及日志会不会反过来把服务器撑死。本文给出 Web 服务器日志轮转与保留策略的完整加固配置,涵盖权限收敛、写入不中断、证据不可篡改三个关键点。

适用场景

以下情况说明当前轮转策略需要重新设计,而不是简单调大磁盘:

  • Nginx、Apache 访问日志单文件已超过数 GB,历史日志只剩最近几天;
  • 曾因日志写满磁盘导致数据库或应用假死,只能靠删日志恢复服务;
  • 安全事件复盘时发现关键时间段的日志已被轮转覆盖,无法还原攻击路径;
  • 日志目录权限为 644 或目录 755,本机任意账号可读可删;
  • 合规要求日志留存不少于 6 个月,且需要证明期间未被修改。

前置条件

  • Linux 服务器,systemd 或 cron 可正常运行,logrotate 版本 3.8 以上;
  • Nginx 或 Apache 已安装,且能定位主进程 PID 文件路径;
  • 具备 root 权限,已备份现有配置:cp -a /etc/logrotate.d /etc/logrotate.d.bak;
  • 规划好日志保留天数与归档位置,异地存储需提前开通;
  • 确认磁盘剩余空间足以容纳保留周期内的压缩日志。

原理说明

logrotate 本身不是守护进程。它由 systemd 的 logrotate.timer 或 cron.daily 每天触发一次,读取 /etc/logrotate.d/ 下的配置,逐个判断「是否到了该轮转的时间」,满足条件才执行动作。判断依据记录在状态文件 /var/lib/logrotate/status 中,所以手工改过系统时间或状态文件后,轮转可能不按预期触发。

轮转动作有两种实现方式,安全影响完全不同。create 模式是把当前日志改名归档,再新建一个同名空文件,然后通过 postrotate 脚本通知服务重新打开日志文件句柄;copytruncate 模式是先拷贝内容再把原文件清空,服务不需要重新打开句柄。后者的代价是拷贝与清空之间存在时间窗,这期间写入的日志会永久丢失;对取证而言,这个空档恰好可能覆盖攻击最关键的那几秒。因此 Web 服务器日志应当坚持 create 加信号通知,只在程序不支持重开句柄时才用 copytruncate。

第二个原理点是文件句柄。服务进程持有的是 inode,不是路径。轮转后若没有发送 USR1 信号,Nginx 会继续往已被改名的旧文件写入,表现为「磁盘不释放、新日志始终为空」。这是轮转配置最典型的失败形态,也是很多人误判为磁盘故障的原因。

第三个原理点是权限与完整性。日志目录默认往往是 755,文件 644,意味着任何获得低权限 shell 的攻击者都能读取全部访问日志——里面包含接口路径、真实 IP、部分请求参数;如果能写,还可以删除自己的入侵痕迹。合规场景下还需要证明日志未被改动,这就要靠 append-only 属性与异地副本,单机上的任何权限配置都无法自证。

操作步骤

第一步:核对现有轮转状态

先看三样东西:当前配置、最近一次轮转时间、日志文件实际增长速率。这三项决定了后面的参数取值:

# 1. 现有配置
cat /etc/logrotate.d/nginx 2>/dev/null || echo "未配置独立 nginx 轮转"

# 2. 最近轮转记录
cat /var/lib/logrotate/status | grep -i nginx

# 3. 日志体积与增长速率(观察 60 秒差值,估算日增)
du -sh /var/log/nginx/
ls -lh /var/log/nginx/*.log
s1=$(stat -c %s /var/log/nginx/access.log); sleep 60
s2=$(stat -c %s /var/log/nginx/access.log)
echo "每分钟增长 $(( (s2-s1)/1024 )) KB, 估算日增 $(( (s2-s1)*1440/1048576 )) MB"

若第 3 条估算日增超过 2 GB,说明日志本身已经成为风险项,需要同时检查是否有异常刷量:awk '{print $1}' access.log | sort | uniq -c | sort -rn | head 能快速看出是否存在单 IP 高频请求。

第二步:编写加固版轮转配置

按「按大小兜底、按天轮转、压缩归档、权限收敛」四条线设计。maxsize 是防止单日暴量写满磁盘的关键参数,它让 logrotate 在两次定时触发之间也能因体积触发轮转:

# /etc/logrotate.d/nginx
/var/log/nginx/*.log {
    daily
    maxsize 200M
    rotate 90
    missingok
    notifempty

    # 归档命名带日期,便于按时间检索
    dateext
    dateformat -%Y%m%d-%s

    # 压缩延迟一天,避免压缩正在写入的文件
    compress
    delaycompress
    compresscmd /bin/gzip
    compressext .gz

    # 多文件共用一次 postrotate,避免重复发信号
    sharedscripts

    # 新文件权限:属主正确、组可读、其他用户无权限
    create 0640 www-data adm
    su www-data adm

    postrotate
        if [ -f /run/nginx.pid ]; then
            kill -USR1 $(cat /run/nginx.pid)
        fi
    endscript
}

几个参数值得单独说明。rotate 90 配合 daily 表示保留 90 份,实际覆盖三个月,满足多数等保要求;create 0640 www-data adm 直接决定新文件权限,是权限收敛的落点,若写成 0644 则所有本地用户可读;su www-data adm 明确以低权限身份执行轮转,避免以 root 创建文件导致属主错乱;sharedscripts 保证多个日志文件只触发一次 postrotate,否则 Nginx 会被连续信号打断。

如果服务器同时跑 Apache,配置思路一致,只是信号改为 kill -USR1 且 PID 路径不同;若用 systemd 管理,更推荐直接调用 systemctl reload nginx,但重载会重建 worker,对长连接业务有轻微抖动,需按业务特性取舍:

# Apache 版本
/var/log/apache2/*.log {
    daily
    maxsize 200M
    rotate 90
    missingok
    notifempty
    dateext
    compress
    delaycompress
    sharedscripts
    create 0640 www-data adm
    postrotate
        if [ -f /var/run/apache2/apache2.pid ]; then
            kill -USR1 $(cat /var/run/apache2/apache2.pid)
        fi
    endscript
}

不要用 copytruncate。虽然它看起来最省事,但对访问日志来说,拷贝期间新产生的记录会永久消失,这在应急响应中是不可接受的证据缺口。只有当应用无法接收信号、无法重开日志句柄时(部分 Java 应用与自定义服务),才退而使用它,并且应当缩短轮转周期、增加异地实时转发来弥补丢失窗口。

第三步:收敛目录与文件权限

轮转只保证新文件权限正确,历史归档仍需单独处理。把日志目录从「所有人可读」收敛为「仅属主与指定组可读」:

# 目录:属主 www-data,组 adm,其他用户无任何权限
chown -R www-data:adm /var/log/nginx
chmod 750 /var/log/nginx
find /var/log/nginx -type f -name "*.log" -exec chmod 640 {} \;
find /var/log/nginx -type f -name "*.gz"  -exec chmod 640 {} \;

# 确认结果
ls -ld /var/log/nginx
ls -l /var/log/nginx | head

注意 adm 组的成员可以读日志,这是 Debian 系让运维查看日志的标准做法。若不需要,改成 chmod 700 与属主所在私有组,安全边界更小。同时检查 rsyslog 或应用自身的日志目录,权限问题通常不是孤立的。

第四步:给活动日志加防篡改保护

权限只能防住低权限账号,root 级入侵仍可随意改写。append-only 属性让文件只能追加、不能删除或截断,是本地取证的最后一道保险:

# 仅对当前活动日志加 a 属性(append only)
chattr +a /var/log/nginx/access.log
chattr +a /var/log/nginx/error.log

# 查看属性(应出现 a 标记)
lsattr /var/log/nginx/access.log

# 验证:直接覆盖应被拒绝
echo test > /var/log/nginx/access.log
# 期望输出 Operation not permitted

加属性后必须确认轮转仍然可用:logrotate 的重命名操作不受 append-only 限制,但 create 新建文件后会丢失该属性,因此需要在 postrotate 里补加,或者改用 cron 定期巡检并自动补齐。另一种更彻底的做法是不依赖日志文件本身,而是用 rsyslog 把访问日志实时转发到另一台主机,本地被清空也不影响证据链。

第五步:建立异地留存

合规要求留存六个月时,本机 90 份压缩日志往往不够,且单机存储本身不可信。用 rsyslog 做实时转发,配合远端独立保留策略:

# /etc/rsyslog.d/50-nginx.conf(发送端)
module(load="imfile" PollingInterval="10")
input(type="imfile"
      File="/var/log/nginx/access.log"
      Tag="nginx-access"
      Severity="info"
      Facility="local6")

local6.* @@logserver.example.com:6514
# 使用 TLS 需配置 gtls 驱动与证书,此处以 TCP 示例

# ---------- 接收端 /etc/rsyslog.d/10-remote.conf ----------
module(load="imtcp" MaxSessions="500")
$ModLoad imudp
input(type="imtcp" port="514")
template(name="RemoteLog" type="string"
         string="/data/remote-logs/%HOSTNAME%/%$YEAR%-%$MONTH%/%$DAY%-access.log")
local6.* action(type="omfile" dynaFile="RemoteLog" fileOwner="root" fileGroup="adm" fileCreateMode="0640")

远端接收目录建议挂载到只追加的存储上,或使用对象存储的合规保留策略。转发链路本身也应加密,否则日志在网络上是明文,等于把内网拓扑和访问路径免费送出去。

配置验证

严禁直接在生产上跑真实轮转做验证。logrotate -d 是 dry-run,只打印将要执行的动作,不落盘:

# 1. 语法与动作预演(不执行)
logrotate -d /etc/logrotate.d/nginx 2>&1 | head -40

# 2. 确认定时器已启用
systemctl status logrotate.timer --no-pager
systemctl list-timers | grep logrotate

# 3. 在测试目录做真实轮转(安全做法)
mkdir -p /tmp/lrtest && cp /etc/logrotate.d/nginx /tmp/lrtest/nginx.conf
sed -i 's#/var/log/nginx/\*\.log#/tmp/lrtest/*.log#' /tmp/lrtest/nginx.conf
echo "line1" > /tmp/lrtest/access.log && echo "line2" > /tmp/lrtest/error.log
logrotate -f -s /tmp/lrtest/state /tmp/lrtest/nginx.conf
ls -l /tmp/lrtest/

# 4. 生产环境强制一轮后核对 inode 与权限
logrotate -f /etc/logrotate.d/nginx
ls -li /var/log/nginx/access.log
lsof -p $(cat /run/nginx.pid) 2>/dev/null | grep access.log
  • 第 1 条输出中应出现 rotating pattern、renaming、running postrotate script,若提示 error: skipping,说明路径或通配符写错;
  • 第 3 条验证新文件权限必须是 -rw-r-----,属主与组正确;
  • 第 4 条用 lsof 确认 Nginx 打开的是新 inode 的 access.log,若仍指向 access.log-20261109,说明 USR1 信号未生效;
  • 轮转后 df -h 应有空间释放,若未释放说明旧文件仍被进程持有。

常见问题

Q1:轮转配置写了,但日志文件一直不切换,磁盘还在涨?

按顺序排查四点。第一,确认触发源是否存活:systemctl status logrotate.timer 显示 inactive 时,说明用的是 cron 路径,需要检查 /etc/cron.daily/logrotate 是否被误删或缺少执行权限。第二,看状态文件时间戳:stat /var/lib/logrotate/status,若修改时间停在几天前,说明 logrotate 根本没跑起来。第三,检查配置是否被 include:/etc/logrotate.conf 中应有 include /etc/logrotate.d,部分镜像会把它注释掉。第四,确认 notifempty 与文件大小,空文件在 notifempty 下确实不会轮转。四项排除后仍不切换,用 logrotate -v -f 看详细日志,verbose 输出会明确给出跳过原因。

Q2:日志被清空后,如何判断是正常轮转还是入侵痕迹清理?

三个客观依据。第一看 inode 与文件大小:正常轮转会产生带日期后缀的归档文件,ls -l /var/log/nginx/ 应有对应文件;若 access.log 变成 0 字节且没有归档,说明是被直接截断。第二看文件状态的变更时间:stat /var/log/nginx/access.log 中 Modify 与 Change 时间若明显偏离轮转计划,属于人工干预。第三对照轮转状态文件:/var/lib/logrotate/status 记录了每个日志最后一次轮转的日期,与归档文件日期不一致即为异常。若已部署远端转发,直接比对两端记录条数,差异最直观。发现截断后应立即保全磁盘镜像与内存现场,不要在受污染的主机上继续取证。

Q3:开启压缩后,检索历史日志变得很麻烦怎么办?

不必解压全部文件。zgrep 可直接检索 .gz,配合时间通配符可精确限定范围:zgrep -h "500 " /var/log/nginx/access.log-202610* | wc -l 能统计十月份所有 500 响应。需要跨文件聚合时,用 zcat 管道交给 awk:zcat /var/log/nginx/access.log-202611* | awk '{print $1}' | sort | uniq -c | sort -rn | head -20,可以还原某段时间的 Top 来源 IP。若检索频率高,建议改为按日归档并建立集中查询平台,把离线日志导入后做索引,比反复 zgrep 更省时间。

总结

日志轮转的正确目标不是「让磁盘不爆」,而是「出事了还查得到,且查到的内容可信」。落地要点可归为四句:用 create 加信号保证写入不中断,用 maxsize 加 rotate 天数保证容量与留存双达标,用 0640 与目录 750 收敛读取面,用 append-only 与异地转发保证证据不可否认。改动后必须用 dry-run 与测试目录验证一遍再上生产,并定期检查状态文件时间戳——轮转策略最危险的失效方式,是它悄无声息地不再执行。