CC 攻击的告警往往不是太少,而是太多没人看。本文讲清告警收敛怎么做、日常巡检看什么、台账记哪些字段,以及怎么发现被漏掉的攻击。
Q:为什么告警设得越多,反而越防不住?
告警本来是为了让人行动,但数量一超限,它就会退化成背景噪音。三个典型症状:
- 日均告警过百条:值班的人整天在点「已读」,真正需要处理的那条被埋在中间。
- 同一事件反复触发:一次 CC 打了四十个 IP,四十条告警,内容完全一样,只是 IP 不同。
- 长期零处置:连续几周告警都没有对应的处置动作,人对它的反应就固定成「点掉」,这时候告警已经失效了。
衡量告警体系健康的指标只有一个:被处置的告警数除以发出的告警数。这个比值低于三成,说明大部分告警是噪音,应该删掉或者合并,而不是继续加。
Q:告警怎么收敛到人能处理的量?
四类手段可以叠加使用,先做合并和抑制,再谈调阈值:
- 合并:同一规则、同一时间窗(如 5 分钟)、同一网段或同一攻击手法的告警合成一条,附带受影响 IP 数量。
- 抑制:上游事件触发时抑制下游衍生告警。带宽打满之后必然跟着一串 5xx 和超时,这些都不用单独告警。
- 分级:按业务影响分 P0、P1、P2,走不同通道。分级不做,所有告警都会挤进同一个群。
- 只对变化告警:用同比或环比替代单点阈值。绝对值超线在业务增长期会天天误报,环比突增才是信号。
# 按「时间窗 + 网段」聚合 429,判断是不是同一事件在刷屏
awk '{ t=substr($4,2,17); split($1,a,".");
seg=a[1]"."a[2]"."a[3]".0/24";
if($9==429) c[t" "seg]++ }
END{ for(k in c) if(c[k]>=50) print k, c[k] }' \
/var/log/nginx/access.log | sort
收敛后的目标数量:值班期间 P0 不超过 3 条/天,P1 不超过 15 条/天。超了就说明还在噪音区,继续合并,不要靠加人扛。
Q:分级到底按技术指标还是按业务影响?
必须按业务影响。技术指标只能作为判定依据,不能作为分级依据。
- P0:用户侧已经能感知。错误率超过 1%、支付回调失败、首页响应超过 3 秒、登录不可用。这类走电话,五分钟内必须有人确认。
- P1:资源逼近上限但业务还没坏。连接数超过阈值 80%、CPU 持续 90%、单 IP 段请求占比异常。走 IM,一小时内处理。
- P2:单点异常,无扩散趋势。单条规则命中抬升、单个境外 IP 高频探测。进日报,次日处理。
有一个前置条件常被忽略:P0 告警必须能在五分钟内判定是不是攻击。做不到就别设 P0,否则半夜被叫起来也是白起。
Q:日常巡检多久一次,每次看什么?
日巡检五分钟,周巡检半小时,月巡检一小时,别合并:
# 日巡检:错误率、限流占比、限流 TOP 路径、单 IP TOP
log=/var/log/nginx/access.log
awk '{n++} $9>=400{e++} $9==429{l++}
END{printf "req=%d err=%.2f%% limited=%.2f%%\n",n,e*100/n,l*100/n}' $log
awk '$9==429{print $7}' $log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -5
awk '{print $1}' $log | sort | uniq -c | sort -rn | head -5
- 日:错误率、429 占比、限流命中最多的五个路径、请求量最高的五个 IP、源站回源量、探针是否存活。
- 周:哪几条规则贡献了八成命中(命中全集中在一条说明其它规则形同虚设)、白名单条目有没有变多、误伤工单数量。
- 月:阈值余量(日常峰值除以阈值)、容量水位、过期规则清理、上次巡检待办是否销项。
Q:台账要记哪些字段,才不是走形式?
- 时间窗:精确到分钟,只写日期等于没记。
- 判定依据:写数值,例如「单 IP 段 5 分钟 1.2 万请求,静态资源占比 3%」。「疑似 CC」不是依据。
- 影响面:受影响接口、错误率、是否波及支付或登录。
- 处置动作:加了哪条规则、改了哪个阈值、封了哪个段,要能对应到具体配置项。
- 误杀估算:处置动作影响了多少正常请求,有没有投诉。
- 责任人与复盘链接:谁处置的、事后复盘在哪里。
最常见的形式主义是写「已处理」。三个月后回看,没人知道当时处理了什么。台账的价值在回溯,不在记录本身。
Q:怎么发现被漏掉的攻击?
漏报不会告警,只能主动找。四种方法按成本从低到高:
- 观察模式与生效规则对比:同一批规则先只打标记不拦截,比较「标记命中量」与「实际拦截量」,差额就是漏掉的部分。
- WAF 与源站日志交叉验证:WAF 说拦了,但源站日志里出现了同一 IP,说明请求绕过了防护层。
- 攻击样本回放:把历史攻击的 UA、路径、参数在测试环境重打一遍,看现在的规则还认不认。
- 蜜标:在页面里埋只有爬虫会跟进的隐蔽链接,一旦被访问就说明规则漏了。
# 交叉验证:WAF 拦截名单与源站实际收到的 IP 取交集
comm -12 <(awk '{print $1}' /var/log/waf/blocked.log | sort -u) \
<(awk '{print $1}' /var/log/nginx/access.log | sort -u) | head
Q:巡检发现「规则在但不生效」怎么查?
四类半失效,从外到内排:
- 被前面的放行吃掉:Nginx 的 allow、deny 和 if 都是自上而下命中即止,白名单写在通用拦截之前,后面的规则永远执行不到。
- location 优先级错位:精确匹配优先于前缀匹配,正则优先于普通前缀。规则写在错的 location 里,请求根本进不去。
- 上游先挡掉了:CDN 或 WAF 已经返回 403,源站看不到请求,你以为规则没生效,其实是被上游拦了。
- 缓存层拦截在前:命中缓存的请求不经过后端,规则自然没机会执行。
# 用可控请求验证规则是否真的在生效
curl -s -o /dev/null -w '%{http_code}\n' -A 'python-requests/2.31' https://www.example.com/
curl -s -o /dev/null -w '%{http_code}\n' -e '' https://www.example.com/api/list
nginx -T | grep -n 'limit_req\|deny\|allow' | head -20
Q:告警渠道和值班交接怎么配合?
- 通道分离:电话只给 P0,IM 群给 P1,P2 进日报。全塞进一个群,等于没有分级。
- 交接三件事:未闭环事件、当天临时加的白名单、当天改过的规则。这三项不交清,下一班必踩坑。
- 静默要留痕:任何静默操作必须写原因和解除时间,不写明时间的静默等于永久关闭。
Q:还有什么补充建议?
- 每月做一次静默审计:把所有告警关掉一天,看有没有异常被漏掉。这是检验「告警到底有没有用」最直接的办法。
- 台账放在团队能查到的共享位置,别只留在某个人的聊天记录里。
- 盯三个指标:告警处置率、平均确认时长、误杀率。前两个往上走、第三个往下走才算健康。
- 最后一句:能处理完的告警才叫告警,处理不完的只是噪音。