CC告警太多没人看?告警收敛与巡检台账

CC 攻击的告警往往不是太少,而是太多没人看。本文讲清告警收敛怎么做、日常巡检看什么、台账记哪些字段,以及怎么发现被漏掉的攻击。

Q:为什么告警设得越多,反而越防不住?

告警本来是为了让人行动,但数量一超限,它就会退化成背景噪音。三个典型症状:

  • 日均告警过百条:值班的人整天在点「已读」,真正需要处理的那条被埋在中间。
  • 同一事件反复触发:一次 CC 打了四十个 IP,四十条告警,内容完全一样,只是 IP 不同。
  • 长期零处置:连续几周告警都没有对应的处置动作,人对它的反应就固定成「点掉」,这时候告警已经失效了。

衡量告警体系健康的指标只有一个:被处置的告警数除以发出的告警数。这个比值低于三成,说明大部分告警是噪音,应该删掉或者合并,而不是继续加。

Q:告警怎么收敛到人能处理的量?

四类手段可以叠加使用,先做合并和抑制,再谈调阈值:

  • 合并:同一规则、同一时间窗(如 5 分钟)、同一网段或同一攻击手法的告警合成一条,附带受影响 IP 数量。
  • 抑制:上游事件触发时抑制下游衍生告警。带宽打满之后必然跟着一串 5xx 和超时,这些都不用单独告警。
  • 分级:按业务影响分 P0、P1、P2,走不同通道。分级不做,所有告警都会挤进同一个群。
  • 只对变化告警:用同比或环比替代单点阈值。绝对值超线在业务增长期会天天误报,环比突增才是信号。
# 按「时间窗 + 网段」聚合 429,判断是不是同一事件在刷屏
awk '{ t=substr($4,2,17); split($1,a,".");
       seg=a[1]"."a[2]"."a[3]".0/24";
       if($9==429) c[t" "seg]++ }
     END{ for(k in c) if(c[k]>=50) print k, c[k] }' \
  /var/log/nginx/access.log | sort

收敛后的目标数量:值班期间 P0 不超过 3 条/天,P1 不超过 15 条/天。超了就说明还在噪音区,继续合并,不要靠加人扛。

Q:分级到底按技术指标还是按业务影响?

必须按业务影响。技术指标只能作为判定依据,不能作为分级依据。

  • P0:用户侧已经能感知。错误率超过 1%、支付回调失败、首页响应超过 3 秒、登录不可用。这类走电话,五分钟内必须有人确认。
  • P1:资源逼近上限但业务还没坏。连接数超过阈值 80%、CPU 持续 90%、单 IP 段请求占比异常。走 IM,一小时内处理。
  • P2:单点异常,无扩散趋势。单条规则命中抬升、单个境外 IP 高频探测。进日报,次日处理。

有一个前置条件常被忽略:P0 告警必须能在五分钟内判定是不是攻击。做不到就别设 P0,否则半夜被叫起来也是白起。

Q:日常巡检多久一次,每次看什么?

日巡检五分钟,周巡检半小时,月巡检一小时,别合并:

# 日巡检:错误率、限流占比、限流 TOP 路径、单 IP TOP
log=/var/log/nginx/access.log
awk '{n++} $9>=400{e++} $9==429{l++}
     END{printf "req=%d err=%.2f%% limited=%.2f%%\n",n,e*100/n,l*100/n}' $log
awk '$9==429{print $7}' $log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -5
awk '{print $1}' $log | sort | uniq -c | sort -rn | head -5
  • 日:错误率、429 占比、限流命中最多的五个路径、请求量最高的五个 IP、源站回源量、探针是否存活。
  • 周:哪几条规则贡献了八成命中(命中全集中在一条说明其它规则形同虚设)、白名单条目有没有变多、误伤工单数量。
  • 月:阈值余量(日常峰值除以阈值)、容量水位、过期规则清理、上次巡检待办是否销项。

Q:台账要记哪些字段,才不是走形式?

  • 时间窗:精确到分钟,只写日期等于没记。
  • 判定依据:写数值,例如「单 IP 段 5 分钟 1.2 万请求,静态资源占比 3%」。「疑似 CC」不是依据。
  • 影响面:受影响接口、错误率、是否波及支付或登录。
  • 处置动作:加了哪条规则、改了哪个阈值、封了哪个段,要能对应到具体配置项。
  • 误杀估算:处置动作影响了多少正常请求,有没有投诉。
  • 责任人与复盘链接:谁处置的、事后复盘在哪里。

最常见的形式主义是写「已处理」。三个月后回看,没人知道当时处理了什么。台账的价值在回溯,不在记录本身。

Q:怎么发现被漏掉的攻击?

漏报不会告警,只能主动找。四种方法按成本从低到高:

  • 观察模式与生效规则对比:同一批规则先只打标记不拦截,比较「标记命中量」与「实际拦截量」,差额就是漏掉的部分。
  • WAF 与源站日志交叉验证:WAF 说拦了,但源站日志里出现了同一 IP,说明请求绕过了防护层。
  • 攻击样本回放:把历史攻击的 UA、路径、参数在测试环境重打一遍,看现在的规则还认不认。
  • 蜜标:在页面里埋只有爬虫会跟进的隐蔽链接,一旦被访问就说明规则漏了。
# 交叉验证:WAF 拦截名单与源站实际收到的 IP 取交集
comm -12 <(awk '{print $1}' /var/log/waf/blocked.log | sort -u) \
         <(awk '{print $1}' /var/log/nginx/access.log | sort -u) | head

Q:巡检发现「规则在但不生效」怎么查?

四类半失效,从外到内排:

  • 被前面的放行吃掉:Nginx 的 allow、deny 和 if 都是自上而下命中即止,白名单写在通用拦截之前,后面的规则永远执行不到。
  • location 优先级错位:精确匹配优先于前缀匹配,正则优先于普通前缀。规则写在错的 location 里,请求根本进不去。
  • 上游先挡掉了:CDN 或 WAF 已经返回 403,源站看不到请求,你以为规则没生效,其实是被上游拦了。
  • 缓存层拦截在前:命中缓存的请求不经过后端,规则自然没机会执行。
# 用可控请求验证规则是否真的在生效
curl -s -o /dev/null -w '%{http_code}\n' -A 'python-requests/2.31' https://www.example.com/
curl -s -o /dev/null -w '%{http_code}\n' -e '' https://www.example.com/api/list
nginx -T | grep -n 'limit_req\|deny\|allow' | head -20

Q:告警渠道和值班交接怎么配合?

  • 通道分离:电话只给 P0,IM 群给 P1,P2 进日报。全塞进一个群,等于没有分级。
  • 交接三件事:未闭环事件、当天临时加的白名单、当天改过的规则。这三项不交清,下一班必踩坑。
  • 静默要留痕:任何静默操作必须写原因和解除时间,不写明时间的静默等于永久关闭。

Q:还有什么补充建议?

  • 每月做一次静默审计:把所有告警关掉一天,看有没有异常被漏掉。这是检验「告警到底有没有用」最直接的办法。
  • 台账放在团队能查到的共享位置,别只留在某个人的聊天记录里。
  • 盯三个指标:告警处置率、平均确认时长、误杀率。前两个往上走、第三个往下走才算健康。
  • 最后一句:能处理完的告警才叫告警,处理不完的只是噪音。