K8s DDoS防护怎么做?入口与节点加固

容器集群被打,症状和物理机完全不同:Pod 看着没事,节点先崩。本文讲清 K8s DDoS防护该堵哪些入口、限流配在哪一层、节点为什么会先挂。

Q:K8s 被打的位置和物理机有什么不同?

物理机上链路很清楚:网卡、Nginx、PHP。集群里多了四层转发,每一层都有独立的瓶颈:

  • 云负载均衡:带宽与连接数上限,通常最先撞到的墙。
  • 节点内核:conntrack 表与 netfilter 规则链,被打时最先报错的地方。
  • Service 与 Ingress:限流配在哪个对象上,决定了你改得对不对。
  • Pod:有 CPU 与内存限制,但挂了会被重建,看起来「没事」。

所以最典型的现象是:Pod 的 CPU 曲线很平,节点却 NotReady,业务全站 502。这时候去扩 Pod 完全是白费力气。

Q:最容易漏的入口是哪几个?

  • NodePort:每个节点上都开着一个高位端口直指 Service。攻击者扫到节点公网 IP 就绕过云负载均衡与 CDN 直连,你所有边缘规则一律失效。
  • LoadBalancer 类型 Service:每建一个就申请一个公网 IP,团队随手建的测试服务会一直挂着。
  • Ingress 默认 backend:配置写错时把 404 也打到后端,白吃 CPU。
  • 临时 port-forward 进程:排障开的口子常常忘了关。
# 列出所有对外暴露的 Service
kubectl get svc -A -o wide | grep -E 'NodePort|LoadBalancer'

# 只看 NodePort 端口
kubectl get svc -A -o jsonpath='{range .items[?(@.spec.type=="NodePort")]}{.metadata.namespace}/{.metadata.name} {.spec.ports[*].nodePort}{"\n"}{end}'

原则一句话:业务入口只留 Ingress 一个,NodePort 一律不对公网开放,云上安全组要显式拒绝这一段端口。

Q:Ingress 层怎么限流?

以最常见的 ingress-nginx 为例,全部通过注解完成,不用改 ConfigMap:

metadata:
  annotations:
    nginx.ingress.kubernetes.io/limit-rps: "5"
    nginx.ingress.kubernetes.io/limit-burst-multiplier: "3"
    nginx.ingress.kubernetes.io/limit-connections: "10"
    nginx.ingress.kubernetes.io/limit-whitelist: "10.0.0.0/8,回源网段"
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "3"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "30"
  • limit-rps 是按 IP 算的,前提是先有真实 IP,否则所有请求共用一个回源地址,一限全站限死。
  • limit-burst-multiplier 是倍数不是条数。5rps 乘 3 等于 15 个突发,和裸 Nginx 的 burst 语义不同,照抄会配错。
  • 超时不要留默认值。Slowloris 这类攻击靠挂连接消耗 worker,connect 3 秒、read 30 秒能把请求快速回收。
  • 不同路径分不同 Ingress。全站一个策略必然误伤:搜索接口 1rps,静态资源可以完全放开。

Q:节点为什么会先挂?conntrack 怎么查?

因为 kube-proxy 的 iptables 模式为每个连接记一条 conntrack 记录,表满了直接丢包,表现为「节点还在、新连接全失败」。

# 当前值与上限
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
# 是否已经在丢包
dmesg -T | grep -i 'nf_conntrack: table full'
# 明细里最多的目的端口
conntrack -L 2>/dev/null | awk '{print $6}' | sort | uniq -c | sort -rn | head

调参写进节点初始化,重启才不会丢:

# /etc/sysctl.d/99-k8s-ddos.conf
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 3600
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 30
net.core.somaxconn = 32768
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_fin_timeout = 15

conntrack 是拿内存换的,100 万条约占几百 MB,节点内存要留够。把 syn_recv 超时从默认 120 秒降到 30 秒,对 SYN Flood 的效果比单纯调大上限更直接。

Q:怎么在集群里保住真实客户端 IP?

默认 Service 会做一次 SNAT,Pod 里看到的源地址是节点 IP。三种改法,按适用场景选:

  • externalTrafficPolicy: Local:只转发到本节点的 Pod,不做 SNAT,源 IP 保留。代价是负载不均,节点数要够。
  • proxy-protocol:云负载均衡支持时开启,Ingress 侧配 use-proxy-protocol: "true"。注意开了之后所有非代理流量都会被拒。
  • X-Forwarded-For 透传:最通用,但要确保 Ingress 只信任可信来源的 XFF,否则等于给人递伪造工具。
# 在 Pod 里打一条测试请求,确认 Ingress 日志里的客户端地址是真实公网 IP
kubectl run t --rm -it --image=nicolaka/netshoot -- curl -s ifconfig.me
kubectl logs -l app.kubernetes.io/name=ingress-nginx --tail=5

保不住真实 IP,所有按 IP 的限流都是摆设。这是集群防 DDoS 里最容易被跳过、又最致命的一步。

Q:HPA 自动扩容会不会帮了攻击者?

会,而且很常见。流量一上来 HPA 就扩 Pod,Pod 一多数据库连接池跟着翻倍,最后不是被流量打死,是被自己的连接数打挂。

  • maxReplicas 必须写死,按数据库能承受的并发倒推,不要按 CPU 目标反推。
  • 扩容要慢、缩容要更慢,用 behavior 控制,避免抖动式反复扩缩。
  • 数据库与 Redis 不跟着扩,它们的连接上限是全局的。
behavior:
  scaleUp:
    stabilizationWindowSeconds: 60
    policies:
    - type: Pods
      value: 2
      periodSeconds: 60
  scaleDown:
    stabilizationWindowSeconds: 600

正确顺序是先在入口限流,再让 HPA 兜底。顺序反了,只是把攻击者的压力原封不动转给后端。

Q:清洗该放在哪一层?

  • 七层 CC:放最外层(Ingress 或云 WAF),判定依据是请求而不是包。
  • 四层流量型:只能靠云清洗或高防。集群内部做不了,节点上再怎么调 sysctl,物理带宽打满就是打满。
  • NetworkPolicy:只收内网暴露面,对带宽型攻击完全无效,别指望它防 DDoS。
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: db-only-from-api
spec:
  podSelector:
    matchLabels:
      app: mysql
  policyTypes: ["Ingress"]
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: api
    ports:
    - port: 3306
      protocol: TCP

分工记一句:带宽靠上游,包特征靠边界,请求特征靠入口,内部只做最小可见。

Q:入口的重试会不会放大攻击?

会,放大倍数还经常被忽略。一次请求在后端超时,如果 Ingress 配了 next-upstream 重试,同一次攻击就变成两到三次后端请求;客户端 SDK 再叠一层重试,QPS 直接翻三倍。

nginx.ingress.kubernetes.io/proxy-next-upstream: "error timeout"
nginx.ingress.kubernetes.io/proxy-next-upstream-tries: "1"
nginx.ingress.kubernetes.io/proxy-next-upstream-timeout: "5"
  • 写接口一律不重试。下单、支付、提交这类动作,重复执行比失败更麻烦。
  • 入口超时要短于客户端超时。否则客户端先断,后端还在跑,CPU 白烧。
  • 前端不要对 5xx 自动重试。429 可以带 Retry-After,让客户端按节奏排队。

被打的当下,先把重试关掉,往往比调限流见效更快。

Q:被打的时候处置顺序是什么?

  • 第一步止血:把入口 Ingress 的 limit-rps 临时调低,或让云 WAF 开挑战模式。先让业务能打开,再谈体验。
  • 第二步确认真实 IP 可用:看 Ingress 日志里是不是真实客户端地址,不是就先修 XFF,否则后面所有手段都打偏。
  • 第三步看节点指标:conntrack、节点 load、网卡丢包。节点级问题调 sysctl,不要盲目扩 Pod。
  • 第四步收暴露面:临时关闭 NodePort、摘掉多余的 LoadBalancer Service。
  • 第五步才谈加钱:接清洗、升带宽。

最常见的错误是把顺序做反:先扩容、先加机器,结果账单涨了、业务还是打不开。扩容解决不了带宽,也解决不了 conntrack。

Q:还有什么补充建议?

  • 把 Ingress 访问日志落到独立存储,别和业务日志混在一起,出事时才能按 IP 与路径快速聚合。
  • 做一次演练:从集群外用 ab 压 Ingress,观察 conntrack 与 429 比例。没演练过的限流规则等于没配。
  • 给节点打角色标签,跑 Ingress 的节点与跑数据库的节点分开,前者被打不至于把数据层一起拖走。
  • 每月跑一次 kubectl get svc -A 审计暴露面,比任何一次事后处置都值钱。
  • 最后一句:K8s 的防护难点不在规则,在你看不见的那些 Service。