ipset 大规模 IP 封禁实战:百万黑名单配置

适用场景

ipset 是大规模 IP 封禁场景下替代「一条 IP 一条 iptables 规则」的正确做法。当恶意 IP 数量从几百涨到几万、几十万,把每条 IP 都写成独立 iptables 规则会让规则链变成线性扫描,包处理耗时随规则数线性上升,最终网卡中断占满 CPU,服务器被自己的防火墙拖死。

以下情况适合用 ipset 重建封禁体系:

  • CC 攻击、目录爆破、爬虫刷站每天产生数万个恶意 IP,需要按小时级批量封禁;
  • iptables -L 输出几千行,加载和匹配都已明显变慢;
  • 需要「封一段时间自动解封」的临时封禁,而不是人工维护规则;
  • 封禁动作来自自动化脚本(日志分析、fail2ban、WAF 告警),要求高频写入不影响转发性能。

前置条件

  • Linux 内核已编译 ip_set 相关模块(2.6.32 以上默认具备,CentOS 7 / Debian 10 之后无需额外操作);
  • 已安装 ipset 工具包(RHEL 系 ipset 包,Debian 系 ipset);
  • 具备 root 权限,且当前 iptables 规则已备份(iptables-save);
  • 明确白名单范围:办公出口 IP、监控探针、CDN 回源段、合作方回调 IP。

原理说明

iptables 的规则链是顺序匹配的:一个数据包进入 INPUT 链后,从第一条规则开始逐条比对,命中即执行动作,未命中继续往下。规则里如果写了 DROP 几千个 IP,每个包最坏情况要比较几千次,这个成本随规则数量线性增长。

ipset 的思路是把「IP 列表」从规则链里搬到内核的哈希表中。iptables 只保留一条规则:-m set --match-set blacklist src -j DROP,匹配由哈希表完成,时间复杂度接近 O(1),与集合内元素数量无关。同时 ipset 支持:

  • 超时自动删除:timeout 参数让条目到期自动消失,无需定时清理脚本;
  • 批量原子载入:ipset restore 一次性导入几十万条,比循环执行 ipset add 快两个数量级;
  • 网段类型:hash:net 支持 CIDR,一个 /24 只占一条,能压缩大量同段 IP;
  • 计数器:packets/bytes 统计命中量,便于验证封禁是否真正生效。

关键取舍:hash:ip 适合精确单 IP,hash:net 适合含网段的混合列表,hash:ip,port 适合按 IP+端口维度封禁。不要用 hash:ip 存 CIDR,会直接报错拒绝。

操作步骤

1. 确认内核模块与工具

modprobe ip_set
modprobe ip_set_hash_ip
modprobe ip_set_hash_net
modprobe xt_set

lsmod | grep -E "ip_set|xt_set"
ipset -V

若 xt_set 未加载,iptables 的 -m set 会报 Couldn't load match 'set'。把模块写入 /etc/modules-load.d/ipset.conf 可保证重启后自动加载。

2. 备份现有规则

iptables-save > /root/iptables.bak.$(date +%F)
mkdir -p /etc/ipset && ipset save > /etc/ipset/ipset.bak.$(date +%F)

3. 创建集合

# 黑名单:单 IP,默认 1 小时过期,最多 100 万条
ipset create blacklist hash:ip timeout 3600 maxelem 1000000 -exist

# 网段黑名单:支持 CIDR
ipset create blacklist_net hash:net timeout 86400 maxelem 200000 -exist

# 永久白名单:不过期
ipset create whitelist hash:net timeout 0 maxelem 65536 -exist

# 观察
ipset list -n

maxelem 决定哈希表预分配上限,按实际规模设置即可,设得过大浪费内存,设得过小写入时会报「Hash is full」。100 万条的 hash:ip 大约占用 40-60MB 内存。

4. 在 iptables 中引用集合

# 白名单优先放行,必须放在封禁规则之前
iptables -I INPUT 1 -m set --match-set whitelist src -j ACCEPT

# 黑名单丢弃(含网段集合)
iptables -I INPUT 2 -m set --match-set blacklist src -j DROP
iptables -I INPUT 3 -m set --match-set blacklist_net src -j DROP

# 转发链同样需要,否则只挡了本机服务
iptables -I FORWARD 1 -m set --match-set whitelist src -j ACCEPT
iptables -I FORWARD 2 -m set --match-set blacklist src -j DROP

顺序是这套方案最容易出错的地方:白名单必须在 DROP 之前。用 -I INPUT 1 精确指定插入位置,比反复 -I(每次插到首位,导致顺序与预期相反)更可靠。

5. 批量导入大量 IP

# ipset restore 需要 -exist 才能重复执行
cat > /tmp/blacklist.txt <<'EOF'
add blacklist 203.0.113.10 timeout 3600
add blacklist 203.0.113.11 timeout 3600
add blacklist_net 198.51.100.0/24 timeout 86400
add whitelist 192.0.2.0/24
EOF

ipset restore -exist < /tmp/blacklist.txt
ipset list blacklist | tail -5

十万条规模直接用 ipset restore,耗时在秒级;如果写成 for 循环调用 ipset add,每条约 5-10ms,十万条要十几分钟,且期间持续持有内核锁。批量场景一律用 restore。

6. 日常增删查

# 单条加入,指定独立超时(覆盖集合默认值)
ipset add blacklist 203.0.113.20 timeout 7200

# 网段加入
ipset add blacklist_net 198.51.100.0/24

# 查询是否存在
ipset test blacklist 203.0.113.20

# 删除单条
ipset del blacklist 203.0.113.20

# 查看全部(含命中计数)
ipset list blacklist

# 只统计条数
ipset list blacklist | grep -c "^[0-9]"

7. 用日志自动封禁(脚本)

cat > /usr/local/bin/auto_ban.sh <<'EOF'
#!/bin/bash
# 从 Nginx 日志提取 1 分钟内请求数超过 200 的 IP,写入 ipset
LOG=/var/log/nginx/access.log
THRESHOLD=200
WINDOW="1 minute ago"

ipset create blacklist hash:ip timeout 3600 maxelem 1000000 -exist

# 按时间窗口过滤,避免把历史流量重复计算
START=$(date -d "$WINDOW" '+%d/%b/%Y:%H:%M')
awk -v start="$START" '{
    gsub(/\[/, "", $4);
    ts = $4;
    if (ts >= start) print $1
}' "$LOG" | sort | uniq -c | sort -rn | \
while read cnt ip; do
    if [ "$cnt" -ge "$THRESHOLD" ]; then
        ipset add blacklist "$ip" timeout 3600 -exist
        echo "$(date '+%F %T') ban $ip hits=$cnt" >> /var/log/auto_ban.log
    fi
done
EOF
chmod +x /usr/local/bin/auto_ban.sh
# 每分钟执行
echo "* * * * * root /usr/local/bin/auto_ban.sh >/dev/null 2>&1" > /etc/cron.d/auto_ban

脚本要点:-exist 保证重复执行不报错;timeout 3600 让封禁自动到期,避免误封永久生效;白名单判断建议在脚本开头加一段 ipset test whitelist 跳过,双保险。

8. 与 fail2ban 联动

# /etc/fail2ban/jail.local
[DEFAULT]
banaction = iptables-ipset-proto6
banaction_allports = iptables-ipset-proto6-allports
bantime = 3600
findtime = 600
maxretry = 20

[nginx-limit-req]
enabled = true
logpath = /var/log/nginx/error.log

fail2ban 的 iptables-ipset-proto6 action 会自建 f2b-* 集合,比默认的多链 iptables 方案在高 IP 量下性能好得多。不要同时手工维护同名集合,避免两边互相覆盖。

9. 持久化

# 保存当前集合状态
ipset save > /etc/ipset/ipset.rules

# systemd 开机恢复
cat > /etc/systemd/system/ipset-restore.service <<'EOF'
[Unit]
Description=Restore ipset rules
Before=network-pre.target iptables.service
Wants=network-pre.target

[Service]
Type=oneshot
ExecStart=/sbin/ipset restore -exist -f /etc/ipset/ipset.rules
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
EOF
systemctl enable --now ipset-restore.service

注意 -exist:服务重启时集合可能已由脚本创建,没有这个参数会因「Set already exists」失败,导致后续条目全部未载入。

配置验证

# 1. 集合是否存在、条目数是否符合预期
ipset list -t
ipset list blacklist | grep -c "^[0-9]"

# 2. 规则顺序是否正确(白名单必须在前)
iptables -vnL INPUT --line-numbers | head -10

# 3. 命中计数是否增长(证明封禁生效)
ipset list blacklist | grep -A2 "203.0.113.20"
iptables -vnL INPUT | grep match-set

# 4. 实际连通性测试(从被封 IP 之外的主机执行)
curl -s -o /dev/null -w "%{http_code} %{time_total}\n" https://www.example.com/

观察 ipset list 输出中的 packets 与 bytes 两个计数器:被封 IP 持续请求时这两个值会增长;如果始终为 0,说明规则没被匹配到,要检查链位置(INPUT 还是 FORWARD)、--match-set 的 src/dst 方向,以及是否有更靠前的 ACCEPT 规则提前放行。

规模较大时对比一下规则数:加固前 iptables -L INPUT | wc -l 可能是几千行,改用 ipset 后应降到几十行,而包处理开销不再随黑名单增长。

常见问题

Q1:ipset add 报错「Hash is full, cannot add new entry」

maxelem 到达上限。两种处理方式:调大上限(ipset destroy 后重建,或部分类型支持 ipset resize),或者改用更省空间的类型——同一网段大量 IP 用 hash:net + CIDR 合并,通常能把条目数压掉一个数量级。生产环境建议直接预留 2 倍余量,并在监控里对 ipset list blacklist | grep -c 设告警。

Q2:加了 ipset 规则后整站访问不了,包括自己

九成是规则顺序问题:DROP 排在白名单或 ESTABLISHED 放行之前。正确顺序应为:

iptables -I INPUT 1 -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -I INPUT 2 -m set --match-set whitelist src -j ACCEPT
iptables -I INPUT 3 -m set --match-set blacklist src -j DROP

另外要确认运维入口 IP 是否在白名单里。操作前先开一个已登录的 SSH 会话不关,规则写错时可从该会话回滚,避免被自己的防火墙锁在门外。

Q3:封了 IP 之后攻击还在,日志里依然有请求

先确认攻击来源是否已变化:分布式攻击会轮换 IP 池,封 1000 个马上换 5000 个,这时应改为按网段封(hash:net)、按 ASN 或地域封,或把防护上移到 CDN/WAF 层做行为识别。其次确认 FORWARD 链是否也加了规则——如果流量经 NAT 转发到容器或内网后端,只封 INPUT 是无效的。

Q4:集合条目到期后为什么规则还在,但 IP 又能访问了

这是设计如此:timeout 到期只删除集合内的条目,iptables 那条 -m set 规则依然存在,只是匹配不到任何 IP,因此放行。这种机制的好处是解封不需要改规则链,也就不会出现「解封脚本把别的规则删错」的事故。

总结

大规模封禁的性能瓶颈从来不是「能不能封」,而是「封了之后包处理还快不快」。ipset 把 IP 列表从线性规则链搬到内核哈希表,让封禁规模与转发性能解耦,这是它不可替代的价值。

落地顺序建议:先确认模块与工具可用,再建白名单与黑名单两个集合(一个不过期、一个带超时),然后把 iptables 规则压成固定的三到四条并严格控制顺序,最后接上日志自动封禁脚本与持久化服务。做完后回调一次 iptables -vnL:规则行数应该从几千行降到几十行,而 ipset list 的条目数可以放心涨到几十万。