Ceph 存储集群加固实战:cephx 与网关隔离

Ceph 存储集群加固最容易被跳过的一步是凭证治理:装集群时习惯性 ceph auth get client.admin 把全权限密钥拷到每台业务机,结果任何一台被拿下的应用服务器都等于拿到整个存储集群的 root。叠加 mon 的 3300/6789、OSD 的 6800-7300、Dashboard 的 8443、RGW 的 7480 全部对内网敞开,横向移动几乎没有阻碍。

下面按「网络隔离 → 认证强制 → 凭证最小化 → 网关与面板收口 → 抗误删与审计」五步给出可执行的加固配置,适用于 cephadm 与包安装两种部署方式。

适用场景

  • 私有云、超融合环境,Ceph 同时承载块存储(RBD)、文件系统(CephFS)与对象存储(RGW)
  • 多个业务团队共用一套集群,需要按池隔离读写权限
  • RGW 对象网关对外提供 S3 接口,或已接入公网域名
  • 需要通过等保或内审,要求存储层具备身份鉴别、访问控制与操作审计记录

前置条件

  • Ceph Quincy(17.2)或 Reef(18.2),ceph -s 为 HEALTH_OK、无 PG 异常
  • 集群网(cluster network)与业务网(public network)已分离,或计划本轮拆分
  • root 或具备 client.admin 的运维账号,/etc/ceph/ceph.conf 与 keyring 就位
  • firewall-cmd 或 nft 可用;集群处于可短暂维护窗口(改 Dashboard 监听地址会重启 mgr 模块)
  • 提前备份 client.admin keyring 到离线介质——加固过程中误删 admin 密钥将失去集群管理入口

原理说明

Ceph 的认证体系是 cephx:客户端不直接持有长期口令,而是用共享密钥向 mon 申请票据(ticket),mon 签发后用该密钥加密返回,客户端解密后凭票据访问 OSD、MDS、MGR。因此 cephx 的安全性完全取决于两点:密钥是否最小权限、密钥是否只落在需要的机器上。

凭证的权限粒度由 cap(capability)表达,按守护进程类型分开授权:

  • mon:allow r 只读集群图;allow rw 可修改认证库,绝不能给业务方
  • osd:allow rw pool=<池名> 限定单池读写,是业务应用的标准形态
  • mds:CephFS 客户端需要,allow rw path=/volumes/xxx 可按路径收窄
  • mgr:allow r 足以读取指标,allow rw 可改配置,慎给

传输层方面,msgr2 协议在设计上支持会话加密,v1(6789 端口)不具备同等保护。集群应统一使用 v2 地址(3300 端口),并用防火墙把 v1 端口对业务网关闭。RGW 走的是 HTTP/S3,认证由 S3 签名(SigV4)或 STS 完成,与 cephx 是两套体系,需要单独收口。

操作步骤

1. 端口盘点与网络隔离

先确认真实监听,避免按文档拍脑袋配防火墙:

ss -lntp | grep -E ':(3300|6789|8443|9283|7480|443)\b'
ceph mon dump | grep -E 'v1:|v2:'

端口清单如下,OSD 端口是动态递增的整段,只放通单个端口会导致 PG 恢复卡死:

  • mon:3300(msgr2)、6789(msgr1,加固后仅集群网保留)
  • osd:6800-7300(随守护进程编号递增,含数据与心跳)
  • mgr:8443(Dashboard)、9283(Prometheus 指标)
  • rgw:7480(HTTP)、443(HTTPS,对外只开这个)
  • mds:6800 起,与 OSD 段重叠,按实际 ceph orch ps 输出确认
firewall-cmd --permanent --new-zone=ceph-cluster
firewall-cmd --permanent --zone=ceph-cluster --add-source=10.10.10.0/24
firewall-cmd --permanent --zone=ceph-cluster --add-port=3300/tcp \
             --add-port=6789/tcp --add-port=6800-7300/tcp \
             --add-port=8443/tcp --add-port=9283/tcp
firewall-cmd --permanent --zone=public --remove-port=3300/tcp
firewall-cmd --permanent --zone=public --remove-port=6789/tcp
firewall-cmd --reload
firewall-cmd --zone=ceph-cluster --list-all

2. 强制 cephx 认证

关闭 cephx 会让任何能连到 mon 的主机无需凭证即可读写集群,这是最危险的一种「优化」。确认三项均为 cephx:

ceph config get mon auth_cluster_required
ceph config get mon auth_client_required
ceph config get mon auth_supported

# 若出现 none,立即改回
ceph config set mon auth_cluster_required cephx
ceph config set mon auth_client_required cephx
ceph config set mon auth_supported cephx

改完用 ceph -s 确认健康,再逐个业务端验证连通性,避免集群内部认证中断导致 OSD 心跳超时。

3. 凭证最小化:按池授权

业务应用只该拿到「自己那个池的读写权限」。创建受限用户并落到独立 keyring,不要复用 client.admin:

ceph auth get-or-create client.app_orders \
  mon 'allow r' \
  osd 'allow rw pool=orders_data, allow r class-read object_prefix rbd_children' \
  mgr 'allow r' \
  -o /etc/ceph/ceph.client.app_orders.keyring

chmod 600 /etc/ceph/ceph.client.app_orders.keyring
chown app:app /etc/ceph/ceph.client.app_orders.keyring

已有用户收紧权限用 ceph auth caps,它会整体覆盖原有 cap,写错顺序不影响但写漏一项等于降权失败:

ceph auth caps client.app_orders \
  mon 'allow r' \
  osd 'allow rw pool=orders_data'

4. 凭证审计与清理

加固的核心动作是「找出谁拥有不该有的权限」。先全量导出,再逐个收敛:

ceph auth ls

# 用 json 输出做统计,快速定位 mon rw 与 osd *
ceph auth ls -f json | python3 -c "
import json,sys
for x in json.load(sys.stdin)['auth_dump']:
    caps=x.get('caps',{})
    print(x['entity'], '|', caps.get('mon'), '|', str(caps.get('osd'))[:60])
"

# 删除废弃用户
ceph auth del client.old_app

检查项:是否存在 mon: allow * 的非 admin 用户;是否存在 osd: allow * 的业务用户;长期无访问记录的 client 是否应删除。删除前先用 ceph auth get client.xxx 备份内容,避免业务中断后无法回滚。

5. Dashboard 与 RGW 收口

Dashboard 默认监听所有地址的 8443,一个默认口令等于集群可视化后门。改成只监听集群网地址,并强制新口令:

ceph config set mgr mgr/dashboard/server_addr 10.10.10.11
ceph config set mgr mgr/dashboard/ssl true
ceph dashboard ac-user-set-password admin -i /root/dash_pass.txt
ceph dashboard ac-user-create auditor -i /root/auditor_pass.txt readonly
systemctl restart ceph-mgr@$(hostname -s)

RGW 侧的关键是关掉不需要的 API、只暴露 443,并把匿名访问清零:

# /etc/ceph/ceph.conf 中对应 rgw 实例段
[client.rgw.gw1]
rgw_frontends = beast ssl_port=443 ssl_certificate=/etc/ceph/rgw.crt
rgw_enable_apis = s3
rgw_max_put_size = 5368709120
rgw_max_conns = 2048
rgw_enable_usage_log = true
rgw_keystone_api_version = 3

systemctl restart ceph-radosgw@rgw.gw1

rgw_enable_apis = s3 只保留 S3 接口,admin(管理 API)与 swift 按需关闭。rgw_enable_usage_log = true 打开用量日志,是后续审计「谁在何时写了什么」的唯一数据源。接着逐桶检查策略,确认没有 Principal: "*" 的 Allow:

radosgw-admin bucket list --uid=app1
radosgw-admin policy --bucket=assets
radosgw-admin metadata get bucket:assets | head -20

6. 抗误删与操作审计

存储事故里误删的比例不低于入侵。对承载业务数据的池开启写保护与结构保护:

ceph osd pool set orders_data nodelete true
ceph osd pool set orders_data nopgchange true
ceph osd pool set orders_data nosizechange true

# 打开集群日志落盘,保留操作痕迹
ceph config set global mon_cluster_log_to_file true
ceph config set global mon_cluster_log_file '/var/log/ceph/$cluster.$name.log'
ceph log last 50

nodelete 只是禁止删除池,不阻止池内对象被删,真正的防误删仍要靠快照与异地副本;mon_cluster_log_to_file 打开的日志是事后追责的主要依据,建议同步到独立日志服务器,避免被本机清理。

配置验证

# 1) 集群健康
ceph -s
ceph health detail

# 2) 认证模式
ceph config get mon auth_client_required     # 期望 cephx

# 3) 凭证内容
ceph auth get client.app_orders

# 4) 受限用户只能访问授权池
rados --id app_orders -p orders_data put /tmp/t.bin --object test
rados --id app_orders -p other_pool ls        # 期望报权限错误

# 5) 端口暴露面
ss -lntp | grep -E ':(3300|6789|8443|7480|443)\b'

# 6) RGW TLS
openssl s_client -connect gw1.example.com:443 -servername gw1.example.com </dev/null 2>&1 \
  | grep -E 'Protocol|Cipher'

# 7) 池保护标记
ceph osd pool get orders_data nodelete

第 4 条是权限是否真的生效的分水岭:受权池写入成功、越权池返回 Permission denied(或 error connecting to osd)才算配置正确。第 5 条里 6789 与 7480 不应出现在业务网卡上。

常见问题

防火墙开启后 PG 一直 active+undersized,恢复进度不动

OSD 端口是 6800 起动态递增的一段,只放通 6800 或 68xx 单点会导致 OSD 之间的数据复制与心跳阻断。ceph health detail 通常显示 slow ops 或 heartbeat failure。放通完整 6800-7300 段即可,若集群规模大需要核对 ceph orch ps 中实际最大端口号。

业务端报 error connecting to mon,但 telnet 3300 是通的

两种常见原因:客户端 ceph.conf 里仍写着 v1 地址(6789),而该端口已在业务网关闭;或 keyring 的 mon cap 不足,握手阶段被拒。用指定 id 验证:

ceph -s --id app_orders
ceph auth get client.app_orders

第一条能出集群状态说明认证正常、问题在网络路径;第二条若输出为空,说明 keyring 未部署到该机器或文件名与 --id 不匹配。

收回 client.admin 后自动化脚本全部失败

脚本里通常硬编码了 --id admin。正确做法是为每类任务建专用用户并只给必需 cap,例如备份任务只需读池:

ceph auth get-or-create client.backup \
  mon 'allow r' osd 'allow r pool=orders_data' mgr 'allow r' \
  -o /etc/ceph/ceph.client.backup.keyring

rbd export --id backup --pool orders_data --image vm-disk01 /backup/vm-disk01.img

改 Dashboard server_addr 后 mgr 无法启动

新地址不属于本机任何网卡,或 8443 被防火墙拦截导致自检失败。先用 ip -4 addr | grep 10.10.10 确认地址存在,再 firewall-cmd --zone=ceph-cluster --add-port=8443/tcp;若已启动失败,回滚配置:ceph config rm mgr mgr/dashboard/server_addr 后重启 mgr。

总结

Ceph 加固的收益高度集中在凭证治理:把 client.admin 从业务机撤干净、把每个应用压到单池 cap,横向移动的成本立刻上一个量级。网络隔离与端口收口是第二层,RGW 与 Dashboard 的收口排在第三——它们面向 HTTP,暴露面比块存储更直接。

三个可持续动作:ceph auth ls -f json 每月导出一次做权限漂移比对;把 ceph health detail、PG 状态、OSD 端口可达性纳入监控;admin keyring 离线备份并限定取用流程,因为集群管理入口一旦丢失,恢复代价远高于一次入侵。