Ceph 存储集群加固最容易被跳过的一步是凭证治理:装集群时习惯性 ceph auth get client.admin 把全权限密钥拷到每台业务机,结果任何一台被拿下的应用服务器都等于拿到整个存储集群的 root。叠加 mon 的 3300/6789、OSD 的 6800-7300、Dashboard 的 8443、RGW 的 7480 全部对内网敞开,横向移动几乎没有阻碍。
下面按「网络隔离 → 认证强制 → 凭证最小化 → 网关与面板收口 → 抗误删与审计」五步给出可执行的加固配置,适用于 cephadm 与包安装两种部署方式。
适用场景
- 私有云、超融合环境,Ceph 同时承载块存储(RBD)、文件系统(CephFS)与对象存储(RGW)
- 多个业务团队共用一套集群,需要按池隔离读写权限
- RGW 对象网关对外提供 S3 接口,或已接入公网域名
- 需要通过等保或内审,要求存储层具备身份鉴别、访问控制与操作审计记录
前置条件
- Ceph Quincy(17.2)或 Reef(18.2),
ceph -s为 HEALTH_OK、无 PG 异常 - 集群网(cluster network)与业务网(public network)已分离,或计划本轮拆分
- root 或具备
client.admin的运维账号,/etc/ceph/ceph.conf与 keyring 就位 firewall-cmd或nft可用;集群处于可短暂维护窗口(改 Dashboard 监听地址会重启 mgr 模块)- 提前备份
client.adminkeyring 到离线介质——加固过程中误删 admin 密钥将失去集群管理入口
原理说明
Ceph 的认证体系是 cephx:客户端不直接持有长期口令,而是用共享密钥向 mon 申请票据(ticket),mon 签发后用该密钥加密返回,客户端解密后凭票据访问 OSD、MDS、MGR。因此 cephx 的安全性完全取决于两点:密钥是否最小权限、密钥是否只落在需要的机器上。
凭证的权限粒度由 cap(capability)表达,按守护进程类型分开授权:
mon:allow r只读集群图;allow rw可修改认证库,绝不能给业务方osd:allow rw pool=<池名>限定单池读写,是业务应用的标准形态mds:CephFS 客户端需要,allow rw path=/volumes/xxx可按路径收窄mgr:allow r足以读取指标,allow rw可改配置,慎给
传输层方面,msgr2 协议在设计上支持会话加密,v1(6789 端口)不具备同等保护。集群应统一使用 v2 地址(3300 端口),并用防火墙把 v1 端口对业务网关闭。RGW 走的是 HTTP/S3,认证由 S3 签名(SigV4)或 STS 完成,与 cephx 是两套体系,需要单独收口。
操作步骤
1. 端口盘点与网络隔离
先确认真实监听,避免按文档拍脑袋配防火墙:
ss -lntp | grep -E ':(3300|6789|8443|9283|7480|443)\b'
ceph mon dump | grep -E 'v1:|v2:'
端口清单如下,OSD 端口是动态递增的整段,只放通单个端口会导致 PG 恢复卡死:
- mon:3300(msgr2)、6789(msgr1,加固后仅集群网保留)
- osd:6800-7300(随守护进程编号递增,含数据与心跳)
- mgr:8443(Dashboard)、9283(Prometheus 指标)
- rgw:7480(HTTP)、443(HTTPS,对外只开这个)
- mds:6800 起,与 OSD 段重叠,按实际
ceph orch ps输出确认
firewall-cmd --permanent --new-zone=ceph-cluster
firewall-cmd --permanent --zone=ceph-cluster --add-source=10.10.10.0/24
firewall-cmd --permanent --zone=ceph-cluster --add-port=3300/tcp \
--add-port=6789/tcp --add-port=6800-7300/tcp \
--add-port=8443/tcp --add-port=9283/tcp
firewall-cmd --permanent --zone=public --remove-port=3300/tcp
firewall-cmd --permanent --zone=public --remove-port=6789/tcp
firewall-cmd --reload
firewall-cmd --zone=ceph-cluster --list-all
2. 强制 cephx 认证
关闭 cephx 会让任何能连到 mon 的主机无需凭证即可读写集群,这是最危险的一种「优化」。确认三项均为 cephx:
ceph config get mon auth_cluster_required
ceph config get mon auth_client_required
ceph config get mon auth_supported
# 若出现 none,立即改回
ceph config set mon auth_cluster_required cephx
ceph config set mon auth_client_required cephx
ceph config set mon auth_supported cephx
改完用 ceph -s 确认健康,再逐个业务端验证连通性,避免集群内部认证中断导致 OSD 心跳超时。
3. 凭证最小化:按池授权
业务应用只该拿到「自己那个池的读写权限」。创建受限用户并落到独立 keyring,不要复用 client.admin:
ceph auth get-or-create client.app_orders \
mon 'allow r' \
osd 'allow rw pool=orders_data, allow r class-read object_prefix rbd_children' \
mgr 'allow r' \
-o /etc/ceph/ceph.client.app_orders.keyring
chmod 600 /etc/ceph/ceph.client.app_orders.keyring
chown app:app /etc/ceph/ceph.client.app_orders.keyring
已有用户收紧权限用 ceph auth caps,它会整体覆盖原有 cap,写错顺序不影响但写漏一项等于降权失败:
ceph auth caps client.app_orders \
mon 'allow r' \
osd 'allow rw pool=orders_data'
4. 凭证审计与清理
加固的核心动作是「找出谁拥有不该有的权限」。先全量导出,再逐个收敛:
ceph auth ls
# 用 json 输出做统计,快速定位 mon rw 与 osd *
ceph auth ls -f json | python3 -c "
import json,sys
for x in json.load(sys.stdin)['auth_dump']:
caps=x.get('caps',{})
print(x['entity'], '|', caps.get('mon'), '|', str(caps.get('osd'))[:60])
"
# 删除废弃用户
ceph auth del client.old_app
检查项:是否存在 mon: allow * 的非 admin 用户;是否存在 osd: allow * 的业务用户;长期无访问记录的 client 是否应删除。删除前先用 ceph auth get client.xxx 备份内容,避免业务中断后无法回滚。
5. Dashboard 与 RGW 收口
Dashboard 默认监听所有地址的 8443,一个默认口令等于集群可视化后门。改成只监听集群网地址,并强制新口令:
ceph config set mgr mgr/dashboard/server_addr 10.10.10.11
ceph config set mgr mgr/dashboard/ssl true
ceph dashboard ac-user-set-password admin -i /root/dash_pass.txt
ceph dashboard ac-user-create auditor -i /root/auditor_pass.txt readonly
systemctl restart ceph-mgr@$(hostname -s)
RGW 侧的关键是关掉不需要的 API、只暴露 443,并把匿名访问清零:
# /etc/ceph/ceph.conf 中对应 rgw 实例段
[client.rgw.gw1]
rgw_frontends = beast ssl_port=443 ssl_certificate=/etc/ceph/rgw.crt
rgw_enable_apis = s3
rgw_max_put_size = 5368709120
rgw_max_conns = 2048
rgw_enable_usage_log = true
rgw_keystone_api_version = 3
systemctl restart ceph-radosgw@rgw.gw1
rgw_enable_apis = s3 只保留 S3 接口,admin(管理 API)与 swift 按需关闭。rgw_enable_usage_log = true 打开用量日志,是后续审计「谁在何时写了什么」的唯一数据源。接着逐桶检查策略,确认没有 Principal: "*" 的 Allow:
radosgw-admin bucket list --uid=app1
radosgw-admin policy --bucket=assets
radosgw-admin metadata get bucket:assets | head -20
6. 抗误删与操作审计
存储事故里误删的比例不低于入侵。对承载业务数据的池开启写保护与结构保护:
ceph osd pool set orders_data nodelete true
ceph osd pool set orders_data nopgchange true
ceph osd pool set orders_data nosizechange true
# 打开集群日志落盘,保留操作痕迹
ceph config set global mon_cluster_log_to_file true
ceph config set global mon_cluster_log_file '/var/log/ceph/$cluster.$name.log'
ceph log last 50
nodelete 只是禁止删除池,不阻止池内对象被删,真正的防误删仍要靠快照与异地副本;mon_cluster_log_to_file 打开的日志是事后追责的主要依据,建议同步到独立日志服务器,避免被本机清理。
配置验证
# 1) 集群健康
ceph -s
ceph health detail
# 2) 认证模式
ceph config get mon auth_client_required # 期望 cephx
# 3) 凭证内容
ceph auth get client.app_orders
# 4) 受限用户只能访问授权池
rados --id app_orders -p orders_data put /tmp/t.bin --object test
rados --id app_orders -p other_pool ls # 期望报权限错误
# 5) 端口暴露面
ss -lntp | grep -E ':(3300|6789|8443|7480|443)\b'
# 6) RGW TLS
openssl s_client -connect gw1.example.com:443 -servername gw1.example.com </dev/null 2>&1 \
| grep -E 'Protocol|Cipher'
# 7) 池保护标记
ceph osd pool get orders_data nodelete
第 4 条是权限是否真的生效的分水岭:受权池写入成功、越权池返回 Permission denied(或 error connecting to osd)才算配置正确。第 5 条里 6789 与 7480 不应出现在业务网卡上。
常见问题
防火墙开启后 PG 一直 active+undersized,恢复进度不动
OSD 端口是 6800 起动态递增的一段,只放通 6800 或 68xx 单点会导致 OSD 之间的数据复制与心跳阻断。ceph health detail 通常显示 slow ops 或 heartbeat failure。放通完整 6800-7300 段即可,若集群规模大需要核对 ceph orch ps 中实际最大端口号。
业务端报 error connecting to mon,但 telnet 3300 是通的
两种常见原因:客户端 ceph.conf 里仍写着 v1 地址(6789),而该端口已在业务网关闭;或 keyring 的 mon cap 不足,握手阶段被拒。用指定 id 验证:
ceph -s --id app_orders
ceph auth get client.app_orders
第一条能出集群状态说明认证正常、问题在网络路径;第二条若输出为空,说明 keyring 未部署到该机器或文件名与 --id 不匹配。
收回 client.admin 后自动化脚本全部失败
脚本里通常硬编码了 --id admin。正确做法是为每类任务建专用用户并只给必需 cap,例如备份任务只需读池:
ceph auth get-or-create client.backup \
mon 'allow r' osd 'allow r pool=orders_data' mgr 'allow r' \
-o /etc/ceph/ceph.client.backup.keyring
rbd export --id backup --pool orders_data --image vm-disk01 /backup/vm-disk01.img
改 Dashboard server_addr 后 mgr 无法启动
新地址不属于本机任何网卡,或 8443 被防火墙拦截导致自检失败。先用 ip -4 addr | grep 10.10.10 确认地址存在,再 firewall-cmd --zone=ceph-cluster --add-port=8443/tcp;若已启动失败,回滚配置:ceph config rm mgr mgr/dashboard/server_addr 后重启 mgr。
总结
Ceph 加固的收益高度集中在凭证治理:把 client.admin 从业务机撤干净、把每个应用压到单池 cap,横向移动的成本立刻上一个量级。网络隔离与端口收口是第二层,RGW 与 Dashboard 的收口排在第三——它们面向 HTTP,暴露面比块存储更直接。
三个可持续动作:ceph auth ls -f json 每月导出一次做权限漂移比对;把 ceph health detail、PG 状态、OSD 端口可达性纳入监控;admin keyring 离线备份并限定取用流程,因为集群管理入口一旦丢失,恢复代价远高于一次入侵。