ceph 的 osd
性能计数器
要到 osd 所在节点上运行
-
查看性能计数器定义
例如： -
查看性能计数器
查看 wal 和 db 的大小和用量
当 wal 和 db 和 osd 在同一个盘时，wal 的总量和使用量显示为 0，db 的总量显示为磁盘的大小
ceph daemon osd.29 perf dump | jq .bluefs
{
"db_total_bytes": 51539599360,
"db_used_bytes": 526385152,
"wal_total_bytes": 6442446848,
"wal_used_bytes": 909115392,
......
}
查看 osd 承载的 pg 和主数
# ceph pg dump osds
dumped osds
OSD_STAT USED AVAIL USED_RAW TOTAL HB_PEERS PG_SUM PRIMARY_PG_SUM
0 3.0 TiB 4.3 TiB 3.0 TiB 7.3 TiB [1,3,4,6,7,8,9,10,12,13,14,15,17,29] 30 12
1 2.0 TiB 5.3 TiB 2.0 TiB 7.3 TiB [0,2,5,6,7,8,9,11,12,13,14,15,16] 25 10
2 1.8 TiB 5.5 TiB 1.8 TiB 7.3 TiB [1,3,4,7,8,10,12,13,14,15,17] 19 4
3 2.2 TiB 5.1 TiB 2.2 TiB 7.3 TiB [2,4,5,6,7,8,9,11,12,13,14,15,16,29] 23 8
4 615 GiB 279 GiB 615 GiB 894 GiB [3,5,10,11,14,16,17,19,20,21] 57 18
查看 blufs 统计信息
db 设备和 wal 设备放置到另外的 ssd 分区的状态。
[root@ceph-phy03 /]# ceph daemon osd.29 bluefs stats
0 : device size 0x17ffff000 : using 0x36300000(867 MiB) # block.wal 设备
1 : device size 0xbffffe000 : using 0x28c00000(652 MiB) # block.db 设备
2 : device size 0x74702400000 : using 0x14175db000(80 GiB) # block 主设备
RocksDBBlueFSVolumeSelector: wal_total:6120328396, db_total:48962627174, slow_total:7601483730124, db_avail:42251740774
Usage matrix:
DEV/LEV WAL DB SLOW * * REAL FILES
LOG 4.8 GiB 308 MiB 0 B 0 B 0 B 7.5 MiB 1
WAL 859 MiB 0 B 0 B 0 B 0 B 858 MiB 4
DB 0 B 651 MiB 0 B 0 B 0 B 632 MiB 26
SLOW 0 B 0 B 0 B 0 B 0 B 0 B 0
TOTALS 5.7 GiB 959 MiB 0 B 0 B 0 B 0 B 31
MAXIMUMS:
LOG 4.8 GiB 308 MiB 0 B 0 B 0 B 20 MiB
WAL 1.0 GiB 0 B 0 B 0 B 0 B 1.0 GiB
DB 0 B 837 MiB 0 B 0 B 0 B 815 MiB
SLOW 0 B 0 B 0 B 0 B 0 B 0 B
TOTALS 5.7 GiB 1.1 GiB 0 B 0 B 0 B 0 B
db 设备和 wal 设备跟 osd（数据设备） 同一设备的状态。
[root@ceph-phy03 /]# ceph daemon osd.12 bluefs stats
1 : device size 0x74702400000 : using 0x1e991c13000(1.9 TiB)
wal_total:0, db_total:7601483730124, slow_total:0
更多请参考：11.8. Ceph BlueStore BlueFS Red Hat Ceph Storage 7 | Red Hat Customer Portal
在线修改 osd 参数
可通过 osd.id 来修改指定的 osd，osd.* 表示所有 osd。
查看 osd 参数（进到对应节点的 mon 容器里）
修改 osd 的 cursh 权重
创建时间: 2024-06-06 10:09:39
最后更新: 2024-06-08 00:08
更新次数: 2
浏览次数: