簡介
??ceph作為一個成熟的分布式存儲系統(tǒng)可以提供對象，塊，文件三種形態(tài)的存儲。它內(nèi)部不僅提供了很多測試用例還有很多measure性能的工具，此文便用來記錄關(guān)于ceph性能的測試工具。
OSD性能測試
在有些文章看到有人使用 [dd if=/dev/zero of=/var/lib/ceph/ceph-xx/test bs=1M count=1024] 這種方式來測試OSD的性能。這種做法顯然代替不了該OSD的性能，只能測試出該OSD所屬次盤的data分區(qū)文件系統(tǒng)的性能。該命令所產(chǎn)生的IO是直接進入了XFS文件系統(tǒng)了，而我們期待的是通過librados進入OSD,在進入FileStore/BlueStore再進入磁盤的性能，所以該做法不合理，不過社區(qū)為我們提供了一種測試工具可以滿足我們的需求。
COMMAND("bench " \
"name=count,type=CephInt,req=false " \
"name=size,type=CephInt,req=false " \
"name=object_size,type=CephInt,req=false " \
"name=object_num,type=CephInt,req=false ", \
"OSD benchmark: write <count> <size>-byte objects, " \
"(default 1G size 4MB). Results in log.",
"osd", "rw", "cli,rest”)
最簡單的用法就是使用默認值(default count 1G size 4MB)：
ceph tell osd.0 bench
{
"bytes_written": 1073741824,
"blocksize": 4194304,
"elapsed_sec": 7.919381,
"bytes_per_sec": 135584059.016932,
"iops": 32.325759
}
當然也可以按照代碼里面的說明，自己定義count size等
存儲池性能測試
對于存儲池的測試我們可以用rados bench
rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t --no-cleanup
pool_name：測試所針對的存儲池
seconds：測試所持續(xù)的秒數(shù)
<write|seq|rand>：操作模式，write：寫，seq：順序讀；rand：隨機讀
-b：block size，即塊大小，默認為 4M
-t：讀/寫并行數(shù)，默認為 16
--no-cleanup 表示測試完成后不刪除測試用數(shù)據(jù)。在做讀測試之前，需要使用該參數(shù)來運行一遍寫測試來產(chǎn)生測試數(shù)據(jù)，在全部測試結(jié)束后可以運行 rados -p <pool_name> cleanup 來清理所有測試數(shù)據(jù)。
舉例(測試運行600s, 4M的塊大小，64線程，不刪除測試用數(shù)據(jù))：
rados bench -p cephfs_data 600 write -b 4M -t 64 --no-cleanup
2019-09-10 01:26:35.468525 min lat: 0.763155 max lat: 4.25305 avg lat: 1.28744
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 63 999 936 187.166 156 1.50761 1.28744
21 63 1033 970 184.726 136 1.68059 1.30101
22 63 1074 1011 183.781 164 1.4625 1.31952
23 63 1110 1047 182.05 144 1.48224 1.3306
24 63 1164 1101 183.462 216 1.03243 1.3374
25 63 1212 1149 183.802 192 1.14344 1.33257
26 63 1252 1189 182.886 160 1.40288 1.33673
27 63 1306 1243 184.111 216 0.966673 1.33462
28 63 1350 1287 183.82 176 1.13416 1.33445
29 63 1404 1341 184.929 216 2.22456 1.33388
...
583 63 21582 21519 147.616 144 1.49628 1.73058
584 63 21615 21552 147.589 132 1.46498 1.73047
585 63 21654 21591 147.603 156 1.60935 1.73044
586 63 21684 21621 147.556 120 4.90418 1.73069
587 63 21718 21655 147.537 136 1.8161 1.73109
588 63 21761 21698 147.578 172 1.38556 1.73121
589 63 21814 21751 147.687 212 1.01166 1.7305
590 63 21870 21807 147.817 224 1.043 1.72912
591 63 21912 21849 147.851 168 1.24735 1.72799
592 63 21946 21883 147.831 136 2.59074 1.72769
593 63 21989 21926 147.871 172 1.49615 1.72771
594 63 22025 21962 147.865 144 1.48981 1.72769
595 63 22080 22017 147.986 220 1.02077 1.72669
596 63 22124 22061 148.033 176 1.31879 1.72591
597 63 22156 22093 147.999 128 1.76057 1.72574
598 63 22191 22128 147.986 140 1.53567 1.72587
599 63 22230 22167 147.999 156 1.45891 1.72583
2019-09-10 01:36:15.575884 min lat: 0.754678 max lat: 11.0531 avg lat: 1.7257
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
600 64 22263 22199 147.966 128 1.49292 1.7257
Total time run: 601.098917
Total writes made: 22263
Write size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 148.149
Stddev Bandwidth: 39.3063
Max bandwidth (MB/sec): 272
Min bandwidth (MB/sec): 0
Average IOPS: 37
Stddev IOPS: 9
Max IOPS: 68
Min IOPS: 0
Average Latency(s): 1.7269
Stddev Latency(s): 0.797885
Max latency(s): 11.0531
Min latency(s): 0.754678
