Re: container compatible OCI ?

certes. Mais tu compares deux choses qui n'ont rien à voir. Entre un nvme en local et un fs distribué bien sur que tu n'as pas les mêmes performances. Surtout avec un réseau à 2Gbps. C'est pour cette raison que mes pg tourne en local. Mais j'ai retrouvé mes premiers bench sur ma plateforme actuelle avant qu'elle ne passe en production.

fio -ioengine=libaio -name=test -bs=4k -iodepth=32 -rw=randwrite-direct=1 -runtime=60 -filename=/dev/rbd/kube/bench
WRITE: bw=45.3MiB/s (47.5MB/s), 45.3MiB/s-45.3MiB/s (47.5MB/s-47.5MB/s), io=2718MiB (2850MB), run=60003-60003msec
fio -ioengine=libaio -name=test -bs=4k -iodepth=32 -rw=randread -direct=1 -runtime=60 -filename=/dev/rbd/kube/bench
READ: bw=187MiB/s (197MB/s), 187MiB/s-187MiB/s (197MB/s-197MB/s),io=10.0GiB (10.7GB), run=54636-54636msec

Et pgbench me donnait 355 transaction per second sur le ceph

Voici un test sur ma préprop qui est au bureau. Avec 3 noeuds, 6 osd ssd. Mais surtout un réseau de 10Gbps en fibre. Qui fait donc bien 10Gbps.

Voisi le résultat en écriture avec un réplica de 2 ou j'ai un réplica de 3 en prod:

Total time run: 30.1047
Total writes made: 4503
Write size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 598.311
Stddev Bandwidth: 164.823
Max bandwidth (MB/sec): 916
Min bandwidth (MB/sec): 416
Average IOPS: 149
Stddev IOPS: 41.2057
Max IOPS: 229
Min IOPS: 104
Average Latency(s): 0.106944
Stddev Latency(s): 0.0585435
Max latency(s): 0.45911
Min latency(s): 0.0203194

En lecture séquentielle

Total time run: 16.2453
Total reads made: 4503
Read size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 1108.75
Average IOPS: 277
Stddev IOPS: 5.1316
Max IOPS: 287
Min IOPS: 270
Average Latency(s): 0.113968
Max latency(s): 0.362494
Min latency(s): 0.02719

En lecture aléatoire

Total time run: 30.1095
Total reads made: 8357
Read size: 4194304
Object size: 4194304
Bandwidth (MB/sec): 1110.21
Average IOPS: 277
Stddev IOPS: 10.3682
Max IOPS: 290
Min IOPS: 232
Average Latency(s): 0.113859
Max latency(s): 0.461317
Min latency(s): 0.0280363

On voit bien qu'on est limité par la bande passante du réseau.

Par contre une dernière chose qui peut potentiellement poser problème. Un client qui fait vraiment de très très gros IO sur un cluster peut totalement l'écrouler et pour le moment il n'y a pas vraiment de parade. Si ce n'est de tuer le dit client.