systeme:ceph
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
systeme:ceph [2017/05/02 20:50] – root | systeme:ceph [2017/05/06 11:10] (Version actuelle) – [Piste de réflexion personnelle] root | ||
---|---|---|---|
Ligne 1472: | Ligne 1472: | ||
} | } | ||
} | } | ||
- | < | + | </code> |
* On liste les paths : | * On liste les paths : | ||
Ligne 1660: | Ligne 1660: | ||
</ | </ | ||
+ | === Quota CephFS === | ||
+ | == Mettre un quota CephFS == | ||
+ | < | ||
+ | $ setfattr -n ceph.quota.max_bytes -v 100000000 / | ||
+ | $ setfattr -n ceph.quota.max_files -v 10000 / | ||
+ | </ | ||
+ | == Voir les quotas Cepfs == | ||
+ | < | ||
+ | $ getfattr -n ceph.quota.max_bytes /some/dir | ||
+ | $ getfattr -n ceph.quota.max_files /some/dir | ||
+ | </ | ||
+ | |||
+ | == Supprimer un quota CephFS == | ||
+ | < | ||
+ | $ setfattr -n ceph.quota.max_bytes -v 0 /some/dir | ||
+ | $ setfattr -n ceph.quota.max_files -v 0 /some/dir | ||
+ | </ | ||
+ | |||
+ | |||
+ | ==== Piste de réflexion personnelle ==== | ||
+ | Piste de réflexion avec serveur disposant de 24 emplacements disques : | ||
+ | |||
+ | < | ||
+ | Plus de journal sur SSD avec BlueStore (tech preview) ? On gagne en disque ? | ||
+ | </ | ||
+ | |||
+ | * Piste HDD : | ||
+ | < | ||
+ | 2 OS | ||
+ | 4 SSD journal | ||
+ | 16 HDD data (2To) => 32T / Serveur | ||
+ | ======= | ||
+ | 22/24 hdd | ||
+ | |||
+ | 64G RAM ? | ||
+ | </ | ||
+ | |||
+ | * Piste SSD (prix ?): | ||
+ | < | ||
+ | 2 OS | ||
+ | 4 SSD journal | ||
+ | 18 SSD DATA (1To) ou si pas de journal séparé sur 22 SSD data => entre 18 et 22T / serveur | ||
+ | ================== | ||
+ | 24/24 ssd | ||
+ | |||
+ | Entre 18 et 22G RAM ? | ||
+ | </ | ||
+ | |||
+ | **Pour solution HDD :** | ||
+ | * 16 * 100M ~= 1600M/s (à 2000M/s) | ||
+ | * Solution RDMA infinidand ? | ||
+ | * Il faudrait donc 1 carte dual port 56 Gbps (par exemple Mellanox ConnectX4) ou 2 cartes dual port 10Gbps si moins cher (2 lacp) : | ||
+ | * 1 port pour cluster ceph pour la réplication et rebuid des osd | ||
+ | * 1 port pour le réseau public => les clients (Ethernet ou Infinidand pour clients ?) | ||
+ | |||
+ | **Protocol RDMA pour :** | ||
+ | * gagner en latence | ||
+ | * gagner en débit | ||
+ | * gagner en CPU | ||
+ | |||
+ | **Tunning :** | ||
+ | * numactl ? 1 osd par cpu (+bind mémoire) => ExecStart=numactl --physcpubind=%i --membind=0 <service ceph> (plus compliqué avec 2 proc. Si 2 proc : pair sur socket pair => Ex : osd.3 sur socket 1 car impair). 2 cpu réservés à l'OS (les 2 derniers => isolcpu) ? | ||
+ | * jumbo frame | ||
+ | * tunning sysctl + udev | ||
+ | * xio (non supporté en production) ? (voir [[https:// | ||
+ | * rdma (https:// | ||
+ | < | ||
+ | [global] | ||
+ | ... | ||
+ | ms_type=async+rdma | ||
+ | ms_async_rdma_device_name=mlx5_0 | ||
+ | </ |
systeme/ceph.1493758221.txt.gz · Dernière modification : 2017/05/02 20:50 de root