Différences

Ci-dessous, les différences entre deux révisions de la page.

--- systeme:ceph [2017/05/02 20:50] – root
+++ systeme:ceph [2017/05/06 11:10] (Version actuelle) – [Piste de réflexion personnelle] root
@@ Ligne 1472: / Ligne 1472: @@
   }
 }
-<code>
+</code>
   * On liste les paths :
@@ Ligne 1660: / Ligne 1660: @@
 </xtermrtf>
+=== Quota CephFS ===
+== Mettre un quota CephFS ==
+<xtermrtf>
+$ setfattr -n ceph.quota.max_bytes -v 100000000 /some/dir     # 100 MB
+$ setfattr -n ceph.quota.max_files -v 10000 /some/dir         # 10,000 files
+</xtermrtf>
+== Voir les quotas Cepfs ==
+<xtermrtf>
+$ getfattr -n ceph.quota.max_bytes /some/dir
+$ getfattr -n ceph.quota.max_files /some/dir
+</xtermrtf>
+== Supprimer un quota CephFS ==
+<xtermrtf>
+$ setfattr -n ceph.quota.max_bytes -v 0 /some/dir
+$ setfattr -n ceph.quota.max_files -v 0 /some/dir
+</xtermrtf>
+==== Piste de réflexion personnelle ====
+Piste de réflexion avec serveur disposant de 24 emplacements disques :
+<note>
+Plus de journal sur SSD avec BlueStore (tech preview) ? On gagne en disque ?
+</note>
+  * Piste HDD :
+<code>
+OS
+SSD journal
+HDD data (2To) => 32T / Serveur
+=======
+/24 hdd
+G RAM ?
+</code>
+  * Piste SSD (prix ?):
+<code>
+OS
+SSD journal
+SSD DATA (1To) ou si pas de journal séparé sur 22 SSD data => entre 18 et 22T / serveur
+==================
+/24 ssd
+Entre 18 et 22G RAM ?
+</code>
+**Pour solution HDD :**
+  * 16 * 100M ~= 1600M/s (à 2000M/s)
+  * Solution RDMA infinidand ?
+  * Il faudrait donc 1 carte dual port 56 Gbps (par exemple Mellanox ConnectX4) ou 2 cartes dual port 10Gbps si moins cher (2 lacp) :
+    * 1 port pour cluster ceph pour la réplication et rebuid des osd
+    * 1 port pour le réseau public => les clients (Ethernet ou Infinidand pour clients ?)
+**Protocol RDMA pour :**
+  * gagner en latence
+  * gagner en débit
+  * gagner en CPU
+**Tunning :**
+  * numactl ? 1 osd par cpu (+bind mémoire) => ExecStart=numactl --physcpubind=%i --membind=0 <service ceph> (plus compliqué avec 2 proc. Si 2 proc : pair sur socket pair => Ex : osd.3 sur socket 1 car impair). 2 cpu réservés à l'OS (les 2 derniers => isolcpu) ?
+  * jumbo frame
+  * tunning sysctl + udev
+  * xio (non supporté en production) ? (voir [[https://youtu.be/FzD87qSJee0|Youtube]])
+  * rdma (https://community.mellanox.com/docs/DOC-2693):
+<code>
+  [global]
+...
+ms_type=async+rdma
+ms_async_rdma_device_name=mlx5_0
+</code>