Différences

Ci-dessous, les différences entre deux révisions de la page.

--- systeme:ceph [2017/05/02 20:25] – root
+++ systeme:ceph [2017/05/06 11:10] (Version actuelle) – [Piste de réflexion personnelle] root
@@ Ligne 1422: / Ligne 1422: @@
 </xtermrtf>
+<note>
+Maintenant on passe à la partie cliente.
+</note>
+  * On vérifie que l'on voit bien les luns :
+<xtermrtf>
+$ iscsiadm -m discovery -t sendtargets -p 192.168.122.11
+.168.122.11:3260,1 iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi
+.168.122.13:3260,2 iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi
+</xtermrtf>
+<xtermrtf>
+$ iscsiadm -m node -p 192.168.122.11 --login
+Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi, portal: 192.168.122.11,3260] (multiple)
+Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi, portal: 192.168.122.11,3260] successful.
+$ iscsiadm -m node -p 192.168.122.13 --login
+Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi, portal: 192.168.122.13,3260] (multiple)
+Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86:gigix-iscsi, portal: 192.168.122.13,3260] successful.
+</xtermrtf>
+  * On liste les devices :
+<xtermrtf>
+$ lsscsi -s
+[0:0:0:0]    cd/dvd  QEMU     QEMU DVD-ROM     2.5+  /dev/sr0        -
+[2:0:0:0]    disk    SUSE     RBD              4.0   /dev/sda   3.22GB
+[3:0:0:0]    disk    SUSE     RBD              4.0   /dev/sdb   3.22GB
+</xtermrtf>
+  * Editer le fichier ''/etc/multipath.conf'' :
+<code data multipath.conf>
+defaults {
+  user_friendly_names yes
+}
+devices {
+  device {
+    vendor "(LIO-ORG|SUSE)"
+    product "RBD"
+    path_grouping_policy "multibus"
+    path_checker "tur"
+    features "0"
+    hardware_handler "1 alua"
+    prio "alua"
+    failback "immediate"
+    rr_weight "uniform"
+    no_path_retry 12
+    rr_min_io 100
+  }
+}
+</code>
+  * On liste les paths :
+<xtermrtf>
+$ multipath -ll
+mpatha (3600140571dc15dc9fa13437ae8840470) dm-2 SUSE    ,RBD
+size=3.0G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
+`-+- policy='service-time 0' prio=50 status=active
+  |- 2:0:0:0 sda 8:0  active ready running
+  `- 3:0:0:0 sdb 8:16 active ready running
+</xtermrtf>
+  * On créer la table des partitions :
+<xtermrtf>
+$ parted /dev/mapper/mpatha mklabel gpt mkpart primary xfs 0% 100%
+$ parted /dev/mapper/mpatha print
+Modèle: Mappeur de périphériques Linux (multipath) (dm)
+Disque /dev/mapper/mpatha : 3221MB
+Taille des secteurs (logiques/physiques): 512B/512B
+Table de partitions : gpt
+Disk Flags:
+Numéro  Début   Fin     Taille  Système de fichiers  Nom      Fanions
+      4194kB  3217MB  3213MB                       primary
+</xtermrtf>
+  * On crée le FS xfs :
+<xtermrtf>
+$ mkfs.xfs /dev/mapper/mpatha1
+meta-data=/dev/mapper/mpatha1    isize=512    agcount=9, agsize=97280 blks
+         =                       sectsz=512   attr=2, projid32bit=1
+         =                       crc=1        finobt=1, sparse=0, rmapbt=0, reflink=0
+data     =                       bsize=4096   blocks=784384, imaxpct=25
+         =                       sunit=1024   swidth=1024 blks
+naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
+log      =internal log           bsize=4096   blocks=2560, version=2
+         =                       sectsz=512   sunit=8 blks, lazy-count=1
+realtime =none                   extsz=4096   blocks=0, rtextents=0
+</xtermrtf>
 === Modifier la crush map ===
@@ Ligne 1570: / Ligne 1660: @@
 </xtermrtf>
+=== Quota CephFS ===
+== Mettre un quota CephFS ==
+<xtermrtf>
+$ setfattr -n ceph.quota.max_bytes -v 100000000 /some/dir     # 100 MB
+$ setfattr -n ceph.quota.max_files -v 10000 /some/dir         # 10,000 files
+</xtermrtf>
+== Voir les quotas Cepfs ==
+<xtermrtf>
+$ getfattr -n ceph.quota.max_bytes /some/dir
+$ getfattr -n ceph.quota.max_files /some/dir
+</xtermrtf>
+== Supprimer un quota CephFS ==
+<xtermrtf>
+$ setfattr -n ceph.quota.max_bytes -v 0 /some/dir
+$ setfattr -n ceph.quota.max_files -v 0 /some/dir
+</xtermrtf>
+==== Piste de réflexion personnelle ====
+Piste de réflexion avec serveur disposant de 24 emplacements disques :
+<note>
+Plus de journal sur SSD avec BlueStore (tech preview) ? On gagne en disque ?
+</note>
+  * Piste HDD :
+<code>
+OS
+SSD journal
+HDD data (2To) => 32T / Serveur
+=======
+/24 hdd
+G RAM ?
+</code>
+  * Piste SSD (prix ?):
+<code>
+OS
+SSD journal
+SSD DATA (1To) ou si pas de journal séparé sur 22 SSD data => entre 18 et 22T / serveur
+==================
+/24 ssd
+Entre 18 et 22G RAM ?
+</code>
+**Pour solution HDD :**
+  * 16 * 100M ~= 1600M/s (à 2000M/s)
+  * Solution RDMA infinidand ?
+  * Il faudrait donc 1 carte dual port 56 Gbps (par exemple Mellanox ConnectX4) ou 2 cartes dual port 10Gbps si moins cher (2 lacp) :
+    * 1 port pour cluster ceph pour la réplication et rebuid des osd
+    * 1 port pour le réseau public => les clients (Ethernet ou Infinidand pour clients ?)
+**Protocol RDMA pour :**
+  * gagner en latence
+  * gagner en débit
+  * gagner en CPU
+**Tunning :**
+  * numactl ? 1 osd par cpu (+bind mémoire) => ExecStart=numactl --physcpubind=%i --membind=0 <service ceph> (plus compliqué avec 2 proc. Si 2 proc : pair sur socket pair => Ex : osd.3 sur socket 1 car impair). 2 cpu réservés à l'OS (les 2 derniers => isolcpu) ?
+  * jumbo frame
+  * tunning sysctl + udev
+  * xio (non supporté en production) ? (voir [[https://youtu.be/FzD87qSJee0|Youtube]])
+  * rdma (https://community.mellanox.com/docs/DOC-2693):
+<code>
+  [global]
+...
+ms_type=async+rdma
+ms_async_rdma_device_name=mlx5_0
+</code>