systeme:ceph
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
systeme:ceph [2017/05/02 20:25] – root | systeme:ceph [2017/05/06 11:10] (Version actuelle) – [Piste de réflexion personnelle] root | ||
---|---|---|---|
Ligne 1422: | Ligne 1422: | ||
</ | </ | ||
+ | < | ||
+ | Maintenant on passe à la partie cliente. | ||
+ | </ | ||
+ | |||
+ | * On vérifie que l'on voit bien les luns : | ||
+ | < | ||
+ | $ iscsiadm -m discovery -t sendtargets -p 192.168.122.11 | ||
+ | 192.168.122.11: | ||
+ | 192.168.122.13: | ||
+ | </ | ||
+ | |||
+ | < | ||
+ | $ iscsiadm -m node -p 192.168.122.11 --login | ||
+ | Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86: | ||
+ | Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86: | ||
+ | |||
+ | $ iscsiadm -m node -p 192.168.122.13 --login | ||
+ | Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86: | ||
+ | Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.iscsi.x86: | ||
+ | </ | ||
+ | |||
+ | * On liste les devices : | ||
+ | < | ||
+ | $ lsscsi -s | ||
+ | [0: | ||
+ | [2: | ||
+ | [3: | ||
+ | </ | ||
+ | |||
+ | * Editer le fichier ''/ | ||
+ | <code data multipath.conf> | ||
+ | defaults { | ||
+ | user_friendly_names yes | ||
+ | } | ||
+ | |||
+ | devices { | ||
+ | device { | ||
+ | vendor " | ||
+ | product " | ||
+ | path_grouping_policy " | ||
+ | path_checker " | ||
+ | features " | ||
+ | hardware_handler "1 alua" | ||
+ | prio " | ||
+ | failback " | ||
+ | rr_weight " | ||
+ | no_path_retry 12 | ||
+ | rr_min_io 100 | ||
+ | } | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | * On liste les paths : | ||
+ | < | ||
+ | $ multipath -ll | ||
+ | mpatha (3600140571dc15dc9fa13437ae8840470) dm-2 SUSE ,RBD | ||
+ | size=3.0G features=' | ||
+ | `-+- policy=' | ||
+ | |- 2:0:0:0 sda 8:0 active ready running | ||
+ | `- 3:0:0:0 sdb 8:16 active ready running | ||
+ | </ | ||
+ | |||
+ | * On créer la table des partitions : | ||
+ | < | ||
+ | $ parted / | ||
+ | |||
+ | $ parted / | ||
+ | Modèle: Mappeur de périphériques Linux (multipath) (dm) | ||
+ | Disque / | ||
+ | Taille des secteurs (logiques/ | ||
+ | Table de partitions : gpt | ||
+ | Disk Flags: | ||
+ | |||
+ | Numéro | ||
+ | | ||
+ | </ | ||
+ | |||
+ | * On crée le FS xfs : | ||
+ | < | ||
+ | $ mkfs.xfs / | ||
+ | meta-data=/ | ||
+ | | ||
+ | | ||
+ | data | ||
+ | | ||
+ | naming | ||
+ | log =internal log | ||
+ | | ||
+ | realtime =none | ||
+ | </ | ||
=== Modifier la crush map === | === Modifier la crush map === | ||
Ligne 1570: | Ligne 1660: | ||
</ | </ | ||
+ | === Quota CephFS === | ||
+ | == Mettre un quota CephFS == | ||
+ | < | ||
+ | $ setfattr -n ceph.quota.max_bytes -v 100000000 / | ||
+ | $ setfattr -n ceph.quota.max_files -v 10000 / | ||
+ | </ | ||
+ | |||
+ | == Voir les quotas Cepfs == | ||
+ | < | ||
+ | $ getfattr -n ceph.quota.max_bytes /some/dir | ||
+ | $ getfattr -n ceph.quota.max_files /some/dir | ||
+ | </ | ||
+ | |||
+ | == Supprimer un quota CephFS == | ||
+ | < | ||
+ | $ setfattr -n ceph.quota.max_bytes -v 0 /some/dir | ||
+ | $ setfattr -n ceph.quota.max_files -v 0 /some/dir | ||
+ | </ | ||
+ | |||
+ | |||
+ | ==== Piste de réflexion personnelle ==== | ||
+ | Piste de réflexion avec serveur disposant de 24 emplacements disques : | ||
+ | |||
+ | < | ||
+ | Plus de journal sur SSD avec BlueStore (tech preview) ? On gagne en disque ? | ||
+ | </ | ||
+ | |||
+ | * Piste HDD : | ||
+ | < | ||
+ | 2 OS | ||
+ | 4 SSD journal | ||
+ | 16 HDD data (2To) => 32T / Serveur | ||
+ | ======= | ||
+ | 22/24 hdd | ||
+ | |||
+ | 64G RAM ? | ||
+ | </ | ||
+ | |||
+ | * Piste SSD (prix ?): | ||
+ | < | ||
+ | 2 OS | ||
+ | 4 SSD journal | ||
+ | 18 SSD DATA (1To) ou si pas de journal séparé sur 22 SSD data => entre 18 et 22T / serveur | ||
+ | ================== | ||
+ | 24/24 ssd | ||
+ | |||
+ | Entre 18 et 22G RAM ? | ||
+ | </ | ||
+ | |||
+ | **Pour solution HDD :** | ||
+ | * 16 * 100M ~= 1600M/s (à 2000M/s) | ||
+ | * Solution RDMA infinidand ? | ||
+ | * Il faudrait donc 1 carte dual port 56 Gbps (par exemple Mellanox ConnectX4) ou 2 cartes dual port 10Gbps si moins cher (2 lacp) : | ||
+ | * 1 port pour cluster ceph pour la réplication et rebuid des osd | ||
+ | * 1 port pour le réseau public => les clients (Ethernet ou Infinidand pour clients ?) | ||
+ | |||
+ | **Protocol RDMA pour :** | ||
+ | * gagner en latence | ||
+ | * gagner en débit | ||
+ | * gagner en CPU | ||
+ | **Tunning :** | ||
+ | * numactl ? 1 osd par cpu (+bind mémoire) => ExecStart=numactl --physcpubind=%i --membind=0 <service ceph> (plus compliqué avec 2 proc. Si 2 proc : pair sur socket pair => Ex : osd.3 sur socket 1 car impair). 2 cpu réservés à l'OS (les 2 derniers => isolcpu) ? | ||
+ | * jumbo frame | ||
+ | * tunning sysctl + udev | ||
+ | * xio (non supporté en production) ? (voir [[https:// | ||
+ | * rdma (https:// | ||
+ | < | ||
+ | [global] | ||
+ | ... | ||
+ | ms_type=async+rdma | ||
+ | ms_async_rdma_device_name=mlx5_0 | ||
+ | </ |
systeme/ceph.1493756712.txt.gz · Dernière modification : 2017/05/02 20:25 de root