Alphorm.com Support de la Formation VMmware vSphere 6, La gestion du stockage

23/09/2016

1

Formation Vmware vSphere 6 – La gestion du Stockage alphorm.com™©

Fouad EL AKKADVMware vExpert, VCAP-DCA – DCD & VCIX-NVConsultant Virtualisation VMware et Nutanix

Site : http://www.alphorm.comBlog : http://blog.alphorm.com

Formation

VMware vSphere 6La gestion du Stockage

23/09/2016

2


Plan

• Présentation du formateur

• Public concerné

• Connaissances requises

• Cursus formation VMware vSphere

• Plan de la formation

• Certification

• Ressources

23/09/2016

3


Présentation du formateur

Fouad EL AKKAD

• VMware vExpert 2016 - 2015 – 2014

• [email protected]

• Ingénieur & Designer VMware

• En poste à la Mairie de Paris (+ de 250 ESXi & + de 2500 VMs)

• Plus de 6 ans dans l’expertise VMware

• Certifications : VCAP-DCA, VCAP-DCD, VCIX-NV, Nutanix NPP,…

� LinkedIn : https://fr.linkedin.com/in/fouadelakkad

� Animateur Blog : www.vRoomblog.com

� Alphorm : http://www.alphorm.com/formateur/fouad-el-akkad

23/09/2016

4


Public concerné

• Administrateurs vSphere

• Curieux ayant envie de découvrir la virtualization sous VMware

• Passage obligé pour ceux souhaitant monter en compétence

23/09/2016

5


Connaissances requises

• Notions du réseau : IP, DNS, DHCP, VLAN, trunk, switch

• Familier avec Linux et commande basique

• Formation VMware ESXi 6

• Formation VMware vCenter 6

• Formation VMware machines virtuelles

• Formation VMware le réseau virtuel

23/09/2016

6


Cursus formation VMware vSphere

23/09/2016

7


Plan de la formation

• Présentation de la formation

• DAS (Direct Attached Storage)

• NAS (Network Attached Storage)

• SAN (Storage Area Network)

• Fonctionnalités avancées du Stockage vSphere 6

23/09/2016

8


Certifications

VMware Certified Professional sur vSphere 6 (VCP6) :

• Pour les personnes techniques qui veulent pour démontrer leur expertise sur vSphere et progresser dans leur carrière

• Trois étapes pour devenir VCP6

1. Assister à un cours de VMware-autorisé

2. Acquérir de l'expérience avec vSphere

3. Réussir l'examen VCP6

• Après la réalisation de VCP6 :

� VCAP 6 Datacenter Administration

• Administration avancée

� VCAP 6 Conception Datacenter

• Design de Datacenter complexe

23/09/2016

9


Resources VMware en ligne

• Les communautés VMware: http://communities.vmware.com

� Commencer une discussion, et les communautés d'accès et de groupes d'utilisateurs.

• Le support VMware : http://www.vmware.com/support

� Accès à la base de connaissances, documentation, documents techniques, et guides de compatibilité.

• Education VMware : http://www.vmware.com/education

� L'accès au catalogue de cours et horaire des cours dans le monde entier.

� Accéder à l'information sur les cours avancés de continuer sur votre parcours de formation de la virtualisation.

• La base de connaissance : http://kb.vmware.com/

• La documentation des produits : http://www.vmware.com/support/pubs

Pour un accès facile aux ressources en ligne, installer la barre d’outil Vmwarehttp://vmwaresupport.toolbar.fm/

23/09/2016

10


Ressources

• Free E-Book

� http://info.vmware.com/content/27842_VSOM_Pilot_REG?asset=zmags

• Study Guide VCP6-DCV

� http://www.vladan.fr/vcp6-dcv/

� http://go.veeam.com/vmware-certification-vcp6-dcv-study-guide-exam-blueprint.html

• Top Blog : http://www.yellow-bricks.com/ | http://frankdenneman.nl/ http://www.virtuallyghetto.com/ | http://thevpad.com | vRoomblog.com

23/09/2016

11


Let’s Go

23/09/2016

12




Rappel du lab :Prérequis et Ressources

23/09/2016

13


Plan

• Pré-requis

� Matériel

� Logiciel

• Ressources

• Pré-requis installés

• Mise en réseau des VMs

23/09/2016

14


Ce LAB concerne TOUT LE CURSUS VMware, et pas seulement cette formation La gestion du stockage

23/09/2016

15


Prérequis matériel

Ordinateur Portable/Fixe

• RAM Min : 24 Go

• CPU Min : I3 (idéalement i7)

• Supportant VT et EPT

• HDD : 300Go (Idéalement SSD)

Serveur loué (Online.net)

• Gamme Start (Xéon 12 Threat –32 Go RAM – 500 SSD) 29,99Euros HT

Perso : Je suis sur un Lenovo W520 / i7/ 32 RAM / 256 SSD

23/09/2016

16


Prérequis logiciel

Suite de logiciels à installer avant de débuter les Labs

• Windows 64 bits (Windows 7, 2008-2012 Server,…)

• VMware Workstation

• Compte sur www.vmware.com

• Archive (7zip, Izarc,…)

23/09/2016

17


Ressources VMware• vCenter :

https://my.vmware.com/fr/web/vmware/details?productId=490&downloadGroup=VC600

• ESXi 6 :https://my.vmware.com/fr/web/vmware/details?downloadGroup=ESXI600U1&productId=491&rPId=9485

• VMware vSphere Client 6https://my.vmware.com/web/vmware/details?downloadGroup=ESXI60U1B&productId=491&rPId=10254

23/09/2016

18


Ressources Tierces

• ISO Linux de votre choix.

� Nous proposons Lubuntu, Ubuntu légé et simplifiéhttp://cdimage.ubuntu.com/lubuntu/releases/15.10/release/lubuntu-15.10-desktop-amd64.iso

� Small Dam Linuxhttp://iso.linuxquestions.org/damn-small-linux/

• ISO Microsoft

� Windows 10 ou 8 voir XP pour les petites configs

23/09/2016

19


Pré requis installés

• Windows Active Directory (Baisser à 1vCPU & 1Go RAM)

• 2 x ESXi 6 installé (DataStore 50 Go de disponible)

• VMware vCenter 6 installé (Windows ou VSA)

• Votre inventaire créé

• Mise en réseau via vDS

23/09/2016

20


Mise réseau des VMs

http://blog.alphorm.com/le-reseau-avec-vmware-workstation/

23/09/2016

21


Mise réseau des VMs

• Créer un second réseau Host Only• Avoir sur chaque ESXi :

• 3 Eth sur HostOnly VMnet1

• 1 Eth sur HostOnly VMnet2

23/09/2016

22


Ce qu’on a couvert

• Pré-requis

� Matériel

� Logiciel

• Ressources

• Pré-requis installés

• Mise en réseau des VMs

23/09/2016

23



Présentation du DAS et du DataStore

DAS (Direct Attached Storage)


23/09/2016

24


Plan

•DAS : Direct Attached Storage

•Les banques de données (datastores)

•VMFS-5

23/09/2016

25


DAS : Direct Attached Storage

• Directement attaché à l’ESXi via carte SCSI

• RAID local

• Stockage local : SCSI, AHCI, SATA

• Très bonne performance

• Management très limité

• Vérifier la compatibilité dans la matrix VMware :

� http://www.vmware.com/resources/compatibility/search.php?action=base&deviceCategory=io

� http://www.vmware.com/resources/compatibility/pdf/vi_io_guide.pdf

23/09/2016

26


Les banques de données (datastores)

• Une banque de données est une unité logique de stockage qui peut :

� Utiliser l'espace disque sur un périphérique physique

� Utiliser une partition du disque

• Types de banques de données :

� VMFS

� NFS (Network File System)

• Les banques de données sont utilisées pour contenir des VMs, des modèles et des images ISO

23/09/2016

27


VMFS-5

VMFS-5:

� Permet des accès simultanés au stockage partagé

� L’espace mémoire peut grossir dynamiquement

� Utilise une taille de bloc de 1 Mo pour le stockage de gros fichiers sur disques virtuels

� Aujourd’hui VMFS 5.61

� Fournit sur le disque le verrouillage au niveau bloc

23/09/2016

28



•DAS : Direct Attached Storage

•Les banques de données (datastores)

•VMFS-5

23/09/2016

29



Ajouter un DataStore local



23/09/2016

30


Plan

•Les valeurs maximums

•Comment ajouter un DataStore local?

23/09/2016

31


Les valeurs maximums

•64 To max par DataStore

•256 volumes max par ESXi

•64 ESXi par volume

23/09/2016

32


Comment ajouter un DataStore local

23/09/2016

33



23/09/2016

34



23/09/2016

35



•Les valeurs maximums

•Comment ajouter un DataStore local

23/09/2016

36



SvMotion(Storage vMotion)



23/09/2016

37


Plan

•Les migrations possibles

•Pourquoi utiliser le Storage vMotion?

•Mécanisme svMotion

• svMotion d’une VM

23/09/2016

38


Les migrations possibles

23/09/2016

39


Les migrations possibles

Partagé à local Partagé à partagé

Local à partage Local à local

23/09/2016

40


Pourquoi utiliser Storage vMotion?

• Maintenance de baie

• Migrer VM sur un stockage (plus ou moins) performant

• Changer le format de disque des VMs :

• ThinProvisioning ThickProvisioning

• ThickProvisioning ThinProvisioning

• Renommer intégralement une VM

23/09/2016

41


Mecanisme svMotion

• Copie d’une VM d’un DataStoresur un autre

• Mirroring des I/O

• Si Intra baie, performance accrue avec VAAI

23/09/2016

42


svMotion d’une VM

23/09/2016

43


svMotion d’une VM

23/09/2016

44


svMotion d’une VM

23/09/2016

45



•Les migrations possibles

•Pourquoi utiliser le Storage vMotion?

•Mécanisme svMotion

• svMotion d’une VM

23/09/2016

46



Présentation du NAS et NFS


NAS (Network Attached Storage)

23/09/2016

47


Plan

•Le Stockage partagé

•Qu’est ce que NAS et NFS?

•Topologie NFS / ESXi

23/09/2016

48


Le Stockage partagé

storagetechnology

datastoretypes

VMware® vStorage VMFS NFS

LocallyAttached

Fibre Channel iSCSI NAS

23/09/2016

49


Qu’est ce que NAS et NFS?• NAS : Network Attached Storage

� En français, cela donne serveur de stockage (storage) de données situé (attached) sur le réseau (network). Ceci a pour conséquence, que les données sont accessibles sur le réseau ethernet local par le protocole TCP/IP.

• NFS : Network File System

� Est un protocole de gestion d’un stockage partagé au niveau du système de fichiers, accessible via le réseau TCP/IP

� Système de fichiers géré par le serveur NFS (NTFS, EXT3, EXT4, ZFS,…)

� NFS supporte la version 4.1 sur TCP/IP

• Securité Kerberos

• Multipathing

23/09/2016

50


Topologie NFS / ESXi

Partage NFS

ESXi mappésur vSwitch

Serveur NAS

Vmkernel

192.168.199.60

192.168.199.52

23/09/2016

51



•Le Stockage partagé

•Qu’est ce que NAS et NFS?

•Topologie NFS / ESXi

23/09/2016

52



Installer et Configurer OpenFiler

NAS / NFS


23/09/2016

53


Plan

•Qu’est ce qu’OpenFiler?

•Créer la VM OpenFiler

• Installer OpenFiler

•Se connecter à OpenFiler

23/09/2016

54


Qu’est ce qu’OpenFiler?

• Openfiler est un OS Linux tourné service de stockagehttps://downloads.sourceforge.net/project/openfiler/openfiler-distribution-iso-2.99-x64/openfileresa-2.99.1-x86_64-disc1.iso

• Installable sur serveur physique ou VM

• Offre les services : iSCSI, CIFS, NFS, HTTPS, FTP, RAID 0-1-5-6-10

• Ressources nécessaires (optimum) : 1.6Ghz, 2GB RAM, 10Go

• A installer sur Workstation pour notre Lab

� 3 disques

• 1 VMDK 10 Go System

• 1 VMDK 10 Go NFS

• 1 VMDK 10 Go iSCSI

23/09/2016

55


Créer la VM OpenFiler

23/09/2016

56



23/09/2016

57



23/09/2016

58


Installer OpenFiler

23/09/2016

59


Installer OpenFiler

23/09/2016

60


Se connecter à OpenFiler

• https://IP_OpenFiler:446

• Login : openfiler

• Mot de passe : password

23/09/2016

61



•Qu’est ce qu’OpenFiler?

•Créer la VM OpenFiler

• Installer OpenFiler

•Se connecter à OpenFiler

23/09/2016

62



Configurer OpenFiler



23/09/2016

63


Plan

•Se connecter à Openfiler

•Configuration : Créer un volume

•Activer les services NFS et iSCSI

•Autoriser un réseau

23/09/2016

64


Se connecter

• https://IP_OpenFiler:446

• Login : openfiler

• Mot de passe : password

23/09/2016

65


Configuration : Créer un volume

• Créer un nouveau volume :

• Choisir un disque autre queque celui de l’installation

23/09/2016

66



• Créer une partition

23/09/2016

67



• Créer un volume

23/09/2016

68



• Créer un second volume

� Créer un Block Devices

� Créer une partition

� Créer un volume groupe

23/09/2016

69



23/09/2016

70


Activer les services NFS& iSCSI

23/09/2016

71


Autorisé un réseau

• Réseau autorisé à monter les partages

23/09/2016

72



•Se connecter à Openfiler

•Configuration : Créer un volume

•Activer les services NFS et iSCSI

•Autoriser un réseau

23/09/2016

73



NFS sous OpenFiler



23/09/2016

74


Plan

•Créer NFS sous Openfiler

23/09/2016

75


Créer NFS sous Openfiler

23/09/2016

76



23/09/2016

77



23/09/2016

78



• Droit Lecture / Ecriture

23/09/2016

79



•Créer NFS sous Openfiler

23/09/2016

80



Monter et démonter un DataStore NFS sur des ESXi



23/09/2016

81


Plan

•Monter un partage NFS sur un ESXi

•Monter le DataStore sur tous les ESXi

•Démonter un DataStore NFS

23/09/2016

82


Monter un partage NFS sur un l’ESXi

23/09/2016

83



23/09/2016

84



23/09/2016

85


Monter le DataStore sur tous les ESXi

23/09/2016

86


Démonter un DataStore NFS

23/09/2016

87



•Monter un partage NFS sur un l’ESXi

•Monter le DataStore sur tous les ESXi

•Démonter un DataStore NFS

23/09/2016

88



Configuration réseau pour NFS



23/09/2016

89


Plan

•Connexion à un serveur NFS par défaut

•Limitation et Best practices NFS v3 sur TCP

23/09/2016

90


Connexion à un serveur NFS par défaut

• La connexion par défaut se réalise toujours à travers le Vmkernel 0

23/09/2016

91


Limitation pour NFS v3 sur TCP

• Limitations :

� Pas de MultiPathing

� Pas de load balancing (du coté VMware)

� Trafique en clair et en privilège root

� Application en mode bloc

23/09/2016

92


Best practice pour NFS v3 sur TCP

• EtherChannel ou LACP

• Attribuer VLAN dédié

• Minimum de sauts

• NIC Teaming failback = No

• Serveur NFS sur VLAN différent que management

• Attribuer un VMkernel et pNIC dédié au NFS

• Utilisation du NIOC

• Utilisation Jumbo frames

• Configurer port swith en Port Fast

• Convension de nommage ASCII

23/09/2016

93



•Connexion à un serveur NFS par défaut

•Limitation et Best practices NFS v3 sur TCP

23/09/2016

94



Nouveautés avec NFS v4.1

NAS / NFS


23/09/2016

95


Plan

•Les nouveautés apportées par NFS 4.1

•Compatibilité et Limitation du NFS 4.1

23/09/2016

96


Les nouveautés apportées par NFS 4.1

• Mutipathing NFS :

� Activation du Round Robing

� Tolérance de panne

� Meilleur taux de transfert

23/09/2016

97


Compatibilité et Limitation NFS 4.1

• Incompatibilité �

� SDRS

� SIOC

� SRM

� Virtual Volume

� Pas de mélange (NFS v3 avec 4.1)

• Compatible ☺

� vMotion

� HA

� Fault tolerance

� DRS

� Host profile

23/09/2016

98


Compatibilité & Limitation NFS 4.1

23/09/2016

99



•Les nouveautés apportées par NFS 4.1

•Compatibilité et Limitation du NFS 4.1

23/09/2016

100



Mise en place Multipathing NFS 4.1



23/09/2016

101


Plan

•Prérequis :

� Intégrer votre Host à l’AD

� Créer un partage NFS sous Windows 2012

� Créer deux chemins

•Monter le NFS 4.1 sur votre ESXi

23/09/2016

102


Pré requis

• Windows 2012 disponible (Utiliser la VM 2012 Active Directory)

• Créer un volume dédié NFS et le partager en NFS

• 2 adresses IP sur 2 plages réseaux

• Intégrer votre ESXi à l’Active Directory

23/09/2016

103


Pré requis : Intégrer votre Host à l’AD

23/09/2016

104


Pré requis : Intégrer votre Host à l’AD

23/09/2016

105


Pré requis : Créer un share NFS sous Windows 2012

• Créer une nouvelle partition

• Installation du rôle

� Ajouter rôle et fonctionnalité (EN: AddRoles and Features)

� Naviguer jusque « rôle de serveur »

� Sous « Services de fichiers et de Stockage » (File and Storage Services role)

• Ouvrir « Services de fichiers et iSCSI » ( File and iSCSI Services)

• sélectionner « Serveur pour NFS »

23/09/2016

106


Pré requis : Créer un share NFS sous Windows 2012

• Sur votre partition clic droit et propriétés :

� Puis sous l’onglet « Partage NFS »

� Cliquer sur « Gérer le partage NFS »

23/09/2016

107


LAB : Créer un share NFS sous Windows 2012

• Autorisation Sélectionner « ESXi2 » sous types d’accès « Lecture – écriture »Surtout bien cocher la case « Autoriser l’accès à la racine »OK

23/09/2016

108


Pré requis : créer 2 chemins

• Attribuer à votre serveur Windows 2012 une carte réseau et lui donner une seconde IP :

� IP 1 : 192.168.199.49

� IP 2 : 192.168.200.49

23/09/2016

109


Monter le NFS 4.1 sur votre ESXI

23/09/2016

110



•Prérequis :

� Intégrer votre Host à l’AD

� Créer un partage NFS sous Windows 2012

� Créer deux chemins

•Monter le NFS 4.1 sur votre ESXi

23/09/2016

111



Stockage Fiber Channel (FC)

SAN (Storage Area Network)


23/09/2016

112


Plan

•Baie de Stockage

•Switch FC

• Interconnexion du SAN FC

•Accès au stockage Fibre Channe

•Zoning FC

23/09/2016

113


Baie de Stockage

• Composé de Port FC

• Contrôleur (Intelligence)

• Flash Caching

• Tiroir de disques

23/09/2016

114


Switch FC

• Fibre optique : Transport des données au travers la lumere

• Débit : 8Gbps, 16Gbps, 32Gbps, => 128Gbps

• Toujours vérifier la ligne de driver

23/09/2016

115


Interconnexion du SAN FC

23/09/2016

116


Accès au stockage Fibre Channel

• Installez un ou plusieurs adaptateurs Fibre Channel compatibles avec l'hôte ESXi

• Les adaptateurs Fibre Channel sont reconnus par l'hôte lors de la séquence de boot

23/09/2016

117


Zoning FC

23/09/2016

118



•Baie de Stockage

•Switch FC

• Interconnexion du SAN FC

•Accès au stockage Fibre Channe

•Zoning FC

23/09/2016

119



FCoE



23/09/2016

120


Plan

•FCoE : Fiber Channel Over Ethernet

•Adaptateur FCoE

•Adaptateur FCoE : Activer “Software FCoE Adapter”

23/09/2016

121


FCoE : Fiber Channel Over Ethernet

• RJ45 => LAN CNA : Converged Network Adapter

• Fibre Optique => FC

• Cartes spéciales

� Options Offloading nécessaire

• Coût élevé

• Switch spécialisé

23/09/2016

122


Adaptateur FCoE

ConvergedNetworkAdapter

Networkdriver

FCdriver

Hôte ESXiNetwork

driverSoftware

FC

Hôte ESXi 6.0

NICwith FCoE

support

FCoE switch

Hardware FCoE Software FCoE*

LANSANFC

10GBpsEthernet

Ethernet IP framesto LAN devices

FC frames to FC storage arrays

23/09/2016

123


Adaptateur FCoE : Activer “Software FCoE Adapter”

23/09/2016

124



•FCoE : Fiber Channel Over Ethernet

•Adaptateur FCoE

•Adaptateur FCoE : Activer “Software FCoE Adapter”

23/09/2016

125



Les différents types de Baies



23/09/2016

126


Plan

•Baie Active / Passive

•Baie Active / Active

•ALUA : Asymmetric Logical Unit Access

23/09/2016

127


Baie Active / Passive

• 1 seul contrôleur est fonctionnel à un instant T

• Une LUN est verrouillée par 1 contrôleur

• Performance définie par 1 contrôleur

23/09/2016

128


Baie Active / Active

• Les contrôleurs sont utilisés simultanément

• Une LUN est disponible pour les 2 contrôleurs simultanément

• Performance multipliée par 2

23/09/2016

129


ALUA : Asymmetric Logical Unit Access

• Hybride Active-Active / Active – Passive

• Une LUN est présentée au 2 contrôleurs simultanément

• Mais 1 seul contrôleur peut écrire sur une LUN

23/09/2016

130



•Baie Active / Passive

•Baie Active / Active

•ALUA : Asymmetric Logical Unit Access

23/09/2016

131



iSCSI



23/09/2016

132


Plan

•Définition iSCSI

• iSCSI : composants

• iSCSI : adressage

• iSCSI : initiateurs

23/09/2016

133


Définition iSCSI

• La technologie iSCSI dont l'acronyme reprend la définition historique Internet Small Computer System Interface est un protocole réseau de stockage basé sur le modèle TCP/IP.

• Le principe de base consiste à encapsuler des commandes SCSI dans des paquets IP transmis entre un hôte et une unité de disque.

• Comme les paquets IP peuvent être perdus (et | ou) retransmis, ils peuvent très bien ne pas arriver dans l'ordre d'émission. Le protocole iSCSI doit donc conserver une trace de la séquence de transmission de commandes SCSI. Les commandes sont placées dans une file d'attente dans l'ordre d'émission.

23/09/2016

134


iSCSI : composants

23/09/2016

135


iSCSI initiator name:iqn.1998-01.com.vmware:train1-64ad4c29 iSCSI alias: train1IP address: 192.168.36.88

iSCSI : adressage

192.168.36.101:3260

SendTargetsrequest

SendTargetsresponse

iSCSI target name:iqn.1992-08.com.mycompany:stor1-47ciSCSI alias: stor1IP address: 192.168.36.101

23/09/2016

136


iSCSI : initiateurs

23/09/2016

137



•Définition iSCSI

• iSCSI : composants

• iSCSI : adressage

• iSCSI : initiateurs

23/09/2016

138



iSCSI sous OpenFiler



23/09/2016

139


Plan

•Création du volume iSCSI sous Openfiler

•Création d’une Target iSCSI sous Openfiler

•Configuration du partage iSCSI

23/09/2016

140


Création du volume iSCSI sous Openfiler

23/09/2016

141


Création d’une Target iSCSI sous Openfiler

23/09/2016

142


Configuration du partage iSCSI

23/09/2016

143


Configuration du partage iSCSI

23/09/2016

144



•Création du volume iSCSI sous Openfiler

•Création d’une Target iSCSI sous Openfiler

•Configuration du partage iSCSI

23/09/2016

145



Monter LUN iSCSIsur l'ESXi



23/09/2016

146


Plan

•Configuration “software” iSCSI

•Méthodes de découverte de cibles iSCSI

•Découverte de la cible iSCSI par l’ESXi

•Authentification CHAP

•Formater le Datastore iSCSI

23/09/2016

147


Configuration “software” iSCSI

23/09/2016

148


Méthodes de découverte de cibles iSCSI

• Deux méthodes de découverte de ciblessont supportées :

1. Statique

2. Dynamique (connue aussi sous le nom “SendTargets”)

• La réponse “SendTargets” retourne un nom qualifié et toutes les adresses IP disponibles

23/09/2016

149


Découverte de la cible iSCSI par l’ESXi

23/09/2016

150


Authentification CHAP• Les initiateurs iSCSI utilisent CHAP pour

l’authentification :

� Par défaut, CHAP n'est pas configurée

• ESXi supporte deux types d'authentification CHAP :

1. Unidirectionnel

2. Bidirectionnelle

• iSCSI logiciel uniquement

• ESXi supporte également l’authentification CHAP par cible :

� iSCSI logiciel uniquement

� Informations d'identification différentes pour chaque cible

23/09/2016

151


Formater le Datastore iSCSI

23/09/2016

152



23/09/2016

153



23/09/2016

154



•Configuration “software” iSCSI

•Méthodes de découverte de cibles iSCSI

•Découverte de la cible iSCSI par l’ESXi

•Authentification CHAP

•Formater le Datastore iSCSI

23/09/2016

155



iSCSI (Port Binding et Jumbo Frames)



23/09/2016

156


Plan

•Pré-requis du Port Binding

•Mise en place des Ports Groups pour iSCSI

•Configuration Port Binding : Vmkernel

•Configuration Port Binding : Jumbo Frames

•Configuration Port Binding : Carte Ethernet

•Couplage Carte réseau et Contrôleur iSCSI

23/09/2016

157


Pré requis du Port Binding

• Offre la possibilité d’avoir 2 cheminspour accéder aux LUNx

• 2 cartes réseaux ou plus

• 2 VMkernel

• A utiliser si VMkernel sur le même réseau IP

� Associer chaque 1 VMkernel avec 1 carte ETH

« Pour le LAB merci d’ajouter 2 nouvelles Cartes ETH à votre ESXi »

23/09/2016

158


Mise en place des Ports Groups pour iSCSI

• 2 ports Groups :

� iSCSI1

� iSCSI2

23/09/2016

159


Configuration Port Biding : VMkernel

23/09/2016

160



23/09/2016

161



23/09/2016

162


Configuration Port Biding : Jumbo Frames

• Best Practice : Configurer sur tous les VMkernel avec un MTU à 9000

23/09/2016

163


Configuration Port Biding : Carte Ethernet iSCSI1

23/09/2016

164


Configuration Port Biding : Carte Ethernet iSCSI2

23/09/2016

165


Couplage Carte réseau et Contrôleur iSCSI

23/09/2016

166



•Pré-requis du Port Binding

•Mise en place des Ports Groups pour iSCSI

•Configuration Port Binding : VMkernel

•Configuration Port Binding : Jumbo Frames

•Configuration Port Binding : Carte Ethernet

•Couplage Carte réseau et Contrôleur iSCSI

23/09/2016

167



Le multipathing



23/09/2016

168


Plan

• Module ESXi MultiPathing

• Multipathing :

� Fixed

� MRU

� Round Robin

• Pourquoi bien choisir la configuration?

• Configuration ESXi MultiPathing

• Configuration ESXi MultiPathing : CLI

23/09/2016

169


Module ESXi MultiPathing

• SATP (Storage Array Type Plugin) : Détermine quelle est la configuration de la baie connectée :

� Active / Active

� Active / Passive

� ALUA

• PSP (Path Selection Policy) : Détermine quel chemin sera utilisé par un IO :

� Fixed Path

� MRU (Most Recent Used)

� Round Robin

23/09/2016

170


Multipathing : Fixed

23/09/2016

171


Multipathing : MRU (Most Recent Used)

23/09/2016

172


Multipathing : Round Robin

23/09/2016

173


Pourquoi bien choisir la configuration?

• Active / Active : Fixed Round Robin

• Active / Passive : MRU / Round Robin

• ALUA : MRU / Round Robin

• Code Erreur :

� MRU : NOT_READY, ILLEGAL_REQUEST, NO_CONNECT, SP_HUNG

� Active / Active => Fixed : NO_CONNECT

23/09/2016

174


Configuration ESXi MultiPathing

• Fixed

• MRU (Most recently Used)

• Round Robin

23/09/2016

175


Configuration ESXi MultiPathing

23/09/2016

176


Configuration ESXi MultiPathing : CLI

#esxcli storage nmp device list

#esxcli storage nmp satp list

23/09/2016

177


Configuration ESXi MultiPathing : CLI

#esxcli storage nmp satp set -s VMW_SATP_ALUA -P VMW_PSP_RR

23/09/2016

178



• Module ESXi MultiPathing

• Multipathing :

• Fixed

• MRU

• Round Robin

• Pourquoi bien choisir la configuration

• Configuration ESXi MultiPathing

• Configuration ESXi MultiPathing : CLI

23/09/2016

179



Perte de stockage (APD - PLD)



23/09/2016

180


Plan

•APD : ALL Path Down

•PDL : Permanent Device Loss

•ESXi en PDL ou APD

•LAB : Générer un APD

23/09/2016

181


APD : ALL Path Down

• Perte totale de l’accès au stockage de votre ESXi, souvent :

� Perte d’un Switch

� Perte des contrôleurs

� Administrateur stockage qui démonte une LUN sans avoir respecté la procédure de démontage

23/09/2016

182


PDL : Permanent Device Loss

• Perte de votre ESXi d’un ou plusieurs DataStores :

� LUN Supprimé

� LUN Masking

23/09/2016

183


ESXi en PDL ou APD

• Tout est une histoire de code erreur iSCSI

� Exemple :

H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x25 0x0 or Logical Unit Not Supported

� Source :

http://pubs.vmware.com/vsphere-60/index.jsp#com.vmware.vsphere.storage.doc/GUID-45CF28F0-87B1-403B-B012-25E7097E6BDF.html?resultof=%2522%2570%2564%256c%2522%2520

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2133286

23/09/2016

184


LAB : Générer APD

23/09/2016

185


LAB : Générer APD

#tail -f /var/log/vmkernel.log

23/09/2016

186


LAB : Générer APD

• Sortie d’APD

23/09/2016

187



•APD : ALL Path Down

•PDL : Permanent Device Loss

•ESXi en PDL ou APD

•LAB : Générer un APD

23/09/2016

188



Etendre une banque de données



23/09/2016

189


Plan

•Extension LUN => VMFS

•Extension par agrégation de LUN

•LAB : Extension LUN

•LAB : Agrégation 2 LUN

23/09/2016

190


Extension LUN => VMFS

• On peut ajouter de la volumétrie à DataStore via l’extentionde la LUN :

23/09/2016

191


Extension par agrégation de LUN

• Permet d’étendre une LUN en agrégeant 2 LUN, via une extension du volume VMFS

Attention si une LUN est supprimée c’est l’ensemble du volume qui est Down

23/09/2016

192


LAB : Agrégation 2 LUN

23/09/2016

193


LAB : Agrégation 2 LUN

23/09/2016

194


LAB : Extension LUN

http://pubs.vmware.com/vsphere-60/topic/com.vmware.vsphere.storage.doc/GUID-EC4B7E67-9802-4BFE-8041-435C2375CF64.html

23/09/2016

195



•Extension LUN => VMFS

•Extension par agrégation de LUN

•LAB : Extension LUN

•LAB : Agrégation 2 LUN

23/09/2016

196



LUN masking



23/09/2016

197


Plan

•Qu’est ce que le LUN Masking?

•LAB : LUN Mask by Path

23/09/2016

198


Qu’est ce que le LUN Masking ?

• Permet de cacher une LUN d’une baie de stockage présentée :

� Pour filtrer les environnements

� Pour Exclure des baies de stockage

� En cas de secours (PDL, APD,…)

� Cacher les disques locaux

• 3 types de LUN Masking :

� Mask by path : Le plus commun, permet de cacher des chemins à une LUN

� Mask by transport type : Pour cacher un type de connexion (FC, FCOE,…)

� Mask by Vendor : Pour cacher une Baie d’un vendeur précis

23/09/2016

199


LAB : LUN Mask by Path

• Présenter une LUN iSCSI à L’ESXi

23/09/2016

200



#esxcli storage core device list | less

23/09/2016

201



#esxcli storage core device list -d t10.F405E46494C45425135697A75333D29544B674D2537496D6

23/09/2016

202



#esxcfg-mpath -m | grept10.F405E46494C45425135697A75333D29544B674D2537496D6

23/09/2016

203



#esxcli storage core claimrule list

23/09/2016

204



#esxcli storage core claimrule add

-r : ID Numéro de Rule

-t : Type (location =>path, vendor => Constructeur, transport => type FC, FCOE)

-A : HBA adapter.

-C : Channel

-T : Target

-L : LUN number

-P : Plugin (Mask_Path, NMP etc)

23/09/2016

205



#esxcli storage core claimrule add -r 300 -t location -A vmhba33 -C 0 -T 1 -L 1 -P MASK_PATH

23/09/2016

206



#esxcli storage core claimrule list

23/09/2016

207



•Qu’est ce que le LUN Masking?

•LAB : LUN Mask by Path

23/09/2016

208



Le RDM



23/09/2016

209


Plan

• Qu’est ce que RDM : Raw Device Mapping?

• Commandes de contrôle

• LAB : Ajout RDM à une VM

23/09/2016

210


Qu’est ce que RDM : Raw Device Mapping

• Permet de présenter une LUN directement à une VM

� Avant

• Cluster Microsoft MCSC (Qorum)

• By passer la limitation des 2To

• Obtenir plus de performances

� Aujourd’hui

• Avoir besoin d’envoyer des commandes ou coller des données de la Baie

23/09/2016

211


Commande de controle

#esxcli storage core device list | less

23/09/2016

212


LAB : Ajout RDM à une VM

23/09/2016

213


LAB : Ajout RDM à une VM

23/09/2016

214



•Qu’est ce que RDM : Raw Device Mapping?

•Commandes de contrôle

•LAB : Ajout RDM à une VM

23/09/2016

215



Pourquoi un stokagepartagé?

XXX


Fonctionnalités avancées du Stockage vSphere 6

23/09/2016

216


Plan

•Protection et Haute disponibilité des données

•Prérequis pour monter un cluster

23/09/2016

217


Protection et Haute disponibilité des données

• ESXi ne gère pas le RAID Logiciel, uniquement matériel

• Les baies sont beaucoup plus optimisées pour la protection des données

• Pour utiliser Snapshot Baie

• Pour réaliser des PRA (Plan de Reprise d’Activité) avec réplication de Baie

• Sauvegarde VM directement sur Baie

• Plusieurs ESXi peuvent se connecter au même volume

23/09/2016

218


Pré requis pour monter un cluster

• Avec un stockage central seulement la RAM et CPU sont migrées lors d’une vMotion

• Si un ESXi tombe, un autre ESXi peut redémarrer les VMs impactées

23/09/2016

219



•Protection et Haute disponibilité des données

•Prérequis pour monter un cluster

23/09/2016

220



Le Storage I/O control (SIOC)



23/09/2016

221


Plan

•Le Storage I/O Control (SIOC)

•Comment marche SIOC?

•Comment activer SIOC sous vSphere?

23/09/2016

222


le Storage I/O control (SIOC)

• Fonction de monitoring I/O VM, sécurisant les machines du même DataStore ne soient pas impactées par une VM trop I/Ovore

• Fonctionnalité : Entreprise Plus

• Limitation : ne fonctionne passur LUN endue par une autre LUN

23/09/2016

223


Comment marche SIOC

• Un Scheduler « I/O Injector »Calcule le MAX I/O possible

• Surveille l’état des VMs et limitesi besoin une VM en IOPs

• Possibilité :

� Offrir un Share

� Limite IOPS

23/09/2016

224


Comment activer NIOC sous vSphere

23/09/2016

225



•Le Storage I/O control (SIOC)

•Comment marche SIOC

•Comment activer SIOC sous vSphere

23/09/2016

226



Le cluster de DataStore

Gestion du Stockage sous vSphere



23/09/2016

227


Plan

•Cluster de DataStore

•Pré-requis pour la mise en cluster

•Comment mettre en place un Cluster de DataStore

23/09/2016

228


Cluster de DataStore

• Regroupement logique des DataStore offrant :

� SDRS : Storage Distributed Resource Scheduler permet de migrer des VM d’un Stockage à un autre du meme cluster de Storage

� Load Balancing I/O

� Règles Affinité ou anti-Affinité : Permettant de regrouper des VMs sur le même DataStore ou les séparer.

23/09/2016

229


Pré requis pour la mise en cluster

• Créer un second DataStore iSCSI

23/09/2016

230


Comment mettre en place un Cluster de DataStore

23/09/2016

231



23/09/2016

232



23/09/2016

233



23/09/2016

234



•Cluster de DataStore

•Pré-requis pour la mise en cluster

•Comment mettre en place un Cluster de DataStore

23/09/2016

235



Simulateur EMC UnityVSA



23/09/2016

236


Plan

• Présentation UnityVSA d’EMC

• Déploiement Unity VSA

• Initialisation Unity VSA

• Configuration :

� Pools de Stockage

� Serveur NAS

� LUN iSCSI

23/09/2016

237


Présentation UnityVSA d’EMC

• Appliance EMC Virtuel offrant toute l’intelligence d’une baie EMC

� iSCSI, NFS, vVLOs,…

� Capacité en Eval 4To

• Pré-requis :

� vCenter 5.5 u2 minimum

� 12Go RAM, 2vCPU, 50Go d’espace dique minimum

• https://www.emc.com/products-solutions/trial-software-download/unity-vsa.htm?PID=VSA-DL-KF

• http://www.emc.com/auth/elmeval.htm

23/09/2016

238


Déploiement Unity VSA

23/09/2016

239


Initialisation Unity VSA

• Démarrer votre VSA

• Puis éteignez la et ajouter 3 nouveaux VMDK

• Allumez votre Appliance

23/09/2016

240


• svc_initial_config -4 “192.168.199.65 255.255.255.0 192.168.199.2”

adminPassword123#


23/09/2016

241



23/09/2016

242



23/09/2016

243



23/09/2016

244


Configuration : Pools de Stockage

23/09/2016

245



23/09/2016

246



23/09/2016

247


Configuration : NAS

23/09/2016

248


Configuration : NAS

23/09/2016

249


Configuration : NAS

23/09/2016

250


Configuration : NAS

23/09/2016

251


Configuration : LUN iSCSI

23/09/2016

252



23/09/2016

253



23/09/2016

254



• Présentation UnityVSA d’EMC

• Déploiement Unity VSA

• Initialisation Unity VSA

• Configuration :

� Pools de Stockage

� Serveur NAS

� LUN iSCSI

23/09/2016

255



vVols et règles de Stockage



23/09/2016

256


Plan

• Qu’est ce que vVols (Virtual Volumes)?

• Pré-requis vVols

• Règles de Stockage VM

• LAB :

� Configuration des vVols sous Unity VSA

� Configuration des règles de stockage VM sous Unity VSA

� Configuration des vVols sous vCenter

� Configuration des règles de stockage VM sous vCenter

23/09/2016

257


Qu’est ce que vVols (Virtual Volumes)?

• Offre une granularité supplémentaire VM / Stockage

• Opérations stockage décorrélé VM / LUN

• Création d’un vVols par xx.vmx / xx.VMDK / xx.SWAP / snapshot

23/09/2016

258


Pré-requis vVols

• Baie compatible

• VASA (vSphere API Storage Awareness) : Interface de dialogue vCenter et baie de stockage

• Protocol Endpoint : module Vmkernelde l’ESXi qui fait proxy entre l’ESXi et la baie de stockage

• DataStore vVols

• Conteneur vVols

23/09/2016

259


Règles de Stockage VM

• Permet de définir le placement d’une VM selon :

� Performance nécessaire

� Disponibilité

� Besoin de PRA

• Gestion des DataStores via les Tags

23/09/2016

260


LAB : Règles de Stockage sous UnityVSA

23/09/2016

261


LAB : Connexion vCenter avec UnityVSA

23/09/2016

262



• URL : https://IP_vCenter:8443/vasa/version.xml

23/09/2016

263



23/09/2016

264


Lab : Mise en place vVols sous UnityVSA

23/09/2016

265


Lab : Mise en place vVols sous UnityVSA

23/09/2016

266


Lab : Mise en place vVols sous vCenter

23/09/2016

267


LAB : Mise en place de règles de stockage sous vCenter

23/09/2016

268



23/09/2016

269



23/09/2016

270


LAB : Création VM sous vVols

23/09/2016

271


LAB : Création VM sous vVols

Sans Snapshot

Avec Snapshot

23/09/2016

272



• Qu’est ce que vVols (Virtual Volumes)?

• Pré-requis vVols

• Règles de Stockage VM

• LAB :

� Configuration des vVols sous Unity VSA

� Configuration des règles de stockage VM sous Unity VSA

� Configuration des vVols sous vCenter

� Configuration des règles de stockage VM sous vCenter

23/09/2016

273



Les primitives VAAI



23/09/2016

274


Plan

•Les primitives VAAI

•VAAI sous le Web Client

•VAAI en CLI

•Les options VAAI

•LAB : Test VAAI vs Non VAAI

23/09/2016

275


Les primitives VAAI

• VAAI (vStorage APIs for Array Integration) :

• C’est une API qui a pour objectif principal de déporter certaines tâches de manipulation de VMs (clones, gestion des clones, mouvement des vmdks) de l’hyperviseur vers la baie de stockage.

• Ces tâches ou encore fonctions sont appelées « primitives ».

• VAAI permet donc de décharger les opérations liées au stockage, manipulations de fichiers vers la baie et permet ainsi de soulager l’hyperviseur en CPU et bande passante.

• VAAI était essentiellement présente sur des architectures en mode bloc (iSCSI,FC, FCoE).

• Aujourd’hui VAAI est également utilisée sur du mode file avec NFS.

23/09/2016

276


Les primitives VAAI

• Copie d’une VM sans et avec VAAI

23/09/2016

277


VAAI sous le Web Client

23/09/2016

278


VAAI en CLI

#esxcli storage core device vaai status get

23/09/2016

279


Les options VAAI

• Hardware-assisted locking ATS (Atomic Test & Set) : Les locks sur les fichiers en cours de manipulation sont directement gérés par la baie.

• Extended Copy (Clone Blocks / Full Copy) : Les copies (templates), clones, migrations (storage vmotion), manipulation des vmdks sont directement effectués par la baie.

• Zero Blocks : La baie va se charger de pré-allouer tout l’espace de stockage en mettant tous les blocks à zéro (thick eager zeroed)

23/09/2016

280


LAB : Test VAAI vs Non VAAI

• Création d’une VM en Thick Provisionning Eagered Zero

� Sans VAAI et Avec VAAI

• Clone d’une VM

� Sans VAAI et Avec VAAI

23/09/2016

281



•Les primitives VAAI

•VAAI sous le Web Client

•VAAI en CLI

•Les options VAAI

•LAB : Test VAAI vs Non VAAI

23/09/2016

282



UNMAP



23/09/2016

283


Plan

•Qu’est ce que l’UNMAP?

•Commande UNMAP

•Nouveautés vSphere 6 : UNMAP in Guest

•LAB : UNMAP in Guest

23/09/2016

284


Qu’est ce que l’UNMAP?

• UNMAP : Dead Space reclamation

• Lors de suppression de données sur le VMFS, l’information que les blocs sont libérés n’est pas répercutée côté baie. Ce qui fausse les données de consommation de stockage baie et surtout empêche les admin SAN à faire de l’Over Provisionning

23/09/2016

285


Commande UNMAP

#esxcli storage vmfs unmap

#esxcli storage vmfs unmap --volume-label=iSCSI_VAAI

#grep "Unmap" /var/log/hostd.log

23/09/2016

286


Nouveautés vSphere 6 : UNMAP in Guest

• Nouveauté depuis vSphere, il est possible de demander à la machine de libérer de l’espace à l’intérieur de l’OS

� Windows : à partir de Windows server 2012 et Windows

� LAB :

• Créer un VMDK en Thin Provisionning sur Windows 8

23/09/2016

287


LAB : UNMAP in Guest

• Activer le Guest reclamation dans l’ESXi

23/09/2016

288



• Générer de gros fichiers, via l’outil http://www.soft.tahionic.com/download-file-generator/index.html#file_generator

• Sélectionner « Disk Tools »

23/09/2016

289



23/09/2016

290



23/09/2016

291



•Qu’est ce que l’UNMAP?

•Commande UNMAP

•Nouveautés vSphere 6 : UNMAP in Guest

•LAB : UNMAP in Guest

23/09/2016

292



Virtual Flash Read Cache



23/09/2016

293


Plan

• Présentation de Virtual Flash Read Cache

• Nouveauté vSphere 6 : Framework VAIO

• Pré-requis Virtual Flash Read Cache

• LAB :

� Mise en place

� Déterminer le block Size VM

� Configuration VFRC sur VM

� Obtenir Stats VFRC

23/09/2016

294


Présentation de Virtual Flash Read Cache

• Nouveauté apparue en vSphere 5.5

• Offrant la possibilité à un ESXi de faire du caching sur un SSD

• Cache sélectif au niveau VMDK de la VM

• Caching uniquement en lecture

• Ainsi les IO les plus sollicités restent au plus prêt de l’hyperviseur et ne transitent pas aux travers d’un réseau de stockage

23/09/2016

295


Nouveauté vSphere 6 : Framework VAIO

• VAIO : vSphere APIs for IO Filtering

� Framework fournis par Vmware pour être consommé par des outils tierces

� Utilisé par :

• vVols

• SANDISK

23/09/2016

296


Pré requis Virtual Flash Read Cache

• Un SSD physique par ESXi

• Matériels certifiés « Flash Read Cache compliant »

� https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vfrc

• Licence Entreprise Plus

• VM sous VM Hardware 10 minimum

• Si vMotion à chaud ESXi de destination doit avoir aussi VFRC d’activé

23/09/2016

297


LAB : Mise en place

23/09/2016

298


LAB : Mise en place

23/09/2016

299


LAB : Déterminer le block Size VM

• Best Practice est d’aligner le block Size de la VM avec celui de VFRC

#/usr/lib/vmware/bin/vscsiStats –l

#/usr/lib/vmware/bin/vscsiStats -s -w 140894

23/09/2016

300


LAB : Déterminer le block Size VM

• Exécuter une monter IO via IO Meter - http://www.iometer.org/

#/usr/lib/vmware/bin/vscsiStats -p iolength -c

23/09/2016

301


LAB : Configuration VFRC sur VM

23/09/2016

302


LAB : Obtenir Stats VFRC

#esxcli storage vflash cache list

#esxcli storage vflash cache stats get -c vfc-2291833395-W8-2

23/09/2016

303



• Présentation de Virtual Flash Read Cache

• Nouveauté vSphere 6 : Framework VAIO

• Pré-requis Virtual Flash Read Cache

• LAB :

� Mise en place

� Déterminer le block Size VM

� Configuration VFRC sur VM

� Obtenir Stats VFRC

23/09/2016

304



VSAN



23/09/2016

305


Plan

• Présentation du vSAN

• Pourquoi la tendance vSAN

� Economique

� Performance

� Intégration

� Fonctionnalité

• Fonctionnement vSAN

• Pré-requis vSAN

• Installation vSAN

23/09/2016

306


Présentation vSAN

• SDS : Software Defined Storage

• Infrastructure Hyperconvergée

• Basé sur serveur x86

• Un Pool HDD/SSD qui donne unStockage partagé de haute performance

• Gestion au travers les Polices de Stockage VM

23/09/2016

307


Pourquoi la tendance vSAN (Economique)

• Suppression du stockage FC très coûteux

• Consommation électrique réduite

• Elimine une gestion de Stockage complexe

23/09/2016

308


Pourquoi la tendance vSAN (Performance)

• Plus de 100 000 IOPS / ESXi

• IO au plus proche de la VM

23/09/2016

309


Pourquoi la tendance vSAN (Intégration)

23/09/2016

310


Pourquoi la tendance vSAN (Fonctionnalité)

• Compression

• Déduplication

• Erasure Coding

23/09/2016

311


Fonctionnement vSAN

• FTT => Fault To Tolerate = 2

• Gestion des emplacement Rack via le Fault Domain

23/09/2016

312


Pré requis vSAN

• Le matériel répond à la Matrice de compatibilité Vmware

� http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan

• Licence vSAN Prix Publique environ 2800 euros / CPU

• SSD représente environ 10% du stockage magnétique

• FULL Flash réseau en 10Gb

• Hybride réseau 1Gb (recommandé 10Gb)

• Vmkernel dédié vSAN

23/09/2016

313


Installation vSAN

23/09/2016

314


Installation vSAN

23/09/2016

315



• Présentation du vSAN

• Pourquoi la tendance vSAN

� Economique

� Performance

� Intégration

� Fonctionnalité

• Fonctionnement vSAN

• Pré-requis vSAN

• Installation vSAN

23/09/2016

316



Conclusion

La gestion du Stockage


23/09/2016

317



• Chapitre 1 : Présentation de la formation

• Chapitre 2 : DAS (Direct Attached Storage)

• Chapitre 3 : NAS (Network Attached Storage)

• Chapitre 4 : SAN (Storage Area Network)

• Chapitre 5 : Fonctionnalités avancées du Stockage vSphere 6

23/09/2016

318


Compléter votre formation avec :

Réalisée

Suivante

Réalisée Réalisée

RéaliséeRéalisée

23/09/2016

319


Avez-vous des Questions /Remarques /Commentaires ?

23/09/2016

320


Ce n'est qu'un aurevoir ☺

Keep in touch !

E-mail : [email protected]

Linkedin : https://fr.linkedin.com/in/fouadelakkad

Blog : www.vroomblog.com

Twitter : @vroomblog

Alphorm.com Support de la Formation VMmware vSphere 6, La gestion du stockage

Technology

Transcript of Alphorm.com Support de la Formation VMmware vSphere 6, La gestion du stockage