Curs 10 - Automatizarea scalabila a sistemelor · 2017. 2. 20. · SAISP Curs 10, Automatizarea...

Curs 10Automatizarea scalabilă a sistemelor

Servicii avansate pentru ISP

16 mai 2017

SAISP Curs 10, Automatizarea scalabilă a sistemelor 1/38

Outline

Ce reprezintă o infrastructură?

Administrarea unei infrastructuri

Solutii de administrare centralizată

Puppet

Analiza comparativă a tool-urilor de administrarea centralizată

Concluzii

Întrebări


Infrastructura

I Din ce este formată?

I server-eI switch-uriI rutere

I Doar atât?I NU, inclusiv serviciile de pe servere fac parte din infrastructură


Infrastructura

I Din ce este formată?I server-eI switch-uriI rutere

I Doar atât?

I NU, inclusiv serviciile de pe servere fac parte din infrastructură


Infrastructura

I Din ce este formată?I server-eI switch-uriI rutere

I Doar atât?I NU, inclusiv serviciile de pe servere fac parte din infrastructură


Constructia unei infrastructuri

I Ce trebuie să configurăm pentru a avea conectivitate?

I switch-uriI rutere

I Ce configuratii trebuie realizate ı̂n general pe un server?I setări parametri kernelI montare discuriI adăugare utilizatori de sistemI creare directoare, symlink-uriI instalare pacheteI modificare fisiere de configurare



I Ce trebuie să configurăm pentru a avea conectivitate?I switch-uriI rutere

I Ce configuratii trebuie realizate ı̂n general pe un server?

I setări parametri kernelI montare discuriI adăugare utilizatori de sistemI creare directoare, symlink-uriI instalare pacheteI modificare fisiere de configurare



I Ce trebuie să configurăm pentru a avea conectivitate?I switch-uriI rutere

I Ce configuratii trebuie realizate ı̂n general pe un server?I setări parametri kernelI montare discuriI adăugare utilizatori de sistemI creare directoare, symlink-uriI instalare pacheteI modificare fisiere de configurare


Constructia unei infrastructuri (2)

I Cum este realizată dezvoltarea datacenter-elor(orizontală/verticală)?

I pe orizontalăI mai multe sisteme

I Unde sunt localizate fizic sistemele administrate (aceeasilocatie, locatii diferite)?

I locatii diferite

I Concluzie: efortul de administrare a crescut semnificativ


Outline




Puppet


Concluzii

Întrebări



I Cum putem micsora efortul de administrarea?I Care sunt particularitatile sistemelor fizice?

I grupuri de servere (sasie de blade-uri)I configuratii hardware aproape identice

I Ce servicii oferă?I nu oferă servicii propriu-ziseI rulează, ı̂n general, masini virtuale

I Administrarea centralizatăI folosirea unor seturi de configuratii centralizate


Administrarea unei infrastructuri (2)

I Care sunt particularitatile elementelor de interconectare?

I sunt multeI configuratii hardware diverseI vendori diversi

I Ce servicii oferă?I interconectare la nivelul 2/3 la stivei TCP/IP

I Ce presupune administrarea centralizată?I folosirea un singur punct de accesI descoperirea topologieiI ajustarea configuratiilor ı̂n functie de topologie/̂ıncărcareI folosirea unor seturi de configuratii centralizate



I Care sunt particularitatile elementelor de interconectare?I sunt multeI configuratii hardware diverseI vendori diversi


I Ce presupune administrarea centralizată?

I folosirea un singur punct de accesI descoperirea topologieiI ajustarea configuratiilor ı̂n functie de topologie/̂ıncărcareI folosirea unor seturi de configuratii centralizate



I Care sunt particularitatile elementelor de interconectare?I sunt multeI configuratii hardware diverseI vendori diversi


I Ce presupune administrarea centralizată?I folosirea un singur punct de accesI descoperirea topologieiI ajustarea configuratiilor ı̂n functie de topologie/̂ıncărcareI folosirea unor seturi de configuratii centralizate


Administrarea centralizată servere

I Serviciu ce stochează date centralizatI management utilizatori

I Crearea unor seturi de configuratii centralizatI distribuirea automată a acestora pe toate sistemele/nodurile

administrateI cum automatizăm configuratiile de retea?

I pot fi parametrizate ı̂n functie de un atribut (hostname)


Outline




Puppet


Concluzii

Întrebări


Administrarea centralizată a echipamentelor de retea

I SDN - Software Defined Networks

I Abstractizează functiile low-level ale serviciilor de retea oferite

I Permite controlul fluxului de trafic fără a accesa fiecareechipament de pe retea

I Multi-vendor

I Cea mai populară specificatie este standardul

OpenFlow

I O implementarea de la Cisco: onePk.


Administrarea centralizată a echipamentelor de retea

I SDN - Software Defined Networks

I Abstractizează functiile low-level ale serviciilor de retea oferite

I Permite controlul fluxului de trafic fără a accesa fiecareechipament de pe retea

I Multi-vendor

I Cea mai populară specificatie este standardul OpenFlow

I O implementarea de la Cisco: onePk.


Servicii de centralizare a informatiilor

I Serviciile de directorI ex: LDAP, Active DirectoryI adăugam un utilizator ı̂n directorI utilizatorul va deveni disponibil pe toate sistemeleI utilizatorul va avea aceleasi atribute (parolă, director home)

I Cloud frameworksI ex: OpenstackI decuplează partea de administrare de partea de rulare efectivă

(hypervisor/nod)I informatiile despre VM sunt tinute centralizatI management-ul VM-urilor este centralizatI hypervisor-ul poate varia de la nod la nod (KVM, Xen)


Servicii de centralizare a configuratiilor

I NoduriI hardware similarI ı̂n general rulează acelasi sistem de operareI ı̂ndeplinesc aceleasi functiiI configuratii aproape identice

I Ce trebuie să ı̂ndeplinească un astfel de serviciu?

I copierea automată a configuratiilor pe toate nodurileI repornirea automată anumitor serviciiI crearea anumitor fisiere, link-uri symboliceI realizarea unor configuratii parametrizate




I Ce trebuie să ı̂ndeplinească un astfel de serviciu?I copierea automată a configuratiilor pe toate nodurile

I repornirea automată anumitor serviciiI crearea anumitor fisiere, link-uri symboliceI realizarea unor configuratii parametrizate




I Ce trebuie să ı̂ndeplinească un astfel de serviciu?I copierea automată a configuratiilor pe toate nodurileI repornirea automată anumitor servicii

I crearea anumitor fisiere, link-uri symboliceI realizarea unor configuratii parametrizate




I Ce trebuie să ı̂ndeplinească un astfel de serviciu?I copierea automată a configuratiilor pe toate nodurileI repornirea automată anumitor serviciiI crearea anumitor fisiere, link-uri symbolice

I realizarea unor configuratii parametrizate




I Ce trebuie să ı̂ndeplinească un astfel de serviciu?I copierea automată a configuratiilor pe toate nodurileI repornirea automată anumitor serviciiI crearea anumitor fisiere, link-uri symboliceI realizarea unor configuratii parametrizate


Servicii de centralizare a configuratiilor (2)

I ExempleI PuppetI CFEngineI ChefI AnsibleI Salt

I Fiecare cu propria sintaxă de configurare (domain-specificlanguage - DSL)


CFEngine

I Dezvoltarea a ı̂nceput ı̂n 1993 la Universitatea din Oslo, decătre Mark Burgess

I principala motivatie a fost legată de faptul că scripting-ul duraprea mult

I A ajuns la versiune 3, ce a introdus teoria promisiunilor

I Open source (licenta GPL): CFEngine Community EditionI Comercializare: CFEngine AS (parteneriat ı̂ntre univeristate si

Mark)I oferă suport celor care dorescI au lansat o versiune comercială a CFEngine (Enterprise)


CFEngine (2)

I Este foarte rapid (̂ın comparatie cu Puppet/Chef)

I Bazat pe promisiuni ce au nume, tipuri si intentii

I Tipuri de promisiuni: package, file

I Poate controla starea proceselorI Functiile aplicate de promisiuni sunt idempotente

I Ex: append test la finalul fisieruluiI test trebuie să apară doar o dată la finalul fisierului, chiar

daca am rulat de mai multe ori CFEngine


Chef

I System and cloud infrastructure automation frameworkI Bazat pe definitii abstracte (cookbooks si recipe)

I scrise ı̂n Ruby (pure old-Ruby)I gestionate ca si cod sursă

I Folosit de Facebook si Amazon


Outline




Puppet


Concluzii

Întrebări


Puppet

I Multi-platform (Linux & Windows)

I Open source (Licenta Apache 2.0)I Scris ı̂n Ruby, de Luke Kanies

I de ce?

a ı̂ncercat perl, python si nu a reusit să ajungă laprototipul pe care ı̂l avea ı̂n cap

I folosind Ruby a reusit ı̂n 4 ore să aibă un prototip functional

I Are propriul DSL (Puppet’s declarative language)I poate fi folosit si Ruby


Puppet

I Multi-platform (Linux & Windows)

I Open source (Licenta Apache 2.0)I Scris ı̂n Ruby, de Luke Kanies

I de ce? a ı̂ncercat perl, python si nu a reusit să ajungă laprototipul pe care ı̂l avea ı̂n cap

I folosind Ruby a reusit ı̂n 4 ore să aibă un prototip functional

I Are propriul DSL (Puppet’s declarative language)I poate fi folosit si Ruby


Puppet (2)

I Puppet Labs, fondată ı̂n 2005, oferă oversiune comercialăI GUII Event inspector (vizualizare modificări de infrastructură)I Provision VMware VMsI User accounts

I Folosit de Google, VMware, Cisco


Puppet - instalare

I apt-get install puppet

I Se găseste ı̂n general ı̂n repo-urile distributiilor

I În caz contrarI Redhat-based: http://yum.puppetlabs.comI Debian-based: http://apt.puppetlabs.com

I Dacă instalati din surse verificati compatibilitatea cu versiuneade Ruby

I http://docs.puppetlabs.com/guides/platforms.html#

ruby-versions


http://yum.puppetlabs.comhttp://apt.puppetlabs.comhttp://docs.puppetlabs.com/guides/platforms.html#ruby-versionshttp://docs.puppetlabs.com/guides/platforms.html#ruby-versions

Puppet - configurare

I Se foloseste comanda puppet urmată de subcomenziI resource interactionează cu resursele sistemuluiI service este un tip de resursă

1 # puppet resource service2 service { ’abrtd’:3 ensure => ’running’,4 enable => ’true’,5 }6 service { ’acpid’:7 ensure => ’running’,8 enable => ’true’,9 }


Puppet - resurse

I Abstractizează majoritatea entitătilor din sistem prin resurseI Exemple de resurse

I serviciiI utilizatoriI fisiere sau directoareI pachete softwareI puppet describe --list pentru a afisa toate resursele

1 [root@learn ∼]# puppet describe --list2 These are the types known to puppet:

3 anchor - A simple resource type intended to be used a ...

4 augeas - Apply a change or an array of changes to the ...

5 computer - Computer object management using DirectorySer ...

6 cron - Installs and manages cron jobs


Structura unei resurse

I Tipul resursei: user

I Numele resursei: rootI Atributele resursei: ensure, comment, gid, home

I Fiecare atribut are o valoare.

1 [root@learn ∼]# puppet resource user root2 user { ’root’:3 ensure => ’present’,4 comment => ’root’,5 gid => ’0’,6 home => ’/root’,7 password => ’$1$jrm5tnjw$h8JJ9mCZLmJvIxvDLjw1M/’,8 password max age => ’99999’,9 password min age => ’0’,

10 shell => ’/bin/bash’,11 uid => ’0’,


Crearea, stergerea unei resurse

I Dată de atributul ensure din comanda puppet resourceI presentI absent

I Creare utilizatorI puppet resource user gigel ensure=present

shell="/bin/sh"

I Stergere utilizatorI puppet resource user gigel ensure=absent


Manifest file

I puppet resource nu scalează la scenarii complexe

I Configuratiile se fac ı̂n fisiere numite manifest cu extensia.pp

I Se aplică folosind comanda puppet apply manifest.pp

I Exemplu de creare a unui fisier1 file {’my file’:2 path => ’/tmp/my file’,3 ensure => present,4 mode => 0640,5 content => "File created using Puppet.",6 }


Dependinte ı̂ntre resurse

I Se realizează prin atributeleI before (before => Notify[’my_notify’])I require (require => File[’my_file’])

I Dacă dorim reexecutarea comenzilor ce depind de o resursă lafiecare modificare vom folosi:

I notify ı̂n loc de beforeI subscribe ı̂n loc de require


Dependinte ı̂ntre resurse (2)

1 file { ’/etc/ssh/sshd config’:2 ensure => file,3 mode => 600,4 source => ’/root/examples/sshd config’,5 }6 service { ’sshd’:7 ensure => running,8 enable => true,9 subscribe => File[’/etc/ssh/sshd config’],

10 }


Outline




Puppet


Concluzii

Întrebări


Criterii de evaluare

I Footprint

I Scalabilitate

I Documentatie disponibilă

I Curba de ı̂nvătare


Footprint

I CFEngineI low

I PuppetI Ruby

I ChefI Ruby + friends


Scalabilitate

I CFEngineI high

I PuppetI tricky

I ChefI yes


Documentatie disponibilă

I CFEngineI terrible

I PuppetI excellent

I ChefI ok


Curba de ı̂nvătare

I CFEngineI painful

I PuppetI gentle

I ChefI moderate


Outline




Puppet


Concluzii

Întrebări


Cuvinte cheie

I infrastructură

I virtualizare

I administrare

I centralizare

I informatii

I fisiere de configurare

I servicii de director

I scalabilitate

I SDN

I OpenFlow

I Openstack

I CFEngine

I Chef

I Puppet

I resursă

I manifest

I dependentă

I ensure

I require

I before


Link-uri utile

I http://blog.afistfulofservers.net/post/2011/12/30/cfengine-puppet-and-chef-part-1/

I http://www.blogcompiler.com/2012/09/30/scalability-of-cfengine-and-puppet-2/

I http://bitfieldconsulting.com/puppet-vs-chef

I http://www.slideshare.net/mindbat/cfengine-vs-puppet-chef

I http://cfengine.com/what-is-cfengine

I http://puppetlabs.com/

I http://www.getchef.com/chef/

I http://probably.co.uk/puppet-vs-chef-vs-ansible.html

I http://en.wikipedia.org/wiki/Software-defined_networking

I https://www.opennetworking.org/sdn-resources/sdn-definition

I http://en.wikipedia.org/wiki/OpenFlow

I http://docs.vagrantup.com/v2/why-vagrant/index.html


http://blog.afistfulofservers.net/post/2011/12/30/cfengine-puppet-and-chef-part-1/http://blog.afistfulofservers.net/post/2011/12/30/cfengine-puppet-and-chef-part-1/http://www.blogcompiler.com/2012/09/30/scalability-of-cfengine-and-puppet-2/http://www.blogcompiler.com/2012/09/30/scalability-of-cfengine-and-puppet-2/http://bitfieldconsulting.com/puppet-vs-chefhttp://www.slideshare.net/mindbat/cfengine-vs-puppet-chefhttp://cfengine.com/what-is-cfenginehttp://puppetlabs.com/http://www.getchef.com/chef/http://probably.co.uk/puppet-vs-chef-vs-ansible.htmlhttp://en.wikipedia.org/wiki/Software-defined_networkinghttps://www.opennetworking.org/sdn-resources/sdn-definitionhttp://en.wikipedia.org/wiki/OpenFlowhttp://docs.vagrantup.com/v2/why-vagrant/index.html

Outline




Puppet


Concluzii

Întrebări


Ce reprezinta o infrastructura?Administrarea unei infrastructuriSolutii de administrare centralizataPuppetAnaliza comparativa a tool-urilor de administrarea centralizataConcluziiÎntrebari

Curs 10 - Automatizarea scalabila a sistemelor · 2017. 2. 20. · SAISP Curs 10, Automatizarea...

Documents

Transcript of Curs 10 - Automatizarea scalabila a sistemelor · 2017. 2. 20. · SAISP Curs 10, Automatizarea...