n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il...

17
Migliorare il controllo delle risorse Migliorare il controllo delle risorse Implementare policies e pianificazioni Implementare policies e pianificazioni Bilanciare il carico sui vari computer Bilanciare il carico sui vari computer Sfruttare al meglio i computer più Sfruttare al meglio i computer più potenti potenti Facilitare l’accesso a tutte le Facilitare l’accesso a tutte le risorse risorse Creare un’unica immagine del sistema: Creare un’unica immagine del sistema: Il mainframe virtuale Il mainframe virtuale Obiettivi di LSF Obiettivi di LSF

Transcript of n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il...

Page 1: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Migliorare il controllo delle risorseMigliorare il controllo delle risorse Implementare policies e pianificazioniImplementare policies e pianificazioni Bilanciare il carico sui vari computerBilanciare il carico sui vari computer Sfruttare al meglio i computer più potentiSfruttare al meglio i computer più potenti Facilitare l’accesso a tutte le risorseFacilitare l’accesso a tutte le risorse Creare un’unica immagine del sistema:Creare un’unica immagine del sistema:

Il mainframe virtualeIl mainframe virtuale

Obiettivi di LSFObiettivi di LSF

Page 2: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

LSF BatchLSF Batch

LSF MultiClusterLSF MultiCluster

LSF AnalyzerLSF Analyzer

LSF JobSchedulerLSF JobScheduler

LSF ParallelLSF Parallel 3.2LSF

LSF BaseLSF Base

LSF MakeLSF Make

Ent

erpr

ise

Edi

tion

Stan

dard

Edi

tion

La suite di prodotti LSFLa suite di prodotti LSF

Page 3: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Elementi di LSF: UtentiElementi di LSF: Utenti

UNIX & custom groupsUNIX & custom groups Priorità diversePriorità diverse

– suddivisione suddivisione pesatapesata di risorse tra gruppi di risorse tra gruppi diversidiversi

– priorità per priorità per progetti importantiprogetti importanti LimitiLimiti Accounting dettagliatoAccounting dettagliato

Page 4: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Elementi di LSF: HostsElementi di LSF: Hosts

Limiti e prioritàLimiti e priorità Finestre di aperturaFinestre di apertura Possibilità di associare risorsePossibilità di associare risorse

– Ubicazione codici applicativiUbicazione codici applicativi– Licenze floatingLicenze floating– Caratteristiche particolariCaratteristiche particolari

Soglie di caricoSoglie di carico Busy!

Page 5: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

LSF

Floating!

Run

Run

LSF BaseLSF Base

LSF MasterLSF Master

Load

InfoRequest

Request

C

Busy!

B

C

A

A

C

Page 6: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Elementi di LSF: CodeElementi di LSF: Code

Priorità diversePriorità diverse Finestre di aperturaFinestre di apertura Procedure di Pre-postProcedure di Pre-post Limiti, ...Limiti, ...

Grande flessibilità Grande flessibilità per permettere di per permettere di implementare le implementare le policy aziendalipolicy aziendali!!

Night

Priority

Simulation

Page 7: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

LSF MasterLSF MasterA

B

C

A

Code Batch& Policies

JOBS

Dispatch& Monitor

LoadInfo

LSF BatchLSF Batch

Page 8: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

LSF MultiClusterLSF MultiCluster

““Redirect” automatico controllatoRedirect” automatico controllato Autonomia di gestioneAutonomia di gestione

L.A.N.o

W.A.N.

Negoziazione Richieste Richieste in eccessoin eccesso

Clusterbusy

Clusteridle

RisorseRisorsein eccessoin eccesso

Page 9: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Analisi dell’utilizzo delle risorseAnalisi dell’utilizzo delle risorse– Supporto alle decisioni di acquisto e rinnovoSupporto alle decisioni di acquisto e rinnovo– Chargeback accountingChargeback accounting– Performance analysis su lunghi periodiPerformance analysis su lunghi periodi

LSF AnalyzerLSF Analyzer

0

50

100

1°T

rim

.

3°T

rim

.

1°T

rim

.

3°T

rim

.

1°Trim.2°Trim.3°Trim.4°Trim.

0

50

100

Set. Ott. Nov. Dic.

Page 10: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

LSF ParallelLSF Parallel

LSF MasterLSF Master

Code Batch& Policies

JOB

2 Proc. SMP

JOB

4 Proc. MPI

Page 11: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Uniformità delle politiche di gestione su Uniformità delle politiche di gestione su tutto il clustertutto il cluster

Flessibilità nell’assegnazione delle risorse Flessibilità nell’assegnazione delle risorse agli utentiagli utenti

Accounting dettagliatoAccounting dettagliato Riconfigurazione dinamicaRiconfigurazione dinamica Fault ToleranceFault Tolerance

Vantaggi di LSFVantaggi di LSF

Page 12: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Applicazioni e comandi utente

HP-UX . . .

Convex OS

SUNOS

AIX

IRIX

Digital UNIX

Windows NT

LINUX

SOLARIS

LSF APILSF APILSF API

Base

LIM RESPIM Batch Events

...JobSchedulerBatch

L’Architettura di LSFL’Architettura di LSF

Page 13: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Non interviene su applicazioni o S.O.Non interviene su applicazioni o S.O.– Nessun re-linkingNessun re-linking– Nessun intervento sul KernelNessun intervento sul Kernel

Interfaccia uniforme in ambienti eterogeneiInterfaccia uniforme in ambienti eterogenei– Bilanciamento automatico e trasparenteBilanciamento automatico e trasparente

Flessibilità nella configurazione e nella Flessibilità nella configurazione e nella gestione delle policy aziendaligestione delle policy aziendali

Scalabile (fino a migliaia di Host)Scalabile (fino a migliaia di Host)

Vantaggi dell’architetturaVantaggi dell’architettura

Page 14: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Migliore utilizzo e risparmio sulle licenze Migliore utilizzo e risparmio sulle licenze software software (site, node locked o floating)(site, node locked o floating)

Utilizzo ottimale dell’Hardware esistenteUtilizzo ottimale dell’Hardware esistente Sfruttamento immediato di nuove risorseSfruttamento immediato di nuove risorse Controllo dinamico delle risorseControllo dinamico delle risorse Maggiore produttivitàMaggiore produttività Ritorno dell’investimento in pochi mesiRitorno dell’investimento in pochi mesi

BeneficiBenefici

Page 15: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

Name space uniformeName space uniforme– NFS, AFS o DCENFS, AFS o DCE– Supporto diretto di automounterSupporto diretto di automounter– Supportati anche ambienti senza Shared File SystemSupportati anche ambienti senza Shared File System

User IDs uniformiUser IDs uniformi– Necessario per l’autenticazione e per la gestione delle Necessario per l’autenticazione e per la gestione delle

permission sui file condivisipermission sui file condivisi– Supporta NIS/YPSupporta NIS/YP

Ambiente suggeritoAmbiente suggerito

Page 16: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

– NICE-Italy distribuisce in Italia prodotti Platform ma NICE-Italy distribuisce in Italia prodotti Platform ma hanno anche altri progetti, Venus, portale di calcolohanno anche altri progetti, Venus, portale di calcolo

– Ogni site (sezione) acquista per Ogni site (sezione) acquista per 3000$3000$ almeno almeno 3030 licenze per cpu Linux licenze per cpu Linux (non per box!!).(non per box!!). Supporto Supporto optional +1000$/anno (hotline 7x24 e interventi on-optional +1000$/anno (hotline 7x24 e interventi on-site).site).

– oltre questo numero oltre questo numero 100$/100$/cpucpu– Le altre unix costano il doppio Le altre unix costano il doppio 200$/cpu200$/cpu– Una submitting machine vale un quinto di una Una submitting machine vale un quinto di una

executing machine.executing machine.– Il prezzo di listino sarebbe di 1250$/licenza + sconti Il prezzo di listino sarebbe di 1250$/licenza + sconti

EDU di 30-50%EDU di 30-50%

Offerta all’INFNOfferta all’INFN

Page 17: n Migliorare il controllo delle risorse n Implementare policies e pianificazioni n Bilanciare il carico sui vari computer n Sfruttare al meglio i computer.

– Da 0 fino a 3 sedi potrebbero partecipare a progetti comuni Da 0 fino a 3 sedi potrebbero partecipare a progetti comuni (integrazione Codine, PBS, Condor,GRID/Globus, System (integrazione Codine, PBS, Condor,GRID/Globus, System administration, Portali di Calcolo) in questo caso ci sarebbero administration, Portali di Calcolo) in questo caso ci sarebbero altre licenze gratuite per tempi limitati.altre licenze gratuite per tempi limitati.

– Altri moduli non compresi in LSF Base (interattivo e batch Altri moduli non compresi in LSF Base (interattivo e batch queueing), e.g. Analyser, MultiCluster, Parallel a 40$ invece queueing), e.g. Analyser, MultiCluster, Parallel a 40$ invece che 500$che 500$

– Ai responsabili dei sites corsi a prezzi dimezzati (2.200.000/3 Ai responsabili dei sites corsi a prezzi dimezzati (2.200.000/3 giorni alla Scuola Normale di Pisa 24-26 Maggio). giorni alla Scuola Normale di Pisa 24-26 Maggio). Disponibili a corsi on-siteDisponibili a corsi on-site

Offerta all’INFNOfferta all’INFN