Einrichten eines IVV Naturwissenschaften NWZnet -Arbeitsplatzes … · 2007. 3. 28. · Rechnern in...
Transcript of Einrichten eines IVV Naturwissenschaften NWZnet -Arbeitsplatzes … · 2007. 3. 28. · Rechnern in...
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 1
09-Feb-2006 Thomas Bauer([email protected])
IVV NaturwissenschaftenIV der Fachbereiche Biologie • Chemie • Physik
Westfälische
Wilhelms-Universität
Münster
Einrichten eines Einrichten eines NWZnetNWZnet--ArbeitsplatzesArbeitsplatzesals als GRIDGRID--RechnerRechner ffüür r MORFEUSMORFEUS
2
Inhalt
�Was ist Morfeus?
�Überblick über die Condor-Software
�Das Morfeus-GRID
�Installation, Nachkonfigurationen
�Windows� Linux
�Ausblick
�Zusammenfassung
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 2
3
Was ist Morfeus?
�Multiple Orphaned Resources For Educational Use
�Erschließung der bestehenden und noch nicht voll ausgenutzten Rechenleistung
�Realisierung durch das frei verfügbare Condor-Batchsystem
4
Konzept der Condor-Software
� Ein Central Manager
� Weiß über alle Ressourcen bescheid
�Status, Hardware, ...� Verteilt anstehende Jobs auf Clienten
� Entscheidet anhand von Prioritäten, welcher Benutzer bevorzugt wird
� Viele Clients
� Bearbeiten Jobs aus der Queue, wenn sie nicht vor Ort angefordert werden
� Stellen Jobs in die Queue
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 3
5
Das Morfeus-GRID� Hardware
� Intel P2, P3, P4
� AMD XP
� Stand Februar 2006
� ~200 Clients�~15 Linux
�~175 Win XP
�~10 Win 2000
� Leistung
� 410.000 MIPS
� 130 GFlops
� In 1,5 Jahren 45 Jahre Rechenzeit
Terminalserver
(NWZhome.uni-muenster.de)
Biologie Physik
Central Manager
(morfeus.uni-muenster.de)
6
Quellen
� Offizielle Installer
� www.cs.wisc.edu/condor/downloads
� Stable Release (Version 6.6.10) und Morfeus-Konfigurationsdateien
�Windows: Static� N:\Software\Programming\Morfeus\Windows
�Linux: Dynamic (glibc 2.3)� N:\Software\Programming\Morfeus\Linux
� Morfeus-Installationsscript für Windows
� N:\Admin\CMD\install_condor.bat
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 4
7
Windows: Installation von der Clients
� Administrativ einloggen (y-Account)
� Automatisches Script N:\Admin\CMD\install_condor.bat
bis zum Ende durchlaufen lassen
� Aktuelles Image beinhaltet bereits Condor!
� Installationsverzeichnis C:\Condor
� Globale Konfiguration: condor_config
� Lokale Konfiguration: condor_config.local
8
Windows: Konfigurationsdatei condor_config� Zentrale, identische Konfiguration für alle Windows-
Clients
� Beinhaltet die wichtigsten Einstellungen für die Morfeus-GRID-Clients
� Gespeichert unterN:\Software\Programming\morfeus\Windows\condor_config
� Registry-Eintrag auf lokaler MaschineHKEY_LOCAL_MACHINE\SOFTWARE\Condor\CONDOR_CONFIG
definiert diesen Pfad� Wird durch Gruppenrichtlinie auf oberster Ebene eingestellt� Lokale Datei c:\condor\condor_config ist ohne
Bedeutung!
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 5
9
Windows: Eigene condor_config benutzen (I)
�Policy der entsprechenden OU muss angepasst werden
�Active Directory öffnen
�Gruppenrichtlinie editieren bzw. erschaffen
�Bei Computerkonfiguration Rechts-Klick auf Administrative Vorlagen � Vorlagen hinzufügen/entfernen...
�N:\Admin\CMD\ADM\NWZnet\
morfeus.adm hinzufügen
10
Windows: Eigene condor_config benutzen (II)
�Windows versteckt neu hinzugefügten Eintrag, daher: Ansicht � Filterung...
�Alle Häkchen entfernen
�Gewünschter Pfad zu der condor_configkann nun über die Policy-Einstellung in Computereinstellungen/Administrative/ Vorlagen/NWZnet/Software/Morfeusdefiniert werden
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 6
11
Windows – Nachkonfiguration der condor_config.local (I)
�c:\condor\condor_config.local
editieren
�Prozessortyp
�Konvention für arch_type: �Intel Celeron: Cel
�Intel Pentium II, III, IV: P2, P3, P4
�AMD XP: 686
�Neuen Prozessor-Typ bitte [email protected]
12
Windows – Nachkonfiguration der condor_config.local (II)
�Anzahl Prozessoren
�Pentium 4 mit Hyperthreading wird als Dualprozessor erkannt: �num_cpus = 1
�Echte Mehrprozessormaschinen entsprechend anpassen�z.B. num_cpus = 4
�Abschließend Restart des Condor-Service
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 7
13
Windows XP - Firewall
�Durch Gruppenrichtlinie auf oberster Ebene korrekt konfiguriert
�Ausnahmen zulassen�Condor Master
�C:\Condor\bin\condor_master.exe
�Condor Scheduler�C:\Condor\bin\condor_schedd.exe
�Condor Job Starter�C:\Condor\bin\condor_startd.exe
14
Deinstallation von Condorunter Windows 2000, XP
� Service Condor beenden
� Evtl. alle condor_*-Prozesse beenden
� C:\Condor löschen
� Registry säubern� HKEY_LOCAL_MASCHINE\SOFTWARE\Condor
� HKEY_LOCAL_MASCHINE\SYSTEM\CurrentControlSet\Services
\Condor
� Lokale(n) Benutzer condor_reuse_vm* entfernen
� Reboot
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 8
15
Installation von Linux–Clients(I)� Getestet mit SuSE 8.2, 9.1, 9.3 und 10.0
� Vorraussetzung zur Installation: PERL� Einloggen als root
� Anlegen eines lokalen Benutzers condorYaST � Security & Users
� condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz per ftp nach /tmp kopieren� ftp nwz
� cd nwznet_inforoot:[nwznet.morfeus.linux]
� bin
� get condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz;1 /tmp/condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz
16
Installation von Linux–Clients(II)� Entpacken
� tar xzfv /tmp/condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz
� Installationsskript aufrufen� cd /tmp/condor-6-6-10/
� perl condor_install
� Alle Fragen mit Enter quittieren, außer
� Step 2: (...) Are you planning to set up condor on multiple machines? no
� Step 8: What machine will be your centralmanager? (...)morfeus.nwznet.uni-muenster.de
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 9
17
Installation von Linux–Clients- Pfade
� Binaries
� /usr/local/condor/bin
� /usr/local/condor/sbin
� Log-Dateien
� /home/condor/log
� Konfigurationsdatei condor_config
� /usr/local/condor/etc/
� Konfigurationsdatei condor_config.local
� /home/condor
18
Installation von Linux–Clients- Nachkonfiguration (I)� condor_config.local per ftp nach /home/condor kopieren und anpassen
� arch_type und num_cpus wie auf Folie 11 und 12 konfigurieren
� Bei SuSE 9.1, 9.3, 10.0 versagt die automatische Erkennung des Arbeitsspeichers�MEMORY = 512
� condor_config nach /usr/local/condor/etc/ kopieren� ftp: get condor_config;1 /usr/local/condor/etc
� Wird unter Linux (noch) nicht zentral vorgegeben
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 10
19
Installation von Linux–Clients- Nachkonfiguration (II)� Condor starten
� /usr/local/condor/sbin/condor_master
� 3 Dämonen
� condor_master, condor_schedd, condor_startd
� Autostart von Condor bei Reboot
� condor nach /etc/init.d kopieren� ftp: get condor.;1 /etc/init/condor
� chmod u+x /etc/init.d/condor
� YaST�System Services (Runlevel) als ExpertMode�Condor: Runlevel 3 & 5 � Enable the Service
20
Deinstallation von Condorunter Linux� Dämonen condor_* beenden
� kill -9 UID
� Verzeichnisse löschen� /home/condor
� /usr/local/condor
� Benutzer condor entfernen
� YaST�System Services (Runlevel)
� Condor: Runlevel entfernen � Disable the service� /etc/init.d/condor entfernen
� Softlinks in /usr/local/bin entfernen
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 11
21
Ausblick
�Vergrößerung des Morfeus-GRID
�Condor-Updates für Windows-Clients per Group Policy (MSI-Pakete)
�Zentrale condor_config für Linux-Clients
22
Zusammenfassung
�Funktionsweise von Condor
�Installation und Deinstallation der Condor-Software
�Windows-Clients
� Linux-Clients
�Konfiguration von Condor für das Morfeus-GRID
Einführung in die Administration von Rechnern in der IVV WS 2005/06
09.02.2006
www.uni-muenster.de/IVVNWZ 12
23
Fragen und Antworten