Cloud Computing mit mathematischen Anwendungen · Route53 is a scalable DNS service to manage the...

KIT – University of the State of Baden-Württemberg and National Laboratory of the Helmholtz Association

5.High Performance Computing (2)

www.kit.edu

Cloud Computing mit mathematischen Anwendungen Dr. habil. Marcel Kunze Engineering Mathematics and Computing Lab (EMCL) Institut für Angewandte und Numerische Mathematik IV Karlsruhe Institute of Technology (KIT)

2 Cloud Computing | SS2011 | M.Kunze

Source: baden-tv Zentrum für Kunst und Medientechnologie (ZKM), http://zkm.de/

3

Beyond 3D Festival Karlsruhe (27.5.-29.5.)

!   The world’s first festival related to 3D, hosted at ZKM !   Art, science, technology ! http://www.beyond-festival.com/

Cloud Computing | SS2011 | M.Kunze


Source: S.Ritterbusch

At the KIT/EMCL Booth

5

Beyond 3D Festival Karlsruhe (27.5.-29.5.)

!   The world’s first 3D Live streaming in HD (720p) over the Internet ! http://www.kit.edu/downloads/beyond-festival-2011-live-3d-stream-110527.pdf ! http://www.heise.de/newsticker/meldung/3D-Festival-in-Karlsruhe-1251895.html


6

AWS News April 2011


! Live streaming tutorial

7

3D Live Streaming over the Internet

!   Idea: Use Amazon Web Services to transmit 3D stream to 1000’s of screens worldwide

!   New Adobe Flash streaming services (Wowza, Adobe FMS)

!   Adobe FMS can be installed as a scalable application by use of the CloudFormation service

!   Use CloudFront service to distribute Live streams to edge locations

!   Route53 is a scalable DNS service to manage the IP addresses in a specific domain (e.g. cloudkitchen.de)


Source: highedwebtech.com

8

Amazon CloudFront


9

Amazon Route53


10

Amazon Route53 Tools

!   Route53 is not yet supported in the AWS console !   It can be programmed by REST API calls !   There are tools, like e.g. Ylastic or DNS30 (http://www.dns30.com) !   Management of DNS zones and records


11


!   Implement a distributed system to cover geography and demand !   Streams are produced in a variety of formats (side-by-side, anaglyph,…) at

ZKM and are transferred to the origin server !   Requirement: Secure the streams and contents in a way that they could not

be recorded at the endpoint Cloud Computing | SS2011 | M.Kunze

3D Live-S

tream

AWS Wowza Service: Origin EU-West: Ireland (m2.4xlarge)

3D Live-Stream

AWS Wowza Service: Edge EU-West: Ireland (m1.xlarge)

AWS Wowza Service: Edge US-East: Virginia (m1.large)

12


!   A single HD (720p) upstream is ca. 2 Gbit/s to be delivered to each client !   The two EU servers deliver a peak load of together 360 Mbytes/s


13

Wowza Flash Server Pricing


14


!   The 3D live streaming was implemented in cooperation with Invistra http://www.invistra.de

!   Two live events (about 1-2 hours each) !   The two EU servers were almost at maximum load and transmitted a peak load of 360 Mbyte/s !   At 1.8 Gbps per stream this translates to roughly 1600 simultaneous observers !   Seamless transmission of 3D experience and sound

!   Interesting new model to support any kind of live event / lectures


15

Performance Measurement of HPC Systems

!   LINPACK is a software library for performing numerical linear algebra on digital computers. It was written in Fortran by Jack Dongarra, Jim Bunch, Cleve Moler, and Gilbert Stewart, and was intended for use on supercomputers in the 1970s and early 1980s. It has been largely superseded by LAPACK, which runs more efficiently on modern architectures.

!   LINPACK makes use of the BLAS (Basic Linear Algebra Subprograms) libraries for performing basic vector and matrix operations.

!   The LINPACK Benchmarks are a measure of a system's floating point computing power, how fast a computer solves a dense N by N system of linear equations Ax = b, which is a common task in engineering. The solution is obtained by Gaussian elimination with partial pivoting, with 2/3·N3 + 2·N2 floating point operations. The result is reported in billions of floating point operations per second (GFLOPS).

!   The 1985 Cray-2 has the same LINPACK as the iPad2 !


16

High Performance Linpack Benchmark (HPL)


http://www.netlib.org/benchmark/hpl/


http://www.top500.org/

…

18

High Performance Computing: Top 500

!   The Top 500 list is issued any half year to rank the 500 fastest HPC systems on the basis of the HPL benchmark !   HPL = High Performance Linpack, http://www.netlib.org/benchmark/hpl/

!   Amazon entered the list in autumn 2010 with a virtual system !   The 231st fastest supercomputer in the world !   7,040 processing cores !   41,82 Teraflops !   10 Gbit Ethernet ! Deprovisioned after running the test

!   NB. There is also a Green top 500 list: http://www.green500.org/ !   The most energy efficient systems are BlueGene or GPGPU based



Hausaufgabe 7: HPL-Benchmark (1) Installieren Sie den HPL-Benchmark auf verschiedenen Instanztypen der AWS und vergleichen Sie deren Leistungsfähigkeit. Für die Entwicklung des HPL-Programms können preiswerte Micro-Instanzen verwendet werden (t1.micro), basierend auf dem Amazon Linux Image ami-8e1fece7. Wenn dann alles funktioniert, kann der Benchmark auf anderen Instanzen ausgeführt werden. Die Verwendung von Spot-Instanzen ist hier sinnvoll, um die Kosten gering zu halten. !   Sie müssen zunächst MPI mit Entwicklungsumgebung installieren (Siehe A.5).

Vergessen Sie nicht, die Environment-Variablen wie in A.5 zu setzen! sudo yum install mpi sudo yum install mpi-devel

!   Zusätzlich benötigen Sie die BLAS-Bibliothek und das Make utility sudo yum install blas sudo yum install blas-devel sudo yum install make

!   Sie finden den HPL-Benchmark unter: wget http://www.netlib.org/benchmark/hpl/hpl-2.0.tar.gz


Hausaufgabe 7: HPL-Benchmark (2) !   NB. Falls Sie wissen wollen, welche Files in einem Paket *package* enthalten

sind, führen Sie die folgenden Anweisungen aus: yum install yum-utils repoquery --list *package*

!   Auspacken und Übersetzen des Programms Achtung: Wegen eines Fehlers in der Distribution funktioniert die Übersetzung nur in einem Verzeichnis mit dem Namen „hpl“ ! tar -zxf hpl-2.0.tar.gz mv hpl-2.0 hpl cd hpl

! Sie finden ein für Amazon Linux bzw. CentOS angepasstes Makefile unter: wget http://cloudvorlesung.s3.amazonaws.com/Make.amzn wget http://cloudvorlesung.s3.amazonaws.com/Make.CentOS Nun kann das Programm erzeugt werden: make arch=amzn bzw. make arch=CentOS

!   Testen, ob das Programm funktioniert: cd bin/amzn bzw. cd bin/CentOS mpirun -np 4 xhpl

21

Hausaufgabe 7: HPL-Benchmark (3)

! Führen Sie den Benchmark für die folgenden Instanztypen aus: t1.micro(0.613GB, 2ECU), m1.large (7.5GB, 4ECU), m1.xlarge(15GB, 8ECU), m2.2xlarge(34.2GB, 13ECU), m2.4xlarge(68.4GB, 26ECU)

!   Die Parameter im Steuerfile HPL.dat müssen optimal gesetzt werden: N : The order of the coefficient matrix A. NB : The partitioning blocking factor. P : The number of process rows. Q : The number of process columns. Tipp: N*N*8 < ca. 80% RAM und P*Q = Ncores

! Vergleichen Sie Ihre Ergebnisse mit den Vorhersagen des “Top 500 Calculator” (http://hpl-calculator.sourceforge.net/)


22

Einige Ergebnisse

!   m1.large: mpirun –np 2 ./xhpl !   ================================================================================

T/V N NB P Q Time Gflops -------------------------------------------------------------------------------- WR00L2L4 4096 128 1 2 32.41 1.414e+00 ================================================================================"

!   m1.xlarge: mpirun -np 4 ./xhpl !   ================================================================================

T/V N NB P Q Time Gflops -------------------------------------------------------------------------------- WR00L2L4 8192 128 2 2 169.71 2.160e+00================================================================================"

!   m2.2Xlarge: mpirun -np 4 ./xhpl !   ================================================================================

T/V N NB P Q Time Gflops ------------------------------------------------------------------------------- WR00L2L4 16384 128 2 2 833.89 3.517e+00 ================================================================================"



!   cc1.4Xlarge: mpirun -np 8 ./xhpl !   ================================================================================



23


!   Die Ergebnisse sind nicht sehr überzeugend. Dieses ist vor allem eine Folge der suboptimalen Implementierung der BLAS-Bibliothek. Besser geeignet sind angepasste Bibliotheken der Prozessorhersteller. Bei Intel kann man für HPC mit Multi-Core CPUs speziell entwickelte Compiler und Bibliotheken herunterladen: http://software.intel.com/en-us/articles/performance-tools-for-software-developers-hpl-application-note/

!   Die Pakete sind für nicht-kommerzielle Anwendungen kostenfrei. Laden Sie die Pakete herunter und installieren Sie diese auf Amazon Linux. !   MKL: Math Kernel Library

!   Pfad: /opt/intel/composerxe/mkl ! icc: Intel C++ Compiler

!   Pfad: /opt/intel/composerxe/bin/intel64

! impi: Intel MPI !   Pfad /opt/intel/impi/4.0.2.003

!   Zunächst müssen die Pfade richtig gesetzt werden: export MPI_HOME=/opt/intel/impi/4.0.2.003/ export PATH=$MPI_HOME/bin64:$PATH export LD_LIBRARY_PATH=$MPI_HOME/lib64:$LD_LIBRARY_PATH source /opt/intel/composerxe/bin/compilervars.sh intel64


24


!   Eine von Intel vorbereitete binäre Version des HPL-Benchmarks findet sich in /opt/intel/composerxe-2011/mkl/benchmarks/mp_linpack/bin_intel/intel64. Führen Sie dort den Benchmark aus: ! sudo chown –R ec2-user /opt/intel/composerxe/mkl/benchmarks !   cd /opt/intel/composerxe/mkl/benchmarks/mp_linpack/bin_intel/intel64 !   Erzeugen eines mpd.hosts File mit den IP-Adressen der MPI-Hosts („localhost“) !   Starten des MPI-Dämons mit: mpdboot !   Anpassen der Parameter im File HPL_serial.dat !   Anpassen der Zahl der Prozesse bei mpiexec im File runme_intel64 !   Ausführen mit ./runme_intel64

!   Der originale HPL-Bench kann mit dem folgenden Makefile übersetzt werden: wget http://cloudvorlesung.s3.amazonaws.com/Make.amzn_intel64


25

Ergebnisse mit Intel MPI, MKL und ICC

!   m1.large: mpirun –np 2 ./xhpl !   ================================================================================

T/V N NB P Q Time Gflops -------------------------------------------------------------------------------- WR01C2R4 4096 128 1 2 5.05 9.084e+00 ================================================================================"

!   m1.xlarge: mpirun -np 4 ./xhpl !   ================================================================================









26

Good to know

!   All course info is on http://studium.kit.edu ! http://www.math.kit.edu/mitglieder/lehre/cloudcomp2011s/


Cloud Computing mit mathematischen Anwendungen · Route53 is a scalable DNS service to manage the...

Documents

Transcript of Cloud Computing mit mathematischen Anwendungen · Route53 is a scalable DNS service to manage the...