TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

51
www.grid.org.tr TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR YEF @ TR-Grid Okulu 30 Nisan 2008, TAEK, Ankara

description

TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR. YEF @ TR-Grid Okulu 30 Nisan 2008, TAEK, Ankara. İÇERİK. Neden Grid? Türkiye'de Grid Çalışmaları Ulusal Grid Oluşumu (UGO) ve Hedefleri UGO Danışma Kurulu TR-Grid Altyapısı TR-Grid Projeleri ‏ - PowerPoint PPT Presentation

Transcript of TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

Page 1: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN

UYGULAMALAR

YEF @ TR-Grid Okulu

30 Nisan 2008, TAEK, Ankara

Page 2: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

İÇERİK

– Neden Grid?– Türkiye'de Grid Çalışmaları– Ulusal Grid Oluşumu (UGO) ve Hedefleri– UGO Danışma Kurulu– TR-Grid Altyapısı– TR-Grid Projeleri– TR-Grid Altyapısında Desteklenen YEF Deneyleri– Tier-2 Çalışmaları– TR-Grid Altyapısında YEF çalışmaları için ayrılan

kaynaklar– Grid Uygulamaları– Beklentilerimiz

Page 3: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

• Araştırmacıların kompleks bir işteHesaplama zamanını azaltmak içinBüyük verilere ulaşmak içinÖzel ekipmanlara ulaşmak içinDiğer kullanıcılarla çalışabilmek için

çok sayıda kaynağa veya servise ihtiyacı vardır.

Internet

Neden Grid?

Page 4: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

Internet

Dinamik kaynak bağışlamaÜniversite Sunucusu

PC bağışlayan

PC bağışlayan

PC bağışlayan

Uygulama

Masaüstü Gridi

Page 5: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

• SETI@home– 226 ülkede 4 milyon kullanıcı

– 1200 CPU sene/gün

– 38 TF

– 77 farklı işlemci tipi

SETI: Evrensel Masaüstü Gridi

Page 6: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

Internet

Boş kaynakların 7/24 bağışlanması

Enst1

Kullanıcı

Enst2

Kullanıcı

Bağışlayan ve kullanan

Bağışlayan ve kullanan

Kümeler ile Grid

Page 7: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

Scale> 49 ülkede 224 site~ 38.000 işlemci> 15 PB veri alanı> Günde onbinlerce çalışan iş> Yüzden fazla kayıtlı sanal organizasyon

En Büyük Çalışan Grid: EGEE

Page 8: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

~ 8 site, ~1000 CPU

Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları

TR-Grid

Page 9: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

NCSA: Compute IntensiveSDSC: Data Intensive PSC: Compute Intensive

IA64

IA64 Pwr4EV68

IA32

IA32

EV7

IA64 Sun

10 TF IA-64128 large memory nodes

230 TB Disk Storage3 PB Tape Storage

GPFS and data mining

4 TF IA-64DB2, Oracle Servers500 TB Disk Storage6 PB Tape Storage1.1 TF Power4

6 TF EV6871 TB Storage

0.3 TF EV7 shared-memory150 TB Storage Server

1.25 TF IA-6496 Viz nodes

20 TB Storage

0.4 TF IA-64IA32 Datawulf80 TB Storage

Extensible Backplane NetworkLA

HubChicago

Hub

IA32

Storage Server

Disk Storage

Cluster

Shared Memory

VisualizationCluster

LEGEND

30 Gb/s

IA64

30 Gb/s

30 Gb/s30 Gb/s

30 Gb/s

Sun

Sun

ANL: VisualizationCaltech: Data collection analysis

40 Gb/s

Backplane Router

PSC integrated Q3 03

TeraGrid

Page 10: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

20002000 20012001 20022002 20032003 20042004 20052005 20062006 20072007 20082008

5. ÇP5. ÇP6. ÇP6. ÇP

Ulusal AltyapılarUlusal Altyapılar

TEN 155 ağı

GÉANT ve uluslararası bağlantılar

Grid test yatakları DataGrid, CrossGrid, GridLab, GRIP, GRIA

IPv6 testbedsIPv6 test yatakları

6NET, 6IX gibi

GÉANT2 ve uluslararası bağlantılar

Grid destekli altyapılar

EGEE, DEISA, SEE-GRID

IPv6 kullanımı

Çerçeve Program Projeleri

Grid destekli altyapılar

EGEE2, SEE-GRID2 gibi

Girişimler

7. ÇP7. ÇP

Grid Araştırma Projeleri: GRIDCOORD, NEXTGRID, COREGRID, AKOGRIMO, SIMDAT gibi

Page 11: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

Türkiye'de Grid Çalışmaları– Avrupa Birliği'nin European Datagrid Projesi'nin başarısı ve YEF

araştırmacılarının ihtiyaçları üzerine özellikle 6. Çerçeve Program ile ağırlık verdiği grid altyapılarına olan desteği esas olarak Nisan 2004 tarihinde EGEE projesi ile başlamıştır.

– TÜBİTAK ULAKBİM, 2002 senesinde TÜBİTAK Araştırma Proje Çağrıları ile yaptığı anket ile Türkiye'de hesaplama ihtiyacı olan araştırmacıları saptamıştır.

– Araştırmacıların ihtiyaçlarını karşılamak ve yüksek başarımlı hesaplama konusunda deneyim kazanmak maksadı ile 128 işlemcili Deniz kümesi 2003 senesi Ekim ayında kurulmuştur.

– 2003 senesi içinde ULAKBİM'deki küme bilgisayar çalışmalarına paralel olarak Ulusal Akademik Ağın da yöneticisi olan TÜBİTAK ULAKBİM, AB Grid projelerine katılabilmek için üç üniversite ile birlikte Ulusal Grid Oluşumu TR-Grid'i kurmuştur.

Page 12: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

Türkiye'de Grid Çalışmaları

– TR-Grid oluşumu, ilk etapta Yüksek Enerji Fiziği deneylerinin altyapı ihtiyaçlarını karşılamak için gerekli altyapıyı kuracak ve yönetecek, gerekli ortakatman yazılımlarını geliştirecek EGEE projesine dahil olmaya çalışmıştır.

– Uluslararası ortakların ve ilgili AB ofisinin önerisi ile ülkede grid konusunda deneyimin artması için TR-Grid oluşumu ilk olarak SEE-GRID projesine dahil olmuştur.

– Mayıs 2004 tarihinde başlayan SEE-GRID projesi ulusal grid altyapısının, insan ağının oluşturulması ve grid uygulamaları geliştirilmesi konusunda bir öncü olmuştur.

– TR-Grid, 2004-2005 seneleri arasında 180 işlemcilik test altyapısı, grid uzmanları ve artan kullanıcı sayısı ile EGEE-2 projesine katılacak kapasiteye ulaştı.

Page 13: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

Türkiye'de Grid Çalışmaları

– 2005 senesinde TÜBİTAK Bilim Kurulu tarafından kabul edilen Ulusal Grid Altyapısının Kurulması – TUGA Projesi ile birlikte bölgenin en güçlü grid altyapısı olan yeni TR-Grid altyapısı 2006 senesi son çeyreği ile 2007 senesi ilk çeyreği arasında 6 üniversite ve ULAKBİM'de kuruldu.

– 2007 senesinde ULAKBİM koordinasyonunda TAEK ve 7 üniversitenin katılımı ile TR-Grid Girişimi genişletilmiştir. TR-Grid NGI (Ulusal Grid Oluşumu), 7. Çerçeve Program Projelerine “Joint Research Unit” çatısı altında katılmaktadır.

– 1 Mayıs 2008 tarihi itibari ile başlayacak olan EGEE-III ve SEE-GRID-SCI projeleri ile TR-Grid Çerçeve Program Projelerine devam edecektir.

Page 14: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

• SEE-Grid (2004-2006)ULAKBİM, Bilkent Üniversitesi, Boğaziçi Üniversitesi, İstanbul Teknik Üniversitesi

• SEE-Grid-2 (2006-2008)ULAKBİM, Bilkent Üniversitesi, Koç Üniversitesi, Orta Doğu Teknik Üniversitesi, Boğaziçi Üniversitesi

• EUMEDGRID (2006-2008)ULAKBİM, Boğaziçi Üniversitesi

• EGEE-2 (2006-2008)ULAKBİM

• EGEE-3 (2008-2010)

TR-Grid JRU

• SEE-Grid-SCI (2008-2010)ULAKBİM, Orta Doğu Teknik Üniversitesi, Boğaziçi Üniversitesi

Page 15: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

• EGI (“European Grid Initiative”)

Ulusal Grid oluşumları ile tamamlanacaktır:– NGI1 (National Grid Initiative1)

– NGI2 (National Grid Initiative2)

– …

– NGIn (National Grid Initiativen)

• Avrupa Grid oluşumuna katılmak için (projelerde yer almak, altyapıyı kullanmak, vb.), Ulusal Grid oluşumu içinde yeralmak gereklidir.

Avrupa Grid Oluşumu

Page 16: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

ULUSAL GRID OLUŞUMU

TR-Grid HEDEFLERİ– Grid çalışmaları TÜBİTAK ULAKBİM koordinasyonunda

hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır.

Oluşumun amaçları arasında :

• Ulusal kullanıcı kitlesini bilgilendirmek

• Bölgesel uygulamalar geliştirmek

• Ulusal grid altyapısını kurmak

• Uluslararası grid projelerine katılmak

yer alır.

Page 17: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

ULUSAL GRID OLUŞUMU

TR-Grid UGO Danışma Kurulu

• TR-Grid UGO Danışma Kurulu; TR-Grid e-Altyapısı için ulusal starteji ve politikaların belirlenmesi, uygun projelerin üretilmesi, gerekli finansmanın sağlanması ve yürütülen çalışmaların uygunluğunun denetlenemesi gibi sorumlulukları olan ve ULAKBİM Yönetim Kurulu tarafından tanınan bir kurul olarak hayata geçirilmiştir.

• TR-Grid UGO Danışma Kurulu, TÜBİTAK, DPT, TAEK ve üniversitelerden üyelerden oluşmaktadır.

Page 18: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Altyapısı

Page 19: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Altyapısı• 7 Grid Sitesi:

– TR-01-ULAKBIM (66 Çekirdek, 4 TB)– TR-03-METU (312 Çekirdek, 12 TB)– TR-04-ERCIYES (64 Çekirdek, 0.75 TB)– TR-05-BOUN (64 Çekirdek, 0.75 TB)– TR-07-PAMUKKALE (64 Çekirdek, 0.75 TB)– TR-09-ITU (64 Çekirdek, 0.75 TB)– TR-10-ULAKBIM (372 Çekirdek, 12 TB)

• Toplam grid kaynağı: 998 Çekirdek, ~40 TB Depolama

• Desteklenen sanal organizasyonlar: atlas, cms, biomed, ops, dteam, see, seegrid, sgdemo, eumed, trgrida, trgridb, trgridd, trgride

Page 20: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Altyapısı - Yazılım• TR-Grid altyapısı gLite 3.1 orta katman yazılımını

kullanmaktadır. • Her bir sitede Torque/Maui iş dağıtıcı/planlayıcı olarak

çalışmaktadır.• TR-01, TR-03, TR-05 ve TR-10 siteleri grid altyapısı

üzerinden MPI çalıştırmayı desteklemektedir.• TR-Grid üzerinde kullanıcılarının kendi sahip oldukları

dışında herhangi bir ücretli yazılım kullanılmamaktadır.

Page 21: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

• Küme kullanıcılarının işlerine hızlı bir şekilde devam edebilmeleri için üç büyük küme hizmet vermektedir:

– TR-03-METU (312 Çekirdek, 12 TB)– TR-10-ULAKBIM (372 Çekirdek, 12 TB)– ULAKBİM'de çalışan infiniband bağlı küme (240 Çekirdek, 6 TB)

• Toplam : 924 Çekirdek

• Kurulu paket programlar: Gamess, CPMD, NAMD, Espresso, Octa, R, Gromos, Gromacs, Siesta, Abinit, Gaussian, VASP, Charmm, Amber ...

• Bütün kaynaklara yüksek performanslı erişim için iki site birbirine 20 Gbps hızda bağlandı

• Birçok paket programa, kütüphaneye ve derleyicilere bu kümelere bakan kullanıcı arayüzü makineleri ile kolayca ulaşmak mümkün

TR-Grid Altyapısı

Page 22: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Sertifika Otoritesi

Yrd. Doç. Dr. Erol ŞahinOrta Doğu Teknik

ÜniversitesiBilgisayar Mühendisliği

Grid altyapılarında kullanıcıların çalışabilmesi ve sunucuların birbirleri ile güvenli konuşabilmesi için PKI sertifikalarına ihtiyaç vardır.

Kendi kullanıcılarını yetkilendirebilmeleri için her ülkenin en az bir grid sertifika otoritesi olması beklenmektedir.

Grid sertifika otoriteleri GridPMA tarafından onaylanır. EUGridPMA Avrupa içinde yetkilendirmeyi yapan organizasyondur.

TR-Grid CA 2005 Ekim ayında EUGridPMA tarafından akredite edilmiştir.

Page 23: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Kullanıcı İstatistikleri

• Toplam 241 kullanıcı:– 20 TBAG kullanıcısı– 221 normal kullanıcı

• Toplam 36 üniversite + TAEK + TÜBİTAK

• 13 farklı disiplin

Page 24: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TBAG Kullanıcı İstatistikleri

• Toplam 8 grup:

– Tbag1: ODTÜ, Gazi, Balıkesir Üniv., Fizik Bölümü – VASP– Tbag2: Erciyes Üniv., Fizik Bölümü – Espresso– Tbag3: Atatürk Üniv., Biyokimya – Kendi kodları– Tbag4: Bilkent Üniv., Fizik Bölümü – VASP– Tbag5: ITU, Kimya Bölümü – Gaussian, NAMD, VASP– Tbag6: Yeditepe, Boğaziçi Üniv., Kimya – NAMD, Charmm– Tbag7: Dokuz Eylül Üniv., Fizik – Octa– Tbag8: Bilkent Üniv., Fizik Bölümü – VASP, Espresso

Page 25: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Kullanıcı İstatistikleri

• Kullanıcıların disiplinlere göre dağılımı:

(Diğer: Elektronik müh, metalurji, biyoloji, kriptografi, istatistik, eczacılık, makina müh, çevre müh, biyomedikal vs.)

ULAKBIM HPC 03/2008

Diger46

19%Fizik77

33%

Bilgisayar47

20%

Kimya51

22%

Enformatik156%

Page 26: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Kullanıcı İstatistikleri

• Kullanıcıların üniversitelere göre dağılımı:

(Diğer: Dokuz Eylul, Ege, IYTE, Kırıkkale, Abant İzzet Baysal, Hacettepe, Marmara, Osmangazi, TOBB, Sabancı, Fırat, Gaziantep, Mustafa Kemal, Van Yüzüncü Yıl vs.)

Bogazici, 45, 19%

Diger, 69, 28%

ODTÜ, 60, 25%

Erciyes, 7, 3%

Cukurova, 8, 3%

Gazi, 11, 5%

Bilkent, 17, 7%İTÜ, 24, 10%

Page 27: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-GRID PROJELERİSEE-GRID2 (2006-2008)

(South Eastern European GRid-enabled eInfrastructure Development)

Ana Yükleniciler: GRNET, Yunanistan CERN, İsviçre MTA SZTAKI, Macaristan IPP-BAS, Bulgaristan ICI, Romanya TÜBİTAK, Türkiye ASA/INIMA, Arnavutluk UoBL, Bosna Hersek UKIM, Makedonya UOB, Sırbistan UoM Karadağ RENEM Moldovya RBI, HırvatistanAlt Yükleniciler: 27 üniversite / araştırma merkezi

Page 28: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-GRID PROJELERİ

SEE-GRID 2– Belirlenecek uygulamaların grid ortamına taşınması– Ulusal Grid Sertifika Otoritesinin işletilmesi– Uygulamların test edilmesi ve kullanıcı yardım masası

desteği– Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve

katılmak– Desteklenen Uygulamalar

» SDA (Boğaziçi Üniversitesi)» GPiP (Bilkent – Koç Üniversiteleri)» GridAE (ODTÜ)» P-Grade Portal Geliştirme Desteği (ODTÜ)

Page 29: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-GRID PROJELERİ

EUMEDGRID (2006-2008)(Empowering eScience Across the Mediterranean)

• EUMEDGRID altyapısına katılım• Grid servislerinin kurulumu ve bölgesel• Bölgesel grid uygulaması geliştirmek • - HuM2S (Boğaziçi Üniversitesi)• SEE-Grid ve EGEE'de edinilen tecrübeyi

Akdeniz Bölgesine taşımak

Page 30: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-GRID PROJELERİEGEE (Enabling Grids for E-SciencE)

EGEE, Avrupa Birliği tarafından desteklenen ve grid teknolojisindeki yeni gelişmelere dayalı olarak araştırmacılara kesintisiz hizmet veren bir grid servisidir.

- 40 Ülkede 200 Site

~ 30 000 Çekirdeks (7/24)- 10 000 iş/gün

- 48 Ülkede 250 Site

~ 41000 Çekirdeks (7/24)- 25.000 iş/gün (eş zamanlı)- 100.000 iş/gün

Page 31: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

EGEE - 2

ULAKBİM'in ROLÜ

• Network Aktiviteleri– NA2 – Ulusal ve uluslarası tanıtım ve işbirliği

– NA3 – Ulusal eğitim faaliyetleri

• Özel Servis Aktiviteleri – SA1 – Grid altyapısı yönetim, destek, işletimi

BÜTÇE

• Toplam: ~35M Euro

• TÜBİTAK: 360K Euro (%50 AB desteği)

Page 32: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

EGEE - 3

ULAKBİM'in ROLÜ

• Network Aktiviteleri– NA2 – Ulusal ve uluslarası tanıtım ve işbirliği

– NA3 – Ulusal eğitim faaliyetleri

• Özel Servis Aktiviteleri – SA1 – Grid altyapısı yönetim, destek, işletimi

BÜTÇE

• Toplam: ~32M Euro

• TÜBİTAK: 500K Euro (%50 AB desteği)

Page 33: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

- TR-Grid Projeler -

Yrd. Doç. Dr. Erol ŞahinOrta Doğu Teknik

ÜniversitesiBilgisayar Mühendisliği

413

2007

2 + 4 Teklif-

2 Yeni + 3 Teklif2008

1--TÜBİTAK Projeleri

4

32006

11Toplam

11Avrupa Birliği Projeleri

20052004Proje Tipi

300.000 €

100.000 €

200.000 €

2007

700.000 €

220.000 €

480.000 €

TOPLAM

100.000 €10.000 €10.000 €TÜBİTAK Fonları

300.000 €

200.000 €

2006

60.000 €40.000 €Toplam

50.000 €30.000 €Avrupa Birliği Fonları

20052004Personel Bütçe Tipi

Page 34: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

- TR-Grid Çalışanları -

Yrd. Doç. Dr. Erol ŞahinOrta Doğu Teknik

ÜniversitesiBilgisayar Mühendisliği5755Doktora Öğrencisi

6722Proje Çalışanı5533Akademisyen

19

32007

22

32006

1111Toplam

22Proje Yöneticisi20052004Görevi

510.000 €

500.000 €

10.000 €

2007

1.010.000 €

1.000.000 €

10.000 €

TOPLAM

500.000 €TÜBİTAK Fonları

500.000 €

-

2006

Toplam

Avrupa Birliği Fonları

Donanım Bütçe Tipi

Page 35: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

SimülasyonBüyük hacimli veri işlemeGerçek zamanlı veya interaktif uygulamalarWorkflowParalel işlerEski (legacy) uygulamalar

Page 36: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

• ÖrneklerYEF Monte Carlo simülasyonlarıWISDOM— Kuş gribi araştırmaları

• Özellikleriİşler hesaplama ağırlıklıdırBağımsız bir çok işGenelde deneyimsiz kullanıcılarKüçük girdi; büyük çıktı

• Gerekliliklerİş yığını işleme servisleriYüksek hacimli verinin saklanması için veri yönetimi

ATLAS

ITER

Simülasyon

Page 37: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

• Örnekler– Yüksek boyutta ham data işleyen ve analiz eden– YEF deneyleri– Yer bilimcilerin veri analizleri

Özellikleri– Dağıtık girdi verisi– Yüksek miktarda girdi ve çıktı verisi

• Gereklilikler– İş yönetim araçları– Daha gelişmiş veri yönetimi

Büyük Hacimli Veri İşleme

Page 38: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid UGO Destekli Grid Uygulamaları

• Ulusal Destekli Uygulamalar (TUGA)– Eğitim Ontolojisi (AGMLAB)

• AB Çerçeve Programı Destekli Uygulamalar– SE4SEE (Güney Doğu Avrupa için Grid Olanaklı Arama Motoru,

Bilkent Üniversitesi)

– SDA (Sismik Veri Analizi, Boğaziçi Üniversitesi)

– G-PiP (Grid Olanaklı Protein-Protein Etkileşimi Tahmini, Koç üniversitesi ve Bilkent Üniversitesi)

– GridAE (Grid Tabanlı Yapay Evrim, Orta Doğu Teknik Üniversitesi)

Page 39: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid UGO Destekli Grid Uygulamaları

• AB Çerçeve Programı Destekli Uygulamalar– HuM2S (İnsan Hafızasının Simülasyonla

Modellenmesi, Boğaziçi Üniversitesi)

– P-Grade Portalı ( Grid Uygulama Geliştirme Portalı) MTA SZTKI, Orta Doğu Teknik Üniversitesi

• TR-Grid Altyapısının Desteklediği Kullanıcı Uygulamaları– YEF (ATLAS, CMS)

– Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber,...

– MPI Kullanıcıları

Page 40: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

SE4SEE (Search Engine for South East Europe)

Grid altyapısında çalışabilen isteğe bağlı, ülkeye özel, kategorik ve kişisel bir arama motorudur.

SEE-GRID kapsamında Prof. Cevdet Aykanat ve öğrencileri tarafından geliştirilmiştir.

Page 41: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

SDA (TR-Grid Üzerinde Kandilli Sismik Veri Sunucusu)

Kandilli Rasathanesinin topladığı sismik verilerin grid üzerinde erişim ve hesaplama için sunulması

SEE-GRID2 kapsamında önerilmiş, SEE-GRID-SCI uygulaması olarak seçilen SDA Prof. Can Özturan, Kandilli Rasathanesinden M. Yılmazer ve öğrencileri tarafından geliştirilmektedir.

Page 42: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

P-GRADE Portalı

P-GRADE portalı seri ya da paralel işlerden oluşan iş akışlarının tanımlanıp çalıştırılmasına, bu işlerin durumunun portal üzerinden takip edilmesine olanak veren bir grid portalıdır.

SEE-GRID2 kapsamında desteklenen P-Grade Portalı Prof. Peter Kascuk, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir.

http://www.grid.org.tr/servisler/pgrade/

Page 43: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

SONUÇ

•Yeni projeler “FP7 (SEE-GRID-SCI, EGEE3, ...)”

•Yeni “Grid Kullanıcıları”

•Yetkin “Grid Sistem Yöneticileri”

•Grid Eğitimleri ve Ulusal Grid Çalıştayına aktif katılım

•Kamu ve Endüstri ortaklıkları

Page 44: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

www.grid.org.tr

YEF @ TR-Grid

YEF @ TR-Grid Okulu

30 Nisan 2008, TAEK, Ankara

Page 45: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

KollaborasyonLHC Deneyleri ~200 bilgiislem merkezi12 buyuk merkez (Tier 0, Tier 1)38 Tier 2 merkezi~40 ulkeEGEE, OSG, Nordugrid Gridleri

SeçimlerGrid teknolojisi,“Tier” hiyerarşisi,PClerde Intel işlemciler,LINUX işletim systemi.

HedefDeneylerin LHC detektörlerinden gelen verileri çözümlemesine yardımcı olacak bilgi işleme ortamını hazırlamak.

Bir fizik çalışma grubu için grid

Tier3fizik

Bölümü

Desktop

Almanya

Tier 1

ABDİngiltere

Fransa

İtalya

Taipei?

CERN Tier 1

JaponyaCERN Tier0

Tier2

Lab aUni a

Lab c

Uni n

Lab m

Lab b

Uni bUni y

Uni xBölgesel bir grup için grid

LCG – LHC Computing Grid Projesi

Page 46: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Tier-2 Kaynakları

2007 2008 2009 2010CPU (kSI2K) 250 850 1350 2450

40 310 550 900500 1000 1000 1000

Turkish Tier-2 FederationPledged Planned to be pledged

Disk (Tbytes)Nominal WAN (Mbits/sec)

Page 47: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

TR-Grid Tier-2 Kaynakları (Detay)2007 2008 2009 2010

ATLAS CPU (MSI2K) 2336 17494 26973 51545CMS CPU (MSI2K) 7600 15200 25600 45200

1259 7744 13112 22132

1300 4200 8400 133002007 2008 2009 2010

TRGRID CPU (MSI2K) 250 850 1350 245040 250 500 800

2007 2008 2009 2010TRGRID ATLAS CPU 60 450 700 1300TRGRID CMS CPU 190 400 650 1150TRGRID ATLAS DISK 20 160 300 500

ATLAS DISK (Tbyte)

CMS DISK (Tbyte)

TRGRID DISK (Tbyte)

Page 48: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

YEF Araştırmacıları için TR-Grid Olanakları

• TR-Grid oluşumu 2003 senesinde ilk kurulduğundan beri YEF araştırmacıları ile bağlantı içindedir.

• 2005 Kasım ayında TÜBİTAK Bilim Kurulu tarafından kabul edilen TUGA Projesi ile hizmet vermeye başlayan TR-Grid Altyapısı ağırlıklı olarak YEF araştırmacıları için kurulmuştur.

• 2007 senesi içinde TAEK ve ULAKBİM'de yapılan bir dizi seminer ve toplantı sonucunda hesaplama kapasitesi olarak oldukça yeterli olan TR-Grid altyapısının CMS ve ATLAS için Tier-2 merkez olması için gerekli başvuruların yapılmasına karar verilmiştir.

• Tier-2 merkezleri, altyapı, kaynak ve bağlantı yeterlilikleri nedeni ile TÜBİTAK ULAKBİM ve ODTÜ olarak belirlenmiştir.

• Tier-2 merkezlerin sorunsuz çalışması için Temmuz 2008 tarihinde devreye girecek 2x2.5 Gbps GEANT bağlantısının en az 1 Gbps kapasitesi Tier-2 veri akışı için ayrılacaktır.

Page 49: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

YEF Araştırmacıları için TR-Grid Olanakları

• Tier-2 merkezlerin veri depolama kapasitesini arttırmak için 400 Tbyte toplam veri alanına sahip yeni depolama sunucularının Temmuz 2008 itibari ile devreye girmesi beklenmektedir.

• TR-Grid altyapısının hem YEF hem de diğer araştırmacılara uzun seneler ve sağlıklı hizmet verebilmesi için ulusal ve uluslararası fon başvuruları yapılmaktadır.

• Bütün TR-Grid siteleri ATLAS ve CMS sanal organizasyonlarını desteklemektedir. Ancak bağlantı masraflarının yüksek olması nedeni ile ULAKBİM ve ODTÜ dışındaki diğer merkezlerin yoğun olarak veri analizi için kullanılması mümkün gözükmemektedir.

• TAEK ve ULAKBİM'de yapılan toplantılar sonucunda diğer YEF deneylerine olan TR-Grid site destekleri kesilmiştir. Ancak ATLAS ve CMS dışında kalan diğer deneylere herhangi bir sitede destek verilmesi uzun bir süreç değildir.

Page 50: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

YEF Araştırmacıları için TR-Grid Olanakları

• CMS ve ATLAS için hangi Tier-1 merkezlerin kullanılacağı konusunda çalışmalar devam etmektedir.

• CMS Tier-2 ana merkezi ODTÜ yedek merkez ULAKBİM olarak belirlenmiştir. ATLAS Tier-2 ana merkezi ULAKBİM yedek merkez ODTÜ olarak belirlenmiştir.

• Bütün TR-Grid siteleri şu an TR-Grid Operasyon Merkezi (TOM) tarafından yönetilmektedir. Kaynak planlaması, altyapı değişiklileri TR-Grid UGO Danışma Kurulu tarafından belirlenmekte ve TOM tarafından uygulanmaktadır.

• CMS için Tier-1 veri aktarımı denemeleri yapılmıştır.

• CMS ve ATLAS için araştırmacıların istekleri üzerine istenen yazılımlar sitelere yüklenmiştir veya otomatik yüklenmesi sağlanmıştır.

Page 51: TR-Grid OLUŞUMU, ALTYAPISI VE ÇALIŞAN UYGULAMALAR

YEF @ TR-Grid Okulu, TAEK, ANKARA

YEF Araştırmacıları için TR-Grid Olanakları

• YEF araştırmacıları, operasyonel sorunları için [email protected] adresini kullanabilirler.

• YEF kullanıcılarına özel wiki sayfaları TOM ve YEF gruplarından araştırmacılar tarafından düzenlenmektedir.