Michal Růžička - Napojení systému Archivematica na úložiště CESNET
Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze...
Transcript of Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze...
![Page 1: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/1.jpg)
Způsoby využití datových úložišťCESNET
David Antoš
![Page 2: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/2.jpg)
Přehled
I infrastruktura dostupná na CESNETuI služby úložišť podle různých typů použití
I smysl úložiště a zamýšlené použitíI synchronizace a sdílení datI zálohy, archivy, sdílení klasickými metodamiI speciální služby
I správa uživatelů a modely použitíI výhledy rozvoje služebI volitelná témata
I očekávané rychlosti přenosů datI velká data
11. 3. 2015 CESNET Day
![Page 3: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/3.jpg)
Část IInfrastruktura
11. 3. 2015 CESNET Day
![Page 4: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/4.jpg)
Infrastruktura
Praha
Liberec
Pardubice
Brno
Olomouc
Ostrava
Opava
NIX
Internet
AMS-IX
SANETACONET
PIONIER
Jihlava
Děčín
PlzeňKarviná
Zlín
České Budějovice
Hradec Králové
GÉANT
11. 3. 2015 CESNET Day
![Page 5: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/5.jpg)
Infrastruktura
I celková hrubá kapacita cca 21 PBI Plzeň (od pol. 2012)
I v areálu ZČUI cca 500 TB disků, 4800 TB pásek, 3584 TB SGI COPANI SGI Data Migration Facility, CXFS
I Jihlava (2013)I Krajský úřad JihlavaI 1041 TB disků, 3744 TB pásek, 2934 TB MAID
I Brno (2013)I rektorát VUT BrnoI 498 TB disků, 3500 TB pásek, 2116 TB MAIDI řešení IBM založené na GPFS a TSM
11. 3. 2015 CESNET Day
![Page 6: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/6.jpg)
Knihovna v Plzni
11. 3. 2015 CESNET Day
![Page 7: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/7.jpg)
Úložiště jsou hierarchická
I vrstvy médií různé kapacity a rychlostiI rychlé disky/pomalejší disky/MAID/páskyI drahý provoz → levnější provoz
I a automatizovaný systém pro přesuny dat mezi nimiI déle nepoužívaná data do pomalejších vrstevI pro uživatele transparentní, resp. téměř transparentní
I přístup k dlouho nepoužitému souboru trvá déleI uživatelům to obvykle nevadí
11. 3. 2015 CESNET Day
![Page 8: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/8.jpg)
Zaplnění archivu v Plzni
11. 3. 2015 CESNET Day
![Page 9: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/9.jpg)
Část IISlužby datových úložišť – motivace
11. 3. 2015 CESNET Day
![Page 10: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/10.jpg)
Smysl externího úložiště
I uživatelé raději drží data na vlastním zařízení. . .I to ale nedává rozumné garance dlouhodobého uchováváníI používají se nevhodná média, chybí systematická péčeI data je lépe uchovávat v živém systému
I konsolidace zdrojů – národní úložiště vědeckých datI umožňuje pořídit zařízení dostatečné velikostiI spravované specializovaným týmemI s možností sdílení dat mezi skupinami uživatelů
11. 3. 2015 CESNET Day
![Page 11: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/11.jpg)
Cíl: dlouhodobé uchování dat
I potřeba dlouhodobě uchovávat vědecká data vzrůstáI uchování primárních dat z experimentů a výpočtůI s ohledem na potenciál jejich dalšího využitíI k návratu a revizi publikovaných výsledků
I uchování zajišťujeme na úrovni zachování binárních dat(bitstream)
I správce úložiště nerozumí odborné povaze datI ani nemůže rozhodovat o smysluplnosti jejich archivace
I proto neděláme LTP (Long-Term Preservation)I bitstream je nicméně předpokladem pro uchování dat
I další kopie, geografické repliky, redundance v systému
11. 3. 2015 CESNET Day
![Page 12: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/12.jpg)
Organizačně-právní pohled
I data uživatelů zásadně patří uživatelůmI srovnejte s provozními podmínkami komerčních poskytovatelů
11. 3. 2015 CESNET Day
![Page 13: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/13.jpg)
Část IIISlužby datových úložišť
11. 3. 2015 CESNET Day
![Page 14: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/14.jpg)
Jednorázové zaslání souboru
I FileSender: webová služba pro jednorázový přenos (velkých)souborů
I „velkých“: aktuálně 500 GBI přispíváme i k jeho vývojiI http://filesender.cesnet.czI alespoň jedna strana komunikace musí být oprávněný uživatel
infrastrukturyI autentizace federací eduID.cz
I oprávněný uživatel může nahrát soubor a poslat mu oznámeníI lze poslat komukoli pozvánkuI testovací verze na http://filesender2.cesnet.cz
11. 3. 2015 CESNET Day
![Page 15: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/15.jpg)
Synchronizace a sdílení dat
I pokud hledáte způsob, jakI synchronizovat data mezi svými počítačiI i mobilními zařízenímiI mít je zároveň dostupná přes webI moci data sdílet
I a přitomI data nejsou příliš velká
I ownCloud
11. 3. 2015 CESNET Day
![Page 16: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/16.jpg)
ownCloud
I cloudové úložiště se synchronizací souborůI pro osobní počítače (Windows, Linux, Mac OS X)I mobilní Android, Apple (klient pod 1 Euro)I a webové rozhraní
I data se synchronizují přes úložištěI na počítači jsou i lokálně, na mobilní při otevření
I data lze sdíletI konkrétní osobě nebo „kdo zná odkaz“
I kalendář, kontaktyI registrace federací na http://owncloud.cesnet.czI standardní limit 100 GB na uživatele
11. 3. 2015 CESNET Day
![Page 17: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/17.jpg)
ownCloud – počet uživatelů
11. 3. 2015 CESNET Day
![Page 18: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/18.jpg)
Klasické možnosti využití úložišť
I zálohyI uživatelé mají primární data u sebeI na úložiště odkládají zálohu pro případ havárieI buď pro zálohování jednotlivých strojůI nebo i agregovaně – IT oddělení zálohuje celou katedru
I archivaceI uživatelé na úložiště odkládají cenná primární dataI data nejsou často využívánaI uživatelé nemají prostředky pro jejich uchováváníI individuální přístup koncových uživatelů vs. „laboratorní archivář“
11. 3. 2015 CESNET Day
![Page 19: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/19.jpg)
Klasické možnosti využití úložišť
I sdílení datI distribuovaný tým potřebuje společně pracovat nad většími
objemy dat, případně je zveřejňovatI typicky koncoví uživatelé
I „něco jiného“I distribuce obsahu, jiné speciální aplikace
11. 3. 2015 CESNET Day
![Page 20: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/20.jpg)
Standardní přístup k souborům
I pokud chcete připojit souborový systém nebo přenášet souboryI NFSv4 (známé uživatelům MetaCentra)I rsync, scp, FTPSI obvykle autentizované systémem KerberosI existují GUI klienti i nástroje pro příkazovou řádku pro hlavní
platformyI již letos CIFS (známý „síťový disk“ z Windows)I Globus – vysokorychlostní přenosy
11. 3. 2015 CESNET Day
![Page 21: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/21.jpg)
Globus
I dříve zvaný GlobusOnlineI „klikací FTP na steroidech“I kopírování velkého objemu datI řízené pomocí webového rozhraníI mezi „koncovými body“ – úložišti podporujícími Globus nebo
lokálním strojem
11. 3. 2015 CESNET Day
![Page 22: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/22.jpg)
Jak začít používat souborový přístup
I pokudI chcete využívat souborově orientované protokolyI dostačuje prefabrikovaná politika migrací datI ukládáte jen individuální dataI potřebujete ukládat nejvýše jednotky TB
I tak se jen zaregistrujte na http://du.cesnet.czI vyžaduje to ověření uživatele z akademické instituce
I členství se po roce prodlužujeI jako indikace, že uživatel „ ještě ví o svých datech“
I kódové označení: VO Storage
11. 3. 2015 CESNET Day
![Page 23: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/23.jpg)
Jak se stát uživatelem – snadno 2
I pokudI potřebujete (třeba okamžitě) i výpočetní zdrojeI a vyhovují podmínky podobné jako ve VO Storage
I tak se zaregistrujte do MetaCentra nahttp://metavo.metacentrum.cz/
I jestli to nestačí, tak. . .
11. 3. 2015 CESNET Day
![Page 24: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/24.jpg)
Jak se stát uživatelem – snadno 2
I pokudI potřebujete (třeba okamžitě) i výpočetní zdrojeI a vyhovují podmínky podobné jako ve VO Storage
I tak se zaregistrujte do MetaCentra nahttp://metavo.metacentrum.cz/
I jestli to nestačí, tak. . . ale až za chvilku
11. 3. 2015 CESNET Day
![Page 25: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/25.jpg)
Správa uživatelských účtů
I systém PerunI uživatel (osoba) má (ideálně) jedinou identitu v infrastruktuřeI potřebujeme ověření identity a příslušnosti k oprávněné instituci
I proč to? zodpovídáme v projektu za to, komu službyposkytujeme (akademické komunitě), řídíme mnoho různýchslužeb
I na identitu uživatele jsou navázány jednotlivé mechanismypřístupu ke zdrojům
I řízeno členstvím ve virtuálních organizacíchI uživatelé vše řídí přes webové rozhraní
11. 3. 2015 CESNET Day
![Page 26: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/26.jpg)
Úložiště pro náročnější
I nestačí VO Storage? založíme vám virtuální organizaci!I VO je skupina uživatelů se společným zájmem, kteří vystupují
jako celekI VO má správce, který
I jedná s poskytovatelem zdrojůI rozhoduje o podmínkách členství jednotlivých uživatelů
I dohoda o poskytování zdrojů mezi VO a správcem zdrojeI popisuje nastavení technických parametrů
I velikost poskytovaného prostoruI použité přístupové protokolyI politika ukládání dat, počty kopií/replik
I VO může využívat různé typy zdrojů11. 3. 2015 CESNET Day
![Page 27: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/27.jpg)
Náročnější požadavky prakticky
I napište nám na [email protected] domluvíme se, co potřebujete
I opravdu to potřebujeme pochopitI kolik dat máte, jak s nimi pracujete, . . .
I připravíme konfiguraci úložištěI založíme virtuální organizaci
I organizační jednotka pro správu uživatelůI pozveme vás do ní a povýšíme na administrátoraI dál si uživatele spravujete sami, vytváříte skupiny, . . .I ukládáte data přes FTP/rsync/NFSv4/...
I my se staráme, aby na se vytvářely jejich repliky, . . .11. 3. 2015 CESNET Day
![Page 28: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/28.jpg)
Stav – shrnutí
I naším dlouhodobým záměrem je spolupracovat se skupinami,které mají velká data
I pomoci s ukládánímI pomoci se zpracováním
I naše úložiště jsou v běžném provozuI zde popsané služby jsou k dispozici
I dva režimy služeb: „přihlašte se“ vs. „napište nám“I pro „napište nám“ služby vždy potřebujeme pochopit záměry
uživateleI vyžaduje komunikaci a jisté úsilí na obou stranách
11. 3. 2015 CESNET Day
![Page 29: Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura](https://reader035.fdocuments.net/reader035/viewer/2022070906/5f7829194f323d6f1101ad39/html5/thumbnails/29.jpg)
Výhled
I cílem je udržet úložiště s otevřeným přístupem pro vědeckoukomunitu
I ideové pilíře rozvoje1. technologie a její provoz2. organizace dat (Hadoop, databáze)3. aplikace – analýza velkých dat – včetně schopnosti fungovat jako
testovací prostředí pro takové aplikace4. dlouhodobé uchování dat – poskytnutí nástrojů pro práci
„aplikačního knihovníka“5. Open Access repozitář publikací a dat
I body 2 a 3 v úzké spolupráci s národním gridem MetaCentrum
11. 3. 2015 CESNET Day