CATCHPlus diensten-10jun2011

CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut

1

CATCHPlus gemeenschappelijke diensten

Hennie BrugmanTechnisch coordinator


2

Overzicht

1. Introductie en algemeen overzicht (20+10 minuten)

2. Inzoomen op individuele diensten (5 x 10 min)

3. Beschikbaarheid, duurzame exploitatie, hosting (5 min)

4. Discussie (maximaal 30 min)


3

CATCHPlus opzet

WP 1: Gemeenschappelijke diensten WP 2: Deel-projecten

WP 3: Framework en interoperabiliteit

MuseumplusCheckersStitchPlusChoralplusScratch4allWitchcraftplusMultiplyChip API

Projectbureau

Projectbureau

Erfgoed-instellingen


4

De uitdaging van CATCHPlus• Samenhang tussen heel verschillende tools

en diensten realiseren• Toepasbaarheid over grenzen van collecties

en instellingen bevorderen• Resultaten gedistribueerd en online op het

web beschikbaar maken• Samen ontwikkelen waar dat kan• Bijdragen aan infrastructuur voor het

Nederlands digitaal erfgoed• Duurzame exploitatie en hosting


5

Benadering• Uniform omgaan met 4 soorten data

– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten

• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot

gemeenschappelijke diensten


6

• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten



Vocabulaire en AlignmentRepository

“Uniform representeren, publicerenen doorzoekbaar maken van thesauri door middel van web services”


7




Annotation & Recommendation

“Uniform representeren, opslaan,doorzoekbaar en uitwisselbaar maken vanuiteenlopende annotaties van (delen van) bronnen op het web”


8




Standaard toegang dmvOAI data providers

“Ondersteuning van depublicatie van metadata mbv OAI-PMHbij deelnemende erfgoedinstellingen”


9




Diensten voor gebruik enbeheer van persistente identifiers

“ontkoppelen van object-namen enobject-locaties ter ondersteuning van duurzame verwijzingen”


10




• Workspaces• User Profile Repository

“Persoonlijke, tijdelijke opslag van data sets. Tijdelijk verlenen van toegangsrechten tot die data sets”

“Verzamelen van profiel-informatie door en over gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten”


11

WP 1: gemeenschappelijke diensten

Vocabulaire en Alignment Service

Annotation Repository

Workspaces

User Profile Repository

WP 3: framework en interoperabiliteit

Metadata harvesting met OAI-PMH

Persistente Identifiers


12

Het “landschap”


13

Uitgangspunten

• Open set van samenwerkende bouwstenen (versus monolyten)– componenten ook bestaansrecht op zichzelf of in andere context

• Samenwerking met anderen– hergebruik waar mogelijk bestaande oplossingen– Sluit aan/draag bij aan gerelateerde initiatieven

• Standaardisatie en uniformering• RESTful web services• Liever wat beperkter in scope dan geen draagvlak

– eerst interne en externe belanghebbenden op één lijn– draagvlak belangrijk voor duurzame exploitatie


14

Verbindingen door gemeenschappelijke diensten: voorbeelden

– Intern: tussen individuele deelprojecten– Extern: bijdragen aan infrastructuur digitaal

cultureel erfgoed, diensten zijn in potentie breed inzetbaar


15

Workspace toepassingen

• Primair toegepast tbv Scratch4All (images)• In tweede instantie voor één of meer CATCHPlus

cases (spraak, sets van zoekresultaten)– verbindend tussen CATCHPlus deelprojecten– leidt tot uniforme web services

• Model voor persoonlijke, tijdelijke hosting, met name tbv toegang door web services

• potentieel onderdeel van veel (erfgoed-)web applicaties


16

OAI en PIDs

• BenG: metadata publicatie met OAI-PMH– Neveneffect: toekenning en publicatie van persistente

identifiers– “Landingspagina’s” PIDs en OAI vallen samen

• Bijdrage aan Nederlands Erfgoed: Digitaal!, daarna aan NL Aggregator

• CATCHPlus diensten op metadata eenvoudig te generaliseren (bv zoeken ihkv MuseumPlus)

• bijdrage aan digitale infrastructuur nederlands cultureel erfgoed en Europeana


17

Multiply/DSS

Search for

Afghanistan

Search results: Annotations:

1 2

Immix title1

Immix title2

Immix title3

Immix results

AT14nov06-text

AT14nov06-website

Context document 3

Context results

Primary language Archiving date

Creation dateDocument type

Context document metadata

Text

11/14/2006

09/23/2006

Dutch

Context documents

Immix metadata

Recommendations

Add context document…

Show all

Show all

Edit

Options…

Show graph…

Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden

Advanced search…Search for

Afghanistan

Search results: Annotations:

1 2

Immix title1

Immix title2

Immix title3

Immix results

AT14nov06-text

AT14nov06-website

Context document 3

Context results

Primary language Archiving date

Creation dateDocument type

Context document metadata

Text

11/14/2006

09/23/2006

Dutch

Context documents

Immix metadata

Recommendations

Add context document…

Show all

Show all

Edit

Options…

Show graph…

Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden

Advanced search…

MetadataOAI-PMH

VocabulaireRepository

TextRepository

AnnotatieRepository

VideoRepository

RecommendationRanking services

AnnotatieServices


18

Stand van zaken

• Een aantal al gerealiseerde diensten is toenemend succesvol– Breed gedragen wensen tav tweede versies

• Vertragingen hebben wel geleid tot– Duidelijke plannen en specificaties– Meer draagvlak onder mogelijke stakeholders

• Frequente contacten en afstemming met gerelateerde projecten

• Nu is de tijd van implementatie


19

stakeholders

Vocabulairebank

GM OAI-PMH

RMA /AM

CHECKERS

WORKSPACES

Standaardisatie OAI

Persistent Identifiers



STITCH+MUSEUM+

CHIP+

MULTIPLY

WITCHCRAFT+

CHORAL+

SCRATCH4ALL

RCENaturalis

CLARINSURF

NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus

SARABIGGRIDTARGET

TrezorixUni. Tilburg

KB OCLC

Radio RijnlandUni. Twente

GAR NAX-MI BenG

Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum

Werkgroep ErfgoedthesauriRKDDENOCLC RCE

AdlibPicturaTrezorix

DeventitTMS

MIClarin-NLNED!NL AggregatorsEuropeana

Seecr

TargetRUG

NA Gelders archief Groninger archieven Stadsarchief Leuven

TINMCN

MI UU

BenG DENRCE KennisnetNA MI Surf

SARA EPIC CLARIN Europeana

BenG NA

RDE

GridLineZieOok

RMAAM BenGRCE

ZieOok

Open Annotation Consortium

Scratch4allChoral+Multiply


20

Vragen en discussie

• Onze vragen– Deugen ambities, aanpak en benaderingswijze?– Ontbreken er diensten, of zijn er overbodige?– Zijn er (betere) bestaande oplossingen?– Zijn er nieuwe toepassingen denkbaar?


21


22

WP 1: gemeenschappelijke diensten

Vocabulaire en Alignment Service


Workspaces


WP 3: framework en interoperabiliteit

Metadata harvesting met OAI-PMH



23

Vocabulary and Alignment Service(“VocabulaireBank”)


24

Visie

• CATCHPlus– Tools en diensten bouwen met één uniforme, externe

dienst voor terminologie-gebruik– Eenvoudig gebruik van elkaars thesauri

• Breder– “Linked Data++”– Laagdrempelig (her)publiceren van thesauri– (her)gebruiken van thesauri zonder tussenkomst van

toolbouwers– Eenvoudig gebruik van gepubliceerde thesauri vanuit tools

en diensten


25

VAS doelen• Standaard formaat en access methoden

– SKOS, SKOS gebaseerde REST API• Web publicatie van vocabulaires

– Als Linked Open Data– Als doorzoekbare en browse-bare dataset REST API– Te gebruiken voor duurzame referenties naar concepten

persistente identifiers– Te harvesten door middel van OAI-PMH

• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’

• Stimuleren van Open licenties


26

SKOS

Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.


27








28

Linked Open Data

• Een methode om data te tonen, delen en verbinden via ‘dereferencable URIs’ op het Web.


29








30

Use cases (t.a.v. REST API)

• Use cases uit CATCHPlus en Cultureel Erfgoed– Publiceer je thesaurus: importeer een SKOS vocabulaire,

dan krijg je er REST toegang, tool support en Linked Data gratis bij

– Selecteer het juiste concept om een object te beschrijven• autocompletion

– Gebruik voor browsen en zoeken (naar terminologie en/of collectie-data)

• VAS repository als een “topic map” voor erfgoed-collecties

– Thesaurus-onderhouds-taken door online gemeenschappen

– Vertalen, verfijnen, generaliseren van zoekvragen


31

Wat is inmiddels gebouwd?• Repository voor SKOS data (inclusief alignment

data)– RDF store (Virtuoso)

• REST API (search, autocomplete, upload, download), gebaseerd op het SKOS data model

• De repository bevat 12 verschillende thesauri (niet vrij toegankelijk, niet meer up-to-date m.u.v. GTAA)


32

Client tools en diensten

• CATCHPlus cases (semantische annotatie, ranking, art recommender, …)

• CLARIN(-NL) CLAVAS project• Pictura gebruikt de API voor toegang tot de

Beeld en Geluid GTAA thesaurus (Memorix)• Generieke browse- en zoek- web applicatie

(gebruikt REST API) – Q42


33


34

VAS, versie 2

• Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix– Op initiatief van RCE– Mede naar aanleiding van VAS, versie 1

• Doel: tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren

• VAS versie 2 conform de uitkomsten van dit overleg

- performance, schaalbaarheid- gedistribueerd- nieuwe functies- mooier RESTful- authenticatie en authorisatie- betere manieren om content te beheren


35

Gezamenlijke visie


36

REST specificatie

• Concept resolve API– URI, bv http://id.loc.gov/authorities/sh95000541

• Find API – /find/concepts– /find/conceptschemecollections– /find/conceptschemes– /map/concept– /map/object– /concept

http://id.loc.gov/authorities/sh95000541


37

Toekomst• Online zetten en promoten gezamenlijke API specs• Implementatie Repository service, versie 2

– Nieuwe API– Harvesting dmv OAI-PMH– Upload van SKOS bestanden

• Linken met nieuwe “DEN inventarisatie van erfgoedthesauri”

• Actualiseren en uitbreiden van de inhoud• Stimuleren van open licenties (ODbL)• Duurzame hosting op één of meer plaatsen


38

stakeholders

Vocabulairebank

Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum

Werkgroep ErfgoedthesauriRKDDEN RCE

AdlibPicturaTrezorix

DeventitTMS


39


40

Workspaces


41

Visie

• CATCHPlus– Gebruikspatroon {inloggen, documenten

uploaden/verzamelen en organiseren, tool daarop laten werken} maar één keer bouwen

• Spaart werk• Biedt gedeelde oplossing voor inloggen, ….

– Legt vast hoe tools en diensten verbonden kunnen worden• Breder

– Nieuw model voor flexibele hosting– Virtuele collecties– Bouwsteen binnen web service gebaseerde infrastructuren


42

Potentieel

• Legt vast hoe web services veilig op data kunnen werken – tijdelijk delegeren van toegangsrechten

• Goede plek om ‘Single Sign On’ mee te verbinden• Goede ‘home base’ voor geïntegreerde applicatie-omgevingen

(b.v. Virtual Research Environments)• Cloud hosting aspect: tijdelijke, persoonlijke, veilige opslag op

het web, met flexibele toegankelijkheid• voorportaal voor digitale archiving

– data curatie– toekenning persistente identifiers

• Ontwikkeld door partijen, die over veel opslagcapaciteit en bandbreedte beschikken


43

Deliverables

• Workspace repository (Target Holding)

• RESTful API (Target Holding)

• Webapps voor workspace beheer en workspace repository beheer (Target Holding)

• Authenticatie en Autorisatie oplossing (BigGrid?)

• 2-4 toepassingen binnen CATCHPlus


44

Implementatie ikhv Scratch4All


45

Status

• Implementatie Workspaces en aansluiting op Scratch4All is gestart– Afronding: december 2011

• Gesprekken over Authenticatie en Autorisatie module zijn gaande

• Waarschijnlijk ook toegepast ihkv CLARIN, ten behoeve van data uitwisseling tussen web services


46

stakeholders

WORKSPACESCLARIN

NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus

SARABIGGRIDTARGET


47


48

Metadata harvesting


49

Wat?

– Publiceren van metadata volgens standaard formaten (Dublin Core, qualified Dublin Core, bredere standaard formaten, proprietaire formaten)

– Publiceren op standaard manier (OAI-PMH)


50

Status

• Implementatie bij B en G afgerond• Een aantal deelnemers heeft inmiddels zelf

OAI-PMH• NED!, NL Aggregators en Europeana• Beheer van persistente identifiers kan worden

gekoppeld aan publicatie van metadata


51

stakeholders

Standaardisatie OAI

MIClarin-NLNED!NL AggregatorsEuropeana

CQ2


52



53

Visie

• CATCHPlus– Uitwisselen en doorzoekbaar maken van

uiteenlopende annotaties van (delen van) bronnen op het web

– Stap voor stap verrijken van data• Breder

– Annotatie repository als collectie- en instelling-overstijgende index


54

Requirements

• Annotatie van onderdelen van teksten, xml/xhtml, pdf, audio, video, melodie, images (komen allemaal in CATCHPlus projecten voor)

• Annotatie van annotaties en waarden van annotaties (“gelaagde annotatie”)

• Semantische waarden• Web gebaseerd en uitbreidbaar data model• Opslaan en doorzoeken in repository met

REST API


55

Voorbeeld: gelaagde annotaties

Voorbeeld workflow:

Document scan[automatische line strip detectie service]Lege annotatie[repository]annotatie[document transcriptie tool] transcriptie[entity recognition service]entity annotatie[repository]


56

Deliverables

• Annotatie uitwissel-formaat• Annotatie Repository• REST API voor opslaan en doorzoeken


57

Open Annotation model/formaat

• Generiek model uit CATCH: AMM (Annotation Meta Model)• Grote overlap in requirements en uitwerking met Open

Annotations (www.openannotion.org)• Voorstel: pas OAC model toe (en draag daar eventueel aan bij)

•Annotation is web document met URI•Body annoteert een Target•Verschillende auteurs/eigenaren•Body en Target kan alles zijn•Iedere resource kan target van andere annotatie zijn•Voorzieningen voor onderdelen van documenten

http://www.openannotion.org/


58

Status

• “Annotation model en formaat” aanbeveling binnenkort beschikbaar, inclusief toets aan CATCHPlus cases

• Implementatie-proces moet nog beginnen• Toepassing in eerste instantie waarschijnlijk

gekoppeld aan workspaces


59

stakeholders


Open Annotation Consortium

ZieOok


60


61



62

Visie

• CATCHPlus– Verzamelen van profiel-informatie door en over

gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten

– Primair ten dienste van Art Recommender. Apart ontwikkeld met oog op bredere toepasbaarheid

• Breder– Gebruikers ‘single-sign-on’ bieden, en baas maken van

hun eigen profieldata– Collectie aanbieders beschikken over brede profiel-

informatie, zonder dat zelf bij te hoeven houden


63

Wat is het?

• Profielen bevatten personalia, voorkeursobjecten en –concepten, ratings, gebruiks-statistieken e.d.

• Repository met RESTful API voor– Beheer van profielen– Tijdelijke toegang voor toevoegen objecten en gebruiks-

statistieken– Opvragen van profiel informatie door collectie-aanbieders

• Web applicatie voor profielbeheer• Widgets voor website-bouwers

– Login– Rating


64

Toepassing

• CHIP API deelproject– Bestond oorspronkelijk uit een recommendation engine

(Art Recommender), een Rating tool en een User Profile Repository

– UPR is gepromoveerd tot gemeenschappelijke dienst– Art Recommender wordt gerealiseerd op basis van de

ZieOok recommendation engine• Amsterdam Museum sinds kort de

uitvoerder/collectie-aanbieder• Toepassen op andere collecties is relatief eenvoudig


65

Relatie met ZieOok

• ZieOok– Is een generieke recommendation engine voor erfgoedcollecties– Gebouwd door Beeld en Geluid– Werkt op basis van statistiek– Collecties te importeren mbv OAI-PMH– Heeft (nog) geen generieke oplossing om met gebruikers- en

gebruiksinformatie om te gaan• Art Recommender is voor ZieOok een extra toepassing,

UPR een generieke bouwsteen• ZieOok biedt zicht op brede toepassing van CATCHPlus UPR


66

webappwebapp

ZieOok/Art

Recommender

REST API

Dashboard


ED!T collectionRMA Collection

OAI

Collection

OAI

Collection

Profile Editor

“harvest”

“collection info”

REST API

“recommend”

“harvest”

“collection info”

“store profile” “store profile”

webapp

“profile info” “store profile”

login widget

rating widget

Recommender widget

UsersUser profilesFavorite objects & conceptsRatingsUsage statistics

“modify profile”

“store statistics”

“grant access”


67

Status

• Begin juli kickoff• Streven: implementatie eind 2011 afgerond• Implementator (o.v.): Gridline


68

Stakeholders


GridLineZieOok

RMAAMRCE



69


70



71

Visie

• Oorspronkelijke opdracht OCW: biedt een zo breed mogelijke oplossing voor persistente identifiers aan.

• Vertaald naar de volgende taken:– Kies robuuste, duurzame technologie– Laagdrempelig toekennen en beheren van PIDs– Duurzaam, betaalbaar en betrouwbaar model

voor hosting en exploitatie

Probleem en basisoplossing

• Steeds meer digitale objecten, met steeds meer identifiers– In web context: identifier = URL

• Steeds vaker extern aangeboden (web)• Steeds meer verwijzingen naar objecten

– Contextualisering– Samenwerkingsverbanden– Virtuele collecties en tentoonstellingen

• Identifiers zijn vaak niet uniek• Identifiers zijn vaak niet persistent• Verwijzingen worden gemakkelijk ongeldig (broken links)

Probleem

object_1

new_object_1

http://.../object_1

Basisoplossing • Ontkoppel naam/identifier en locatie(s)• Registreer combinaties van identifiers met locaties

in een tabel• Externe referenties gebruiken de identifier

Basisoplossing

object_1

new_object_1

id1

id1 http://.../object_1

Basisoplossing (resolver)

new_object_1

id1

id1 http://.../new_object_1


77

Requirements (1)Software support

Goede resolving service beschikbaar Bewezen technologie, stabiel en100% betrouwbaar Schaalbaar Globaal werkende oplossing• gedistribueerde hosting en dienstverlening mogelijk• Identificatie van onderdelen van objecten Mogelijkheid om metadata met een identifier te associëren “Actionable”: identifiers kunnen worden ge-resolved met

behulp van een http URI


78

CATCHPlus keuze: Handles als basis• Handle technologie

• Voldoet (verreweg) het best aan onze eisen• http://handle.net/

• Eén Local Handle System en Handle prefix per deelnemende ‘Naming Authority’

• Hosting van Local Handle Systems door SARA, ge-mirrored door internationale partners (EPIC)

http://handle.net/


79


80

Requirements (2)Identifier beheer

Identifier beheer moet onafhankelijk zijn van– System management– Web server management– Hosting van resolution services

• Moet kunnen worden gedaan vanuit de context van een collectie-beheer-systeem– Typisch door de verantwoordelijke collectie beheerder

Is efficient, krachtig en eenvoudig Is veilig


81

CATCHPlus oplossing: identifier beheerREST web service• Voor zoeken, creëren en beheren van Handles

(behorend bij je eigen Naming Authority) over internet

• ook ondersteuning voor batch operaties (“verplaats collectie”)

• SARA heeft eerste versie voor CATCHPlus gebouwd

• Wordt in de praktijk door een aantal instellingen gebruikt


82

Methoden voor identifier beheer

• Neveneffect van collectie beheer• Actie in collectie-beheer-systeem triggert een PID

beheer REST call• Neveneffect van collectie publicatie

• Update van je gepubliceerde data set (bv OAI data provider’s interne database) triggert een PID beheer REST call


83

Requirements (3)Organisatie en beleid

• Welke keuzen zijn gemaakt door je partner instituten? (hoe minder smaken, hoe beter)

• Betrouwbaarheid en duurzaamheid van de service providers

• Quality of Service: redundantie, 24/7 beschikbaarheid, performantie, vermogen op te schalen

• Beperkte en beheersbare kosten• Vrijheid om te wisselen van service provider• Invloed van gebruikersgemeenschap


84

CATCHPlus oplossing: organisatie• EPIC (European Persistent Identifier Consortium)

• SARA (Nederland), CSC (Finland), GWDG (MPG, Duitsland)

• Redundante en betrouwbare PID services voor eScience en eCulture in Europa

• Contracten mbt Europese mirror van Global Handle Repository

• Directe samenwerking met CNRI• Stakeholders overleg met erfgoedpartijen en SARA

• Samen met DEN• Business cases, business model en contractvormen


85

Toekomstperspectief

• EPIC brede REST API– Verbeteringen en toevoegingen aan huidige API– Uitbreidbaar, policies afdwingbaar– Specificatie is klaar– Implementatie (o.v.) door SARA, met bijdrage

GWDG• Introductie-trajecten bij erfgoedinstellingen• Businessmodel en contracten


86

stakeholders

Persistent Identifiers

BenG DENRCE KennisnetNA SurfMI

SARA EPIC CLARIN Europeana


87


88

Beschikbaarheid, exploitatie en hosting:enkele opmerkingen


89

Beschikbaarheid

• Broncode komt onder Open source licentie en online beschikbaar (GitHub)

• We promoten Open Database licenties en Creative Commons

• We promoten vrij gebruik van services, of tegen kostprijs


90

Hosting en exploitatie

• Regelen duurzame hosting, onderhoud en doorontwikkeling valt binnen scope van CATCHPlus

• Business modellen middagprogramma• Ook techniek kan misschien

kostenbesparend werken– Workspaces– Dynamisch deployment van web services


91

Vragen, opmerkingen, kritiek, suggesties?


92

Vragen van onze kant

• Ontbreekt er iets in het CATCHPlus dienstenpakket?• Nut en noodzaak van de gemeenschappelijke diensten?• Zijn er op- of aanmerkingen in technologische zin?

– B.v., we zijn begonnen met REST (+mash ups). Is er een reden SOAP (+ service bus) te ondersteunen?

• Visie op onderhoud en doorontwikkeling van tools, diensten en data op langere termijn?

• Inschatting kansen op overleven na CATCHPlus?• Wie zouden de aanbieders van die diensten uiteindelijk moeten

zijn?• Ondersteunen deze diensten de CATCHPlus deelprojecten

voldoende?• Realistisch of te ambitieus?• …

CATCHPlus diensten-10jun2011

Technology

Transcript of CATCHPlus diensten-10jun2011