CATCHPlus diensten-10jun2011

CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut

CATCHPlus gemeenschappelijke diensten

Hennie BrugmanTechnisch coordinator

Overzicht

1. Introductie en algemeen overzicht (20+10 minuten)

2. Inzoomen op individuele diensten (5 x 10 min)

3. Beschikbaarheid, duurzame exploitatie, hosting (5 min)

4. Discussie (maximaal 30 min)

CATCHPlus opzet

WP 1: Gemeenschappelijke diensten WP 2: Deel-projecten

WP 3: Framework en interoperabiliteit

MuseumplusCheckersStitchPlusChoralplusScratch4allWitchcraftplusMultiplyChip API

Projectbureau

Erfgoed-instellingen

De uitdaging van CATCHPlus• Samenhang tussen heel verschillende tools

en diensten realiseren• Toepasbaarheid over grenzen van collecties

en instellingen bevorderen• Resultaten gedistribueerd en online op het

web beschikbaar maken• Samen ontwikkelen waar dat kan• Bijdragen aan infrastructuur voor het

Nederlands digitaal erfgoed• Duurzame exploitatie en hosting

Benadering• Uniform omgaan met 4 soorten data

– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten

• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot

gemeenschappelijke diensten

• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten

Vocabulaire en AlignmentRepository

“Uniform representeren, publicerenen doorzoekbaar maken van thesauri door middel van web services”

Annotation & Recommendation

“Uniform representeren, opslaan,doorzoekbaar en uitwisselbaar maken vanuiteenlopende annotaties van (delen van) bronnen op het web”

Standaard toegang dmvOAI data providers

“Ondersteuning van depublicatie van metadata mbv OAI-PMHbij deelnemende erfgoedinstellingen”

Diensten voor gebruik enbeheer van persistente identifiers

“ontkoppelen van object-namen enobject-locaties ter ondersteuning van duurzame verwijzingen”

• Workspaces• User Profile Repository

“Persoonlijke, tijdelijke opslag van data sets. Tijdelijk verlenen van toegangsrechten tot die data sets”

“Verzamelen van profiel-informatie door en over gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten”

WP 1: gemeenschappelijke diensten

Vocabulaire en Alignment Service

Annotation Repository

Workspaces

User Profile Repository

WP 3: framework en interoperabiliteit

Metadata harvesting met OAI-PMH

Persistente Identifiers

Het “landschap”

Uitgangspunten

• Open set van samenwerkende bouwstenen (versus monolyten)– componenten ook bestaansrecht op zichzelf of in andere context

• Samenwerking met anderen– hergebruik waar mogelijk bestaande oplossingen– Sluit aan/draag bij aan gerelateerde initiatieven

• Standaardisatie en uniformering• RESTful web services• Liever wat beperkter in scope dan geen draagvlak

– eerst interne en externe belanghebbenden op één lijn– draagvlak belangrijk voor duurzame exploitatie

Verbindingen door gemeenschappelijke diensten: voorbeelden

– Intern: tussen individuele deelprojecten– Extern: bijdragen aan infrastructuur digitaal

cultureel erfgoed, diensten zijn in potentie breed inzetbaar

Workspace toepassingen

• Primair toegepast tbv Scratch4All (images)• In tweede instantie voor één of meer CATCHPlus

cases (spraak, sets van zoekresultaten)– verbindend tussen CATCHPlus deelprojecten– leidt tot uniforme web services

• Model voor persoonlijke, tijdelijke hosting, met name tbv toegang door web services

• potentieel onderdeel van veel (erfgoed-)web applicaties

OAI en PIDs

• BenG: metadata publicatie met OAI-PMH– Neveneffect: toekenning en publicatie van persistente

identifiers– “Landingspagina’s” PIDs en OAI vallen samen

• Bijdrage aan Nederlands Erfgoed: Digitaal!, daarna aan NL Aggregator

• CATCHPlus diensten op metadata eenvoudig te generaliseren (bv zoeken ihkv MuseumPlus)

• bijdrage aan digitale infrastructuur nederlands cultureel erfgoed en Europeana

Multiply/DSS

Search for

Afghanistan

Search results: Annotations:

Immix title1

Immix title2

Immix title3

Immix results

AT14nov06-text

AT14nov06-website

Context document 3

Context results

Primary language Archiving date

Creation dateDocument type

Context document metadata

11/14/2006

09/23/2006

Context documents

Immix metadata

Recommendations

Add context document…

Show all

Options…

Show graph…

Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden

Advanced search…Search for

Afghanistan

Search results: Annotations:

Immix title1

Immix title2

Immix title3

Immix results

AT14nov06-text

AT14nov06-website

Context document 3

Context results

Primary language Archiving date

Creation dateDocument type

Context document metadata

11/14/2006

09/23/2006

Context documents

Immix metadata

Recommendations

Add context document…

Show all

Options…

Show graph…

Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden

Advanced search…

MetadataOAI-PMH

VocabulaireRepository

TextRepository

AnnotatieRepository

VideoRepository

RecommendationRanking services

AnnotatieServices

Stand van zaken

• Een aantal al gerealiseerde diensten is toenemend succesvol– Breed gedragen wensen tav tweede versies

• Vertragingen hebben wel geleid tot– Duidelijke plannen en specificaties– Meer draagvlak onder mogelijke stakeholders

• Frequente contacten en afstemming met gerelateerde projecten

• Nu is de tijd van implementatie

stakeholders

Vocabulairebank

GM OAI-PMH

RMA /AM

CHECKERS

WORKSPACES

Standaardisatie OAI

Persistent Identifiers

STITCH+MUSEUM+

MULTIPLY

WITCHCRAFT+

CHORAL+

SCRATCH4ALL

RCENaturalis

CLARINSURF

NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus

SARABIGGRIDTARGET

TrezorixUni. Tilburg

KB OCLC

Radio RijnlandUni. Twente

GAR NAX-MI BenG

Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum

Werkgroep ErfgoedthesauriRKDDENOCLC RCE

AdlibPicturaTrezorix

DeventitTMS

MIClarin-NLNED!NL AggregatorsEuropeana

TargetRUG

NA Gelders archief Groninger archieven Stadsarchief Leuven

TINMCN

BenG DENRCE KennisnetNA MI Surf

SARA EPIC CLARIN Europeana

BenG NA

GridLineZieOok

RMAAM BenGRCE

ZieOok

Open Annotation Consortium

Scratch4allChoral+Multiply

Vragen en discussie

• Onze vragen– Deugen ambities, aanpak en benaderingswijze?– Ontbreken er diensten, of zijn er overbodige?– Zijn er (betere) bestaande oplossingen?– Zijn er nieuwe toepassingen denkbaar?

WP 1: gemeenschappelijke diensten

Vocabulaire en Alignment Service

Workspaces

WP 3: framework en interoperabiliteit

Metadata harvesting met OAI-PMH

Vocabulary and Alignment Service(“VocabulaireBank”)

• CATCHPlus– Tools en diensten bouwen met één uniforme, externe

dienst voor terminologie-gebruik– Eenvoudig gebruik van elkaars thesauri

• Breder– “Linked Data++”– Laagdrempelig (her)publiceren van thesauri– (her)gebruiken van thesauri zonder tussenkomst van

toolbouwers– Eenvoudig gebruik van gepubliceerde thesauri vanuit tools

en diensten

VAS doelen• Standaard formaat en access methoden

– SKOS, SKOS gebaseerde REST API• Web publicatie van vocabulaires

– Als Linked Open Data– Als doorzoekbare en browse-bare dataset REST API– Te gebruiken voor duurzame referenties naar concepten

persistente identifiers– Te harvesten door middel van OAI-PMH

• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’

• Stimuleren van Open licenties

Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.

Linked Open Data

• Een methode om data te tonen, delen en verbinden via ‘dereferencable URIs’ op het Web.

Use cases (t.a.v. REST API)

• Use cases uit CATCHPlus en Cultureel Erfgoed– Publiceer je thesaurus: importeer een SKOS vocabulaire,

dan krijg je er REST toegang, tool support en Linked Data gratis bij

– Selecteer het juiste concept om een object te beschrijven• autocompletion

– Gebruik voor browsen en zoeken (naar terminologie en/of collectie-data)

• VAS repository als een “topic map” voor erfgoed-collecties

– Thesaurus-onderhouds-taken door online gemeenschappen

– Vertalen, verfijnen, generaliseren van zoekvragen

Wat is inmiddels gebouwd?• Repository voor SKOS data (inclusief alignment

data)– RDF store (Virtuoso)

• REST API (search, autocomplete, upload, download), gebaseerd op het SKOS data model

• De repository bevat 12 verschillende thesauri (niet vrij toegankelijk, niet meer up-to-date m.u.v. GTAA)

Client tools en diensten

• CATCHPlus cases (semantische annotatie, ranking, art recommender, …)

• CLARIN(-NL) CLAVAS project• Pictura gebruikt de API voor toegang tot de

Beeld en Geluid GTAA thesaurus (Memorix)• Generieke browse- en zoek- web applicatie

(gebruikt REST API) – Q42

VAS, versie 2

• Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix– Op initiatief van RCE– Mede naar aanleiding van VAS, versie 1

• Doel: tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren

• VAS versie 2 conform de uitkomsten van dit overleg

- performance, schaalbaarheid- gedistribueerd- nieuwe functies- mooier RESTful- authenticatie en authorisatie- betere manieren om content te beheren

Gezamenlijke visie

REST specificatie

• Concept resolve API– URI, bv http://id.loc.gov/authorities/sh95000541

• Find API – /find/concepts– /find/conceptschemecollections– /find/conceptschemes– /map/concept– /map/object– /concept

Toekomst• Online zetten en promoten gezamenlijke API specs• Implementatie Repository service, versie 2

– Nieuwe API– Harvesting dmv OAI-PMH– Upload van SKOS bestanden

• Linken met nieuwe “DEN inventarisatie van erfgoedthesauri”

• Actualiseren en uitbreiden van de inhoud• Stimuleren van open licenties (ODbL)• Duurzame hosting op één of meer plaatsen

stakeholders

Vocabulairebank

Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum

Werkgroep ErfgoedthesauriRKDDEN RCE

AdlibPicturaTrezorix

DeventitTMS

Workspaces

• CATCHPlus– Gebruikspatroon {inloggen, documenten

uploaden/verzamelen en organiseren, tool daarop laten werken} maar één keer bouwen

• Spaart werk• Biedt gedeelde oplossing voor inloggen, ….

– Legt vast hoe tools en diensten verbonden kunnen worden• Breder

– Nieuw model voor flexibele hosting– Virtuele collecties– Bouwsteen binnen web service gebaseerde infrastructuren

Potentieel

• Legt vast hoe web services veilig op data kunnen werken – tijdelijk delegeren van toegangsrechten

• Goede plek om ‘Single Sign On’ mee te verbinden• Goede ‘home base’ voor geïntegreerde applicatie-omgevingen

(b.v. Virtual Research Environments)• Cloud hosting aspect: tijdelijke, persoonlijke, veilige opslag op

het web, met flexibele toegankelijkheid• voorportaal voor digitale archiving

– data curatie– toekenning persistente identifiers

• Ontwikkeld door partijen, die over veel opslagcapaciteit en bandbreedte beschikken

Deliverables

• Workspace repository (Target Holding)

• RESTful API (Target Holding)

• Webapps voor workspace beheer en workspace repository beheer (Target Holding)

• Authenticatie en Autorisatie oplossing (BigGrid?)

• 2-4 toepassingen binnen CATCHPlus

Implementatie ikhv Scratch4All

Status

• Implementatie Workspaces en aansluiting op Scratch4All is gestart– Afronding: december 2011

• Gesprekken over Authenticatie en Autorisatie module zijn gaande

• Waarschijnlijk ook toegepast ihkv CLARIN, ten behoeve van data uitwisseling tussen web services

stakeholders

WORKSPACESCLARIN

NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus

SARABIGGRIDTARGET

Metadata harvesting

– Publiceren van metadata volgens standaard formaten (Dublin Core, qualified Dublin Core, bredere standaard formaten, proprietaire formaten)

– Publiceren op standaard manier (OAI-PMH)

Status

• Implementatie bij B en G afgerond• Een aantal deelnemers heeft inmiddels zelf

OAI-PMH• NED!, NL Aggregators en Europeana• Beheer van persistente identifiers kan worden

gekoppeld aan publicatie van metadata

stakeholders

Standaardisatie OAI

MIClarin-NLNED!NL AggregatorsEuropeana

• CATCHPlus– Uitwisselen en doorzoekbaar maken van

uiteenlopende annotaties van (delen van) bronnen op het web

– Stap voor stap verrijken van data• Breder

– Annotatie repository als collectie- en instelling-overstijgende index

Requirements

• Annotatie van onderdelen van teksten, xml/xhtml, pdf, audio, video, melodie, images (komen allemaal in CATCHPlus projecten voor)

• Annotatie van annotaties en waarden van annotaties (“gelaagde annotatie”)

• Semantische waarden• Web gebaseerd en uitbreidbaar data model• Opslaan en doorzoeken in repository met

REST API

Voorbeeld: gelaagde annotaties

Voorbeeld workflow:

Document scan[automatische line strip detectie service]Lege annotatie[repository]annotatie[document transcriptie tool] transcriptie[entity recognition service]entity annotatie[repository]

Deliverables

• Annotatie uitwissel-formaat• Annotatie Repository• REST API voor opslaan en doorzoeken

Open Annotation model/formaat

• Generiek model uit CATCH: AMM (Annotation Meta Model)• Grote overlap in requirements en uitwerking met Open

Annotations (www.openannotion.org)• Voorstel: pas OAC model toe (en draag daar eventueel aan bij)

•Annotation is web document met URI•Body annoteert een Target•Verschillende auteurs/eigenaren•Body en Target kan alles zijn•Iedere resource kan target van andere annotatie zijn•Voorzieningen voor onderdelen van documenten

Status

• “Annotation model en formaat” aanbeveling binnenkort beschikbaar, inclusief toets aan CATCHPlus cases

• Implementatie-proces moet nog beginnen• Toepassing in eerste instantie waarschijnlijk

gekoppeld aan workspaces

stakeholders

Open Annotation Consortium

ZieOok

• CATCHPlus– Verzamelen van profiel-informatie door en over

gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten

– Primair ten dienste van Art Recommender. Apart ontwikkeld met oog op bredere toepasbaarheid

• Breder– Gebruikers ‘single-sign-on’ bieden, en baas maken van

hun eigen profieldata– Collectie aanbieders beschikken over brede profiel-

informatie, zonder dat zelf bij te hoeven houden

Wat is het?

• Profielen bevatten personalia, voorkeursobjecten en –concepten, ratings, gebruiks-statistieken e.d.

• Repository met RESTful API voor– Beheer van profielen– Tijdelijke toegang voor toevoegen objecten en gebruiks-

statistieken– Opvragen van profiel informatie door collectie-aanbieders

• Web applicatie voor profielbeheer• Widgets voor website-bouwers

– Login– Rating

Toepassing

• CHIP API deelproject– Bestond oorspronkelijk uit een recommendation engine

(Art Recommender), een Rating tool en een User Profile Repository

– UPR is gepromoveerd tot gemeenschappelijke dienst– Art Recommender wordt gerealiseerd op basis van de

ZieOok recommendation engine• Amsterdam Museum sinds kort de

uitvoerder/collectie-aanbieder• Toepassen op andere collecties is relatief eenvoudig

Relatie met ZieOok

• ZieOok– Is een generieke recommendation engine voor erfgoedcollecties– Gebouwd door Beeld en Geluid– Werkt op basis van statistiek– Collecties te importeren mbv OAI-PMH– Heeft (nog) geen generieke oplossing om met gebruikers- en

gebruiksinformatie om te gaan• Art Recommender is voor ZieOok een extra toepassing,

UPR een generieke bouwsteen• ZieOok biedt zicht op brede toepassing van CATCHPlus UPR

webappwebapp

ZieOok/Art

Recommender

REST API

Dashboard

ED!T collectionRMA Collection

Collection

Profile Editor

“harvest”

“collection info”

REST API

“recommend”

“harvest”

“collection info”

“store profile” “store profile”

webapp

“profile info” “store profile”

login widget

rating widget

Recommender widget

UsersUser profilesFavorite objects & conceptsRatingsUsage statistics

“modify profile”

“store statistics”

“grant access”

Status

• Begin juli kickoff• Streven: implementatie eind 2011 afgerond• Implementator (o.v.): Gridline

Stakeholders

GridLineZieOok

RMAAMRCE

• Oorspronkelijke opdracht OCW: biedt een zo breed mogelijke oplossing voor persistente identifiers aan.

• Vertaald naar de volgende taken:– Kies robuuste, duurzame technologie– Laagdrempelig toekennen en beheren van PIDs– Duurzaam, betaalbaar en betrouwbaar model

voor hosting en exploitatie

Probleem en basisoplossing

• Steeds meer digitale objecten, met steeds meer identifiers– In web context: identifier = URL

• Steeds vaker extern aangeboden (web)• Steeds meer verwijzingen naar objecten

– Contextualisering– Samenwerkingsverbanden– Virtuele collecties en tentoonstellingen

• Identifiers zijn vaak niet uniek• Identifiers zijn vaak niet persistent• Verwijzingen worden gemakkelijk ongeldig (broken links)

Probleem

object_1

new_object_1

http://.../object_1

Basisoplossing • Ontkoppel naam/identifier en locatie(s)• Registreer combinaties van identifiers met locaties

in een tabel• Externe referenties gebruiken de identifier

Basisoplossing

object_1

new_object_1

id1 http://.../object_1

Basisoplossing (resolver)

new_object_1

id1 http://.../new_object_1

Requirements (1)Software support

Goede resolving service beschikbaar Bewezen technologie, stabiel en100% betrouwbaar Schaalbaar Globaal werkende oplossing• gedistribueerde hosting en dienstverlening mogelijk• Identificatie van onderdelen van objecten Mogelijkheid om metadata met een identifier te associëren “Actionable”: identifiers kunnen worden ge-resolved met

behulp van een http URI

CATCHPlus keuze: Handles als basis• Handle technologie

• Voldoet (verreweg) het best aan onze eisen• http://handle.net/

• Eén Local Handle System en Handle prefix per deelnemende ‘Naming Authority’

• Hosting van Local Handle Systems door SARA, ge-mirrored door internationale partners (EPIC)

Requirements (2)Identifier beheer

Identifier beheer moet onafhankelijk zijn van– System management– Web server management– Hosting van resolution services

• Moet kunnen worden gedaan vanuit de context van een collectie-beheer-systeem– Typisch door de verantwoordelijke collectie beheerder

Is efficient, krachtig en eenvoudig Is veilig

CATCHPlus oplossing: identifier beheerREST web service• Voor zoeken, creëren en beheren van Handles

(behorend bij je eigen Naming Authority) over internet

• ook ondersteuning voor batch operaties (“verplaats collectie”)

• SARA heeft eerste versie voor CATCHPlus gebouwd

• Wordt in de praktijk door een aantal instellingen gebruikt

Methoden voor identifier beheer

• Neveneffect van collectie beheer• Actie in collectie-beheer-systeem triggert een PID

beheer REST call• Neveneffect van collectie publicatie

• Update van je gepubliceerde data set (bv OAI data provider’s interne database) triggert een PID beheer REST call

Requirements (3)Organisatie en beleid

• Welke keuzen zijn gemaakt door je partner instituten? (hoe minder smaken, hoe beter)

• Betrouwbaarheid en duurzaamheid van de service providers

• Quality of Service: redundantie, 24/7 beschikbaarheid, performantie, vermogen op te schalen

• Beperkte en beheersbare kosten• Vrijheid om te wisselen van service provider• Invloed van gebruikersgemeenschap

CATCHPlus oplossing: organisatie• EPIC (European Persistent Identifier Consortium)

• SARA (Nederland), CSC (Finland), GWDG (MPG, Duitsland)

• Redundante en betrouwbare PID services voor eScience en eCulture in Europa

• Contracten mbt Europese mirror van Global Handle Repository

• Directe samenwerking met CNRI• Stakeholders overleg met erfgoedpartijen en SARA

• Samen met DEN• Business cases, business model en contractvormen

Toekomstperspectief

• EPIC brede REST API– Verbeteringen en toevoegingen aan huidige API– Uitbreidbaar, policies afdwingbaar– Specificatie is klaar– Implementatie (o.v.) door SARA, met bijdrage

GWDG• Introductie-trajecten bij erfgoedinstellingen• Businessmodel en contracten

stakeholders

Persistent Identifiers

BenG DENRCE KennisnetNA SurfMI

SARA EPIC CLARIN Europeana

Beschikbaarheid, exploitatie en hosting:enkele opmerkingen

Beschikbaarheid

• Broncode komt onder Open source licentie en online beschikbaar (GitHub)

• We promoten Open Database licenties en Creative Commons

• We promoten vrij gebruik van services, of tegen kostprijs

Hosting en exploitatie

• Regelen duurzame hosting, onderhoud en doorontwikkeling valt binnen scope van CATCHPlus

• Business modellen middagprogramma• Ook techniek kan misschien

kostenbesparend werken– Workspaces– Dynamisch deployment van web services

Vragen, opmerkingen, kritiek, suggesties?

Vragen van onze kant

• Ontbreekt er iets in het CATCHPlus dienstenpakket?• Nut en noodzaak van de gemeenschappelijke diensten?• Zijn er op- of aanmerkingen in technologische zin?

– B.v., we zijn begonnen met REST (+mash ups). Is er een reden SOAP (+ service bus) te ondersteunen?

• Visie op onderhoud en doorontwikkeling van tools, diensten en data op langere termijn?

• Inschatting kansen op overleven na CATCHPlus?• Wie zouden de aanbieders van die diensten uiteindelijk moeten

zijn?• Ondersteunen deze diensten de CATCHPlus deelprojecten

voldoende?• Realistisch of te ambitieus?• …

CATCHPlus diensten-10jun2011

Technology

Transcript of CATCHPlus diensten-10jun2011

Onze diensten

de agro|diensten

CODA CATCHPlus Open Document Annotation · 2012-08-31 · CODA – CATCHPlus Open Document Annotation Hennie Brugman OAC II Project Review meeting Chicago – July 26-27, 2012 . Annotation

Diensten Voedselveiligheid Plaagdierpreventie Waterveiligheid.

2010 The Institute Diensten

Buitenlandse toeristische diensten

Diensten en producten LeX

CODA – CATCHPlus Open Document Annotation Hennie Brugman OAC II Project Review meeting Chicago – July 26-27, 2012.

OCMW Rotselaar voorstelling diensten

Sms-diensten ontmaskerd

Internet Copyshop digitale diensten

CODA – CATCHPlus Open Document Annotation

TWERK: B2B-diensten

Lean en Sociale Diensten

Huismakeover diensten 2013 web

Surf Diensten

Dreamz Prijslijst Diensten & Tarieven

Plurynwaaier met alle diensten

Ambulante voorzieningen en diensten in de …...Ambulante voorzieningen en diensten in de Geestelijke Gezondheidszorg Inhoudsopgave Ambulante voorzieningen en diensten in de Geestelijke

Diensten marketing management