De TST-Centrale is een initiatief van de Nederlandse Taalunie, wordt gefinancierd door de Nederlandse Taalunie en is ondergebracht bij het Instituut voor Nederlandse Lexicologie.
Klaar? In!
Kant-en-klare bouwstenen voor
de CLARIN-infrastructuur
Remco van Veenendaal, 26 mei 2009, kick-off CLARIN-NL
2
Infrastructuur
Data
Tools
Spelregels
3
Infrastructuur
4
Infrastructuur
• Bouwblokken uit DAM-LR– Metadata (IMDI)– Unieke ids (Handle)– Authenticatie (LDAP)– Autorisatie (Shibboleth)– Vertrouwd (PKI-certificaat)– IMDI-portal imdi.inl.nl
• Uitbreiding/aanpassing naar CLARIN• Bijv. OAI-PMH (workshop vanochtend)
5
Infrastructuur
• Verbeterde technische infrastructuur (2008)– Bare metal virtualisatie met behulp van VMware ESX – Servers
• Red Hat Enterprise Linux• Windows Server 2003, Exchange en ISA Server
– MySQL en Microsoft SQL server. • Telewerken via Windows Terminal Server 2008 en
RSA tokens• Cisco switches, HP NAS en NetApp SAN• Onsite en offsite backup• Procedures volgens ITIL
6
Data
7
Data
• Woordenboeken (online via GTB)– Oudnederlands woordenboek (500-1200)– Vroegmiddelnederlands woordenboek (13e eeuw)– Middelnederlands woordenboek (1200-1500; te
verschijnen)– Woordenboek der Nederlandsche Taal (1500-1976)
• Algemeen Nederlands Woordenboek (eigentijds Nederlands; te verschijnen)
8
Data
• Corpora– Corpus Gesproken Nederlands (900u spraak)– STEVIN
• JASMIN-CGN (115u spraak) • AUTONOMATA-namencorpus (5k uitgesproken namen)• D-Coi (54m woorden)• COREA-coreferentiecorpus (150k woorden)
– ANW-corpus (100m woorden; te verschijnen)– PAROLE distributable corpus (3m woorden)– CHOREC-spraakcorpus (130u spraak)– …
9
Data
• Lexica– e-Lex (200k lemma’s, 640k woordvormen)– Bilinguale bestanden (Ar, Dn, Ind)– RBN (45k trefwoorden; 90k verbindingen)– RBBN (4k woorden)– Woordenlijst Nederlandse Taal ’05 (100k lemma's
volgens spelling ’05)– STEVIN
• DuELME (5k mwe)
10
Data
• En…– Sofeer woordenboek– STEVIN
• Cornetto (lex-sem database met 92k lemma’s; 118k woordbetekenissen)
– Gedigitaliseerde Bijbelteksten • Statenvertaling, Leuvense Bijbel, Lutherse Bijbel,
Delftse Bijbel, …
– Modern Grammar of Dutch• Incl. tools voor conversie en internetschil
11
Tools
12
Tools
• Tagger-lemmatiser (online i.s.m. UvT)• Sofeer spellingcontrole• STEVIN
– COREA-coreferentiewebservice – DuELME-webapplicatie– AUTONOMATA-g2p-toolkit
• IMPACT– OCR & technologie t.b.v. digitalisering gedrukt cult. erfgoed
• GTB-software, ANW-software, etc.• Corex (voor CGN en D-Coi; offline en online)• …
13
Spelregels
14
Spelregels
• Kennisdeling IPR en licenties– Ook met Work Package 7 CLARIN (IPR and
Business Models)
15
Wat is er bijna klaar?
16
Bijna klaar
• STEVIN– DAESO (corpus en software voor semantiek)– DPC (parallelle corpora Nl-En en Nl-Fr)– Lassy (syntactisch geannoteerd tekstcorpus)– Midas (software voor robuuste spraakherkenning)– N-best (benchmark voor Nederlandstalige spraakherkenning) – Autonomata Too (demo POI spraakherkenningservice)– DAISY (software voor samenvattingen)– DISCO (spraakherkenning in CALL voor tweedetaalleerders)– DuOMAn (media analyse - opinie)– PaCo-MT (hybride machinevertaling Nl-En-Nl, Nl-Fr-Nl)– SoNaR (tekstcorpus 500m woorden)
• …
17
Maar …
18
Uitdaging
• Binnen CLARIN en CLARIN-NL zoveel mogelijk resources en tools integreren in de CLARIN-infrastructuur– Toegankelijk via single sign-on– Data zo uniform mogelijk raadpleegbaar en doorzoekbaar– Data uploadbaar en bewerkbaar– Tools zoveel mogelijk modulair en koppelbaar– Workflows zoveel mogelijk herhaalbaar
• Afschriften van bewerkingen
– Gebruikersvriendelijkheid (!)
19
Zoek binnen de resultaten
voorkomens van Poldernederlands (einde = aainde)
Vraag: onderzoek het
Poldernederlands
Voorkomens van Poldernederlands in
spraakcorpora
Zoek in metadata naar Nederlandse
spraakcorpora met
orthografische en fonologische transcriptie
20
Spraakcorpus
Corpus beschikbaar
binnen CLARIN
Unieke ids
Metadata
Validatie
Uploaden
21
Teksten
Tekstcorpus voorzien van
diverse automatische annotaties en frequentielijst beschikbaar
binnen CLARIN
Frequentietool
Tagger-lemmatiser
Parser
Validatie
Metadata
Samenvatter
Corefwebservice
Uploaden
Unieke ids
22
Waar droomt u van?
23
Conclusie
• Veel mooie bouwstenen beschikbaar– Resources, tools, infrastructuur, kennis– Juist ook voor het Nederlands
• Uitdaging is deze bruikbaar te integreren in de CLARIN-infrastructuur
24
Vragen?
Top Related