Wij zullen vinden - ook in 2023

wij zullen vindenook in 2023

Eric Sieverts@sieverts

Informatiemaatschappij 2023

UB Utrecht HvA-MICGO Opleidingen

2 oktober 2013

zoekmachines zijn er al bijna 20 jaar

webcrawlerin 1993 de eerste die ook tekst uit de pagina zelf indexeerde

2


lycosin 1994 de eerste "echte", met bijna 1,5 miljoen pagina's

3

altavistain 1996 de nieuwste grootste, met ruim 30 miljoen pagina's


4


Google vierde vorige maandzijn 15de verjaardag

5


1974

online informatie zoeken kunnen we zelfs al meer dan 40 jaar

6

• als we zo ver terug kunnen kijken, lijkt het een makkie als we vandaag niet meer dan 10 jaar vooruit hoeven te kijken

• of misschien toch niet ....


agenda• groei van de informatieproductie

– wetenschap– web – data

• evolutie van het zoeken – semantische zoektechnieken


1. de wetenschap

groei van te vinden informatie

overhead sheetca. 1985bronnen:• Derek de Solla Price• Gale Directory• Ulrich's• ...

10

10

100

1000

10000

100000

1000000

10000000

100000000

1720

1740

1760

1780

1800

1820

1840

1860

1880

1900

1920

1940

1960

1980

2000

2020

schatting jaarlijks aantalwetenschappelijke publicatiesaantal tijdschriften

al 260 jaar verdubbeltjaarlijks aantal wetenschappelijkeartikelen elke 14 jaaren aantal tijdschriftenook zo ongeveer

11 Informatiemaatschappij 2023

10

100

1000

10000

100000

1000000

10000000

100000000

1720

1740

1760

1780

1800

1820

1840

1860

1880

1900

1920

1940

1960

1980

2000

2020

schatting jaarlijks aantalwetenschappelijke publicaties(Sieverts 1981-1994)

10

100

1000

10000

100000

1000000

10000000

100000000

1720

1740

1760

1780

1800

1820

1840

1860

1880

1900

1920

1940

1960

1980

2000

2020

schatting jaarlijks aantalwetenschappelijke publicaties(Sieverts 1981-1994)

na (exponentiële) groei met factor 100.000neiging tot verzadiging?

NRC 12 maart 201112 Informatiemaatschappij 2023

10

100

1000

10000

100000

1000000

10000000

100000000

1720

1740

1760

1780

1800

1820

1840

1860

1880

1900

1920

1940

1960

1980

2000

2020

schatting jaarlijks aantalwetenschappelijke publicaties(Eric Sieverts, 1981-1994)

jaarlijks aantalwetenschappelijke publicaties(NRC-Handelsblad, maart 2011)

exponentiële groei blijkt na 280 jaar toch nog niet afgevlaktwetenschappers raken niet op?• meer in china en india• nog meer "publish or perish" • …. ?

13

publish or perish

©14

extrapolatie naar 2023

30 miljoen wetenschappelijke artikelen per jaar– database Scopus bevat 100 miljoen artikelen– Web of Science bevat 90 miljoen artikelen– Pubmed bevat 50 miljoen artikelen

maar blijven het (alleen) klassieke artikelen?


"what next" voor wetenschappelijk publiceren ?• ook blogs• ook tweets• ook "data"• klassieke artikelen ontleed / opgesplitst tot "nanopublicaties":

afzonderlijke beweringen die beschreven worden als RDF-tripels (zelfde techniek als voor "linked open data")

DNA variant NG_000007.3:g.70628G>A (Subject) has a frequency (Predicate) of 0.25% (Object). The assertion holds for the Sardinian population Provenance includes authors of the article (Giardine et. al.),the date when the nanopublication was created, et cetera.

voorbeeld

nog meer "items"

16

Barend Mons, Jan Velterop, et al., Nature Genetics 43, 281–283 (2011) doi:10.1038/ng0411-281


trend: fragmentering van informatie

zullen we dan nog naar artikelen zoeken of naar die losse feiten of fragmenten?


2. het web

groei van te vinden informatie


Dutch Home Pagenajaar 1993

Dutch Home Pagezomer 1994

gegevens aanvankelijk uit:

1998

hoeveel doorzoeken webzoekmachines?

20011995


1

10

100

1000

10000

100000

1000000

1992

1994

1996

1998

2000

2002

2004

2006

2008

2010

aantal miljoenenwebpagina's in grootstezoekmachine(verschillende bronnen)

15 jaar langverdubbelde elk jaar het aantal webpagina's in de grootste zoekmachine

content in betaalde online bronnen

milj

oene

n w

ebpa

gina

's?

hoeveel doorzoekenwebzoekmachines?

zie: Eric Sieverts. Van Lycos tot Google.in: NRC 9 februari 2013, special "Slimmer zoeken op internet" http://sieverts.pbworks.com/f/NRC_Lycos_Google.pdf


http://sieverts.pbworks.com/f/NRC_Lycos_Google.pdf





4 biljard webpagina's in Google? (4.000.000.000.000.000)

maar blijft Google alles indexeren en blijven het webpagina's?


but presently:• do we want to

find any page?• does Google

want to index any page?

• what is a web page anyhow?

september 2012: Google knew about the existence of30 trillion URL's 30,000,000,000,000

various estimates:presently about500,000,000,000 indexed pages


linked open data• met linked open data komen losse feiten en gegevens

gestandaardiseerd op internet beschikbaar• in de linked open data cloud zijn al duizenden datasets

met vele biljoenen RDF-tripels toegankelijk• Google's Knowledge Graph bevat al miljarden gegevens



trend: fragmentering van informatie

zullen we dan naar webpagina's zoeken of naar losse feiten en fragmenten?

27

informatie of data?informatieinflatie

2000 Hall & Varian onderzoek:

gezamenlijk produceerden we dat jaar 1,5 exabyte (miljard gigabyte) informatie en dat verdubbelt elk jaar(maar: is dat informatie of zijn het data?)

2011 uit een "infographic":in 2010 produceerden we gezamenlijk 2 zettabytes : 2 x 1021 bytes (2000 miljard gigabyte) en dat verdubbelt elk jaar[d.w.z. ruim 300 GB per persoon]


informatie of data?informatieinflatie

elk jaar verdubbelt aantal bytes dat we produceren is dat groei of inflatie?

• TXT documentje met mijn tekst: 50 kBvideoregistratie van mijn lezing: 500 MBdezelfde informatie(!?) maar 10.000 x zoveel data

• berichten op het web worden 100-voudig gerepliceerd, herblogd en geretweet

• van alles maken we ongecoördineerd back-ups

• ...



YouTube groeit met 72 uur per minuut

datavloedgolf

2011 - per minuut 72 uur video geüpload naar YouTube

- 1 biljoen YouTube filmpjes bekeken

2012 - Internet Archive: 10 PetaByte (1016)

2013 - 4000 foto's per seconde > Facebook- 250 miljard foto's op Facebook

- 540 miljard tweets in Topsy zoekmachine 2014 - Beeld & Geluid: 15 PetaByte



5 MB harde schijf in 1956

2 TB in 2013

prijs van opslagmedia:

in 1956: $ 7000 / MB / jaar lease

in 2013: $10 / TB (= $ 0,00001 / MB)

dataopslag

1051 atomen

2110: ~1051 bits

2023: ~1026 bits (10 yottabyte)

2010: ~1022 bits

2000: ~1019 bits (1 exabyte)

onze jaarlijkse data productie

??

exponentiële groei blijftvoortduren ?


"grenzen aan de groei"

• minder produceren?

• niet alles (willen) bewaren?

vinden van die informatieop het web: voorkeur slingert tussen

zoekmachine en ontsluiting

yahoo! directory

yahoo! directoryopen directorystartpagina's

lycosaltavista

google

web-2.0tagging/folksonomies

1990

2013

zoeken ontsluiten

semantisch zoeken

semantisch webcontent curation35

semantisch web

semantisch zoeken



"The goal is that pages matching the meaning do better, rather than pages matching just a few words."

1. Semantic Search = Answer Engines

2. Semantic Search = Machine Readable

3. Semantic Search = Enhanced SERP Displays & Lift

4. Semantic Search = Validation Of Web Pages

5. Semantic Search = Social Network Adoption

6. Semantic Search = Google+ Authorship Rich Snippet

7. Semantic Search = Internal Structured Data

8. Semantic Search = The Future Of Search

9. Semantic Search = Schema.org Ontology

10. Semantic Search = Understanding User Intent


semantisch zoeken

globaal 3 soorten toepassingen

1. inschatten van de intentie van de zoekerbijv.: zoekt mobiel in buurt van de Rozengracht naar “pizza”

>> adres van pizzeria in de buurt

2. bepalen van betekenis van woorden/tekst in documenten

vooraf bij indexeren of achteraf in zoekresultaat

3. automatisch aanpassen van zoekactiesbijv.: zoekwoorden toevoegen / vervangen,

(ook) in andere systemen zoeken


1. intentie van de zoeker

intentie of context van vraag kan worden bepaald:• uit lokatie van de zoeker

– globaal: op basis van ip-adres van gebruikerprecies: op basis van bekende gps- of gsm-gegevens (mobiel)

• door analyse van gestelde vraag– naam van persoon, bedrijf, product, gebeurtenis, … >> feiten– naam van gewoon persoon >> facebook / linked-in gegevens – iets geavanceerder: vaste combinaties van woorden– geavanceerd: natuurlijke taal techniek / statistiek op eerdere vragen

• op basis van eerder zoekgedrag van de zoeker– eerdere zoekvragen / eerder bekeken resultaten daaruit

ook bij dubbelzinnige zoekwoorden?


Wie op “Bach” zoekt, vindt vermoedelijk liever gegevens over hem dan websites over hem.Google's Knowledge Graph kent 500 miljoen objecten met 3,5 miljard kenmerken(binnenkort ook in het Nederlands)

43

gegevens afkomstig uit: "Freebase" (crowdsourced kennisbank), Wikipedia, CIA World factbook en uit statistische analyse van eigen gegevens

wat is in dit verband een "graph"? een netwerk van al die concepten met

hun onderlinge relaties en kenmerken

44

social graph uit Twitter

45

social graph uit Facebook

46

nog meer connecties uit Facebook

47

2. bepalen van betekenis

betekenis herkennen van woorden en gegevens in teindexeren tekst en/of in al gevonden resultaten• herkennen van "entiteiten" in tekst

(herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...)

• betekenis die herkenbaar aanwezig is in "embedded metadata"(bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web

• tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection")

• tekstanalyse en koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data")

• ...


in semantisch web wordt van "alles" betekenis vastgelegd (in metadata)

semantisch web

om betekenis ook te begrijpen heeft men"ontologieën" nodig

57

rdf (resource description framework)

• standaard voor computerleesbaar beschrijven van objecten (met metadata)

• vastgelegd in zogenaamde RDF triples• waarbij

– te beschrijven ding een webadres (URI) heeft– eigenschap van dat ding liefst ook een URI heeft– "waarde" van die eigenschap liefst ook een URI heeft

• voorbeeld:– boek (heeft een webadres: URI)– heeft auteur (betekenis van eigenschap ergens beschreven: URI)– persoon (gegevens van persoon ergens op web te vinden: URI)


rdf tripelssubject <predicaat> object doc1 <heeft auteur> auth1auth1 <heeft naam> john smithauth1 <heeft affiliatie> home inc.auth1 <heeft email> [email protected]

grafische representatie vansimpel netwerk van 4 RDF-tripels


via die webadressen (URI's) kan iedereen aan deze data linken

rdf tripels

= "resource" met URI

= "literal" (gegeven)

getypeerde(en op het web gedefinieerde) relaties tussenresources engegevens


gebruik semantische codering

gestandaardiseerde markering van kenmerken in webpagina's

voorbeelden van “embedded metadata”:– recipe search bij Google en Yahoo– toepassing e-commerce ontology

daarbij gebruikte standaarden:– microformats / rich snippet markup / microdata / schema.org

(Google, Yahoo, Bing)onder andere voor: recepten, recencies, personen, producten, organisaties, gebeurtenissen, muziek

– RDFa


universele"ontologie" vaneigenschappen

van dingen

62

in huidige Google-

interface minder

handig en makkelijk

te gebruiken; ook

alleen in google.com

bij Yahoo nu beter

https://www.google.com/

http://recipes.search.yahoo.com/search;_ylt=A0oG7hI2nrRRhEEAr2tXNyoA?p=speculaas&fr=sfp&fr2=piv-web

http://www.google.com/

standaardisatie van kenmerken van producten

met "GR-ontologie" volgens "RDFa“ in “XHTML”

63

http://products.semweb.bestbuy.com/y/products/8967228/

64

http://www.heppnetz.de/projects/goodrelations/

microformats en RDFa

• toepassing van deze technieken is vaak "SEO-driven"

zie blogpost op SearchEngineLand

http://searchengineland.com/how-to-use-rich-snippets-semantic-markup-to-send-rich-signals-139886






wat heeft zoeker hieraan?• zoeker kan gerichter zoeken en filteren

(zoals in Google's receptenzoeker)

• zoeker krijgt duidelijker informatie over gevonden items(zoals Google's rich snippets)

vb van categoriseren: sentiment detection

http://www.tweetfeel.com/

RDF en "linked data"

er is veel publiciteit rond linked (open) data

• kan weergegeven als RDF-tripelszodat de data computer-leesbaar zijn

• staat op internet zodat het "open" is

• bedoeld om te worden hergebruiktzodat het belangrijk ingrediënt voor het semantisch web is

• is gestandaardiseerdzodat het makkelijk hergebruikt kan worden

• iedereen kan (en moet!) data bijdragenwaardoor het soms wel een beetje een rommeltje is


dbpedia: data from Wikipedia

last.fm: artists

geonames:6.2 M toponyms

BBC: wildlifefinder

project GutenbergIMDB

Reuters:openCalais

viaf: virtual internationalauthority file

LCSH

NY times

Flickr

de "linked open data cloud" 31 miljard data online – 504 miljoen connecties (links) daartussen

rechtspraak.nl

sept 2011

music brainz

sparql - endpoints

nog wat linked data jargon:

SPARQL eigen zoektaal voor RDF-triple storesSparql Protocol And Rdf Query Languagewat SQL is voor relationele databasesis SPARQL voor RDF triple stores

Endpoints toegangspunten op het web waar je SPARQL zoekactie op RDF triple stores kunt uitvoeren (je moet daarvoor de SPARQL syntax kennen - door een computer laten uitvoeren)


3. aanpassen van zoekactie

aanpassen / verbeteren van zoekacties vooraf (automatisch) bewerken van zoekvraag• variaties op zoekwoord meenemen in query

– spelling verbeterd (statistiek?) [veilgheid >> veiligheid]– zoeken op woordstam (enkel/meervoud, vervoegingen, ….)

[vaccination >> vaccinations, vaccine, vaccinate, vaccinated, …]– spellingsvariaties [immunisation <> immunization]– samenstellingen opbreken (en omgekeerd)

[catfood <> cat food ; maatregel + veiligheid <> veiligheidsmaatregelen]• synoniemen, acroniemen aan query toevoegen

(uit woordenlijst, semantisch netwerk, ontologie)[vaccination <> immunization ; jfk <> john f kennedy]

• verwante en specifiekere begrippen aan query toevoegen(uit semantisch netwerk, thesaurus, ontologie, knowledge graph)

heeft nog niet zo veel met

"semantiek" te maken;

Google doet dat wel al allemaal


3. aanpassen van zoekactie

aanpassen / verbeteren van zoekacties achteraf bewerken van zoekresultaat• zoekresultaten clusteren op basis van inhoud

– meestal op basis van woordstatistiek (voorbeeld Clusty, Polymeta) – soms op basis van automatische classificatie

• fragmenten van gevonden document tonen die de vraag beantwoorden

– KWIC display van zoekmachines is eenvoudige vorm daarvan

– zie bijv. Sensebot

• uit gevonden documenten samenvatting genereren van belangrijkste bevindingen / antwoorden

– zie bijv. Factbites


http://clusty.com/

http://www.polymeta.com/

http://www.sensebot.net/sense6.aspx

http://www.factbites.com/


webzoekmachines zullen zich verder tot antwoordmachines ontwikkelen

• maar zal beperkt blijven tot antwoorden op "alledaagse" vragen,

• … zodat voor specialistischer onderwerpen gewone keyword search nodig blijft,

• … waarbij die door semantiek wel slimmer wordt,• … zodat keuze van "juiste zoekterm" minder

belangrijk wordt,• … maar onderwerpskennis blijft essentieel voor

controle of "het" onze vraag juist interpreteert


any questions left ?

just ask "him"

Wij zullen vinden - ook in 2023

Internet

Transcript of Wij zullen vinden - ook in 2023