Linked data

Contents

World Wide WebLinked Data Introduction

Linked Data 4 Principles & 5 StarSemantic Web Tools & Application

Case StudyMisunderstanding & Truth

2




Web : World Wide Web

3

is a system of interlinked hypertext documents accessed via the Internet. With a web browser, one can view web pages that may contain text, images, videos, and other multimedia, and navigate between them via hyperlinks.

World Wide Web

4

for Human (with a web Browser)

5

for Human With a web Browser

just link

6Just link

Semantic Data

7

http://lcsubjects.org/subjects/sh2002000569#concept

Semantic Data

8

sh2002000569.nt sh2002000569.json sh2002000569.rdf

What will we do ??

9

What will we do ??

What will we do ??

What will we do ??

10

Contents




11




Document Web

12

인간이 이해할 수 있는(human-readable) 웹

• HTML 문서(Document)가 기본 단위

• human-readable

• untyped links

Document Web

13참고 : Chris Bizer / The Emerging Web of Linked Data

Data Web

14

기계가 이해하고 처리 할 수 있는(machine-readable) 웹

• Data가 기본 단위

• machine-readable

• typed links

Data Web

15참고 : Chris Bizer / The Emerging Web of Linked Data

Data Web è Linked Data è Global Database

Data Web & Linked Data

16

è

Linked Data Cloud

17

Query : SPARQL

18

알아보자 Linked Data

19

a method of publishing structured data to share information in a way that can be read automatically by computers based on standard Web technologies such as HTTP and URIs

TED Talk by Tim Berners-LEE (2009)

From 2009 by TBL ~~~

20


to grow a garden of linked data

to grow a garden of linked data

21


Don’t hug your data

Sharing, Open

22


자~~~~~~ 다같이 외쳐봅시다~~~~

We need RAW DATA

23

Break the silos

24

Web Browsers

Search Engines

Silos

참고 : Chris Bizer / The Emerging Web of Linked Data25

OpenAPI

OpenAPI

OpenAPIX X

OpenAPI : Insufficiency & realtime req/res

OpenAPI

OpenAPI

OpenAPIX X

X X

26

Contents




27




Linked Data 5 Star

28

http://lab.linkeddata.deri.ie/2010/star-scheme-by-example/

Linked Data 5 Star : 1

29


30


31


32


33

Linked Data 4 Principles

1. Use URIs as names for things

2. Use HTTP URIs so that people can look up those names

3. When someone looks up a URI, provide useful RDF Information

4. Include RDF statements that link to other URIs so that they can discover related things

Tim Berners-Lee 2007 http://www.w3.org/DesignIssues/LinkedData.html

34

HTTP URI RDF

Tim Berners-Lee 2007 http://www.w3.org/DesignIssues/LinkedData.html

bible ontology

35

http://bibleontology.com/page/Bilhah

Linked Data 4 Principles : Example

36

http://bibleontology.com/page/Bilhahhttp://bibleontology.com/page/Bilhah



http://bibleontology.com/resource/Bilhah

Linked Data 4 Principles : 1

37



http://bibleontology.com/resource/Bilhah







38






3. When someone looks up a URI, provide useful RDF Information


39

http:// bibleontology.com/page/Bilhah

4. Include RDF statements that link to other URIs so that they can discover related things


40

interlinking

로 식별하고, Linking 하고,

로 표현하고,

HTTP, URI, RDF, SPARQL

41

로 질의하고,

로 유통하고,

HongGilDong

Hong, Gil Dong 35

Seoul

SemanticWeb

http://dbpedia.org/resource/Semantic_Web

[sameAs]

http://dbpedia.org/resource/Seoul

http://sws.geonames.org/1835848/

[residences]

[researches]

[name] [age]

Linked Data Example

42

[hasPhotoCollection]

http://www4.wiwiss.fu-berlin.de/flickrwrappr/photos/Semantic_Web

http://sws.geonames.org/1835848/

http://sws.geonames.org/1835848/nearby.rdf

[nearbyFeatures]

시맨틱웹은 단지 데이터를 웹으로 제공하는 것이 아니라, 데이터 간의 링크를 만듦으로써, 인간이나 기계 모두

데이터의 웹을 탐험할 수 있도록 해준다. Linked Data를 통해 유용한 데이터를 얻게 되면, 그 데이터에 관계된

데이터로 계속되는 항해가 가능하다.

- Tim Berners-Lee, Linked Data, 2006, http://www.w3.org/DesignIssues/LinkedData.html

• 주어(Subject) , 술어(Predicate), 목적어(Object)의 형태로 데이터를 표현하고 기술 하는 방법

• SPO 패턴으로 표현되기 때문에 트리플 구조라 부르며, 하나의 조합된 셋을 Statement라 함

• RDF, RDFS, OWL은 모두 XML 표현 형식의 RDF 구조를 기반으로 하며 RDF 트리플 형식으로 데이터를 표현함,

SO S

RDF - Triple

S

O S

OP P

P

43

SPARQL

• Triple Pattern으로 질의- 질의하고 싶은 URI 개체 또는- 질의하고 싶은 속성(property)을 통해

select ?p ?o where{ <http://dbpedia.org/resource/Seoul>?p ?o}

select ?s ?o where{ ?s <http://dbpedia.org/property/xxx> ?o}

44

Contents




45




1. 온톨로지 설계1. 온톨로지 설계

6. Linked Data 서비스 구현6. Linked Data 서비스 구현

MashupMashup BrowsingBrowsing SearchSearch ……

General Architecture

MemberMember PaperPaper PatentPatent 2. 온톨로지(트리플) 변환 매핑 설계2. 온톨로지(트리플) 변환 매핑 설계

1. 온톨로지 설계1. 온톨로지 설계

온톨로지변환 규칙

개념 모델(온톨로지)

3. 온톨로지(트리플) 변환3. 온톨로지(트리플) 변환

4. 온톨로지(트리플)저장

4. 온톨로지(트리플)저장

관리5. 추론5. 추론

…

46

Modeling Tool : Ontology Editor

a visual modeling environment from industry experts for creating and managing domain models and ontologies in the Semantic Web standards RDF, RDFS and OWL)

a free, open source ontology editor and knowledge-base framework

47

•기존의 온톨로지 레파지토리 시스템 중심의 OpenLink통합 솔루션

•다양한 RDBMS, ODBMS, File Server의 데이터 뿐만 아니라 텍스트, XML, HTML 데이터를 하나로 통합하는 미들웨어

•DBPedia, MusicBrainz, Bio2RDF 등의 Linked Data 프로젝트에 활용

•현재 세계에서 가장 주목 받고 있는 Linked Data 솔루션중의 하나

Semantic Web Environment : Total Solution

•기존의 온톨로지 레파지토리 시스템 중심의 OpenLink통합 솔루션

•다양한 RDBMS, ODBMS, File Server의 데이터 뿐만 아니라 텍스트, XML, HTML 데이터를 하나로 통합하는 미들웨어

•DBPedia, MusicBrainz, Bio2RDF 등의 Linked Data 프로젝트에 활용

•현재 세계에서 가장 주목 받고 있는 Linked Data 솔루션중의 하나

•영국 Talis사의 통합 솔루션

•영국의 data.gov.uk, ordnancesurvey와 BBC Music 서비스 구축에 도입

•구조적, 비구조적 데이터의 RDF 변환 기능 제공

• SPARQL Endpoint 등의 Cloud 기반 Linked Data 호스팅 서비스 기능 제공

•영국의 data.gov.uk 등과 함께 현재 세계에서 가장 주목받고 있는 Linked Data 솔루션 중의 하나

48

Semantic Web Environment : Total Solution

•독일 Ontotext사의 LDSR(Linked Data Semantic Repository)

• LOD 데이터 셋 중 생명공학 분야데이터 셋 40억개의Linked Data 서비스를 제공하는 linkedlifedata 서비스구축에 도입

•오픈소스 Sesame 구조 위에 SAIL 추론 계층 등을 두어솔루션 제공

•추론 지원정도나 대용량 지원 정도에 따라 OWLIM-Lite, OWLIM-SE, OWLIM-Enterprise로 구분

49

•독일 Ontotext사의 LDSR(Linked Data Semantic Repository)

• LOD 데이터 셋 중 생명공학 분야데이터 셋 40억개의Linked Data 서비스를 제공하는 linkedlifedata 서비스구축에 도입

•오픈소스 Sesame 구조 위에 SAIL 추론 계층 등을 두어솔루션 제공

•추론 지원정도나 대용량 지원 정도에 따라 OWLIM-Lite, OWLIM-SE, OWLIM-Enterprise로 구분

•D2R Server는 베를린 대학의 오픈소스 프로젝트로 주로Linked Data의 허브 역할을 하는 것으로 다양한 원천 데이터로 부터 트리플을 생성, 변환해주는 기능 제공 –DBPedia, BBC Worldcup 등에서 활용

• AllegroGraph는 미국 Franz사의 Linked Data 구축을 지원하는 대용량 트리플 스토어

•OntoBase2.0은 한국 탑쿼드란트코리아의 Linked Data 서비스 구축에 최적화된 대용량 트리플 스토어

•시소러스, 택사노미, 분류체계와 주제명 같은 지식어휘체계를 웹에 표현하기 위한 RDF 용어집(vocabulary)

•Enterprise 환경의 표준 용어 관리나, Linked Data 서비스에서 개체들을 표현하기 위한 용어들간의 관계 표현에 주로활용

•미국 의회도서관의 LCSH 등과 함께 Linked Data를 위한 거의 모든 RDF에서 활용되고 있음

•W3C는 Linked Data 데이터 셋에서 용어간의 관계 표현과 함께 기존의 택사노미, 시소러스, 분류체계 등을 Linked Data로 발행하고자 할 경우 SKOS를 사용할 것을 권고하고 있음

Vocabulary : SKOS

50

SKOS로 표현된 World Wide Web

DBpedia에서의 SKOS 활용 예시

•사람간의 관계 기술을 위한 RDF 기반의 명세 용어집(vocabulary)

•RDF 구문을 기반으로 하고 있으며, 그룹(group)에 소속되어 있는 개인(person), 조직(organization)에 의해 생성된 문서(document), 한 개인과 연결된 다른 개인의 연결 등의 처리에 활용

•FOAF-a-matic 과 같은 간단한 어플리케이션을 통해 누구라도 손쉽게 자신의 FOAF를 만들 수 있음

Vocabulary : FOAF

51

FOAF를 이용한 Social Network의 통합(Sheila Kinsella, Applications of Social Network Analysis 2007)

•시맨틱웹 기술을 이용하여 SNS 등의 커뮤니티를 연결하고자 하는 목적의 RDF 기반 용어집(vocabulary)

•2004년 DERI를 중심으로 시작된 온라인 커뮤니티를 의미적으로 연결하기 위한 시도 중 하나로, 커뮤니티 사이의 관계를 표현하기 위해 RDF/RDFS를 이용하는 SIOC 온톨로지를 사용하며 FOAF, RSS 등을 이용해 확장 가능하도록 하고있음

Vocabulary : SIOC

52

SIOC의 주요 클래스와 속성

•기본적인 메타데이터의 속성을 표현하기 위한 용어집

•동영상, 소리, 이미지, 텍스트, 웹 페이지 등의 디지털 매체들을 기술하는 데 널리 사용되며, XML과 RDF를 사용하여구현되어 있음

•데이터의 형식과 구조를 단순화하여 원문의 저자나 발행자가 메타데이터를 직접 작성하고, 이를 바탕으로 특정분야에서 요구되는 수준으로 확장하여 사용할 수 있도록 하는 것이 Dublin Core의 목적

Vocabulary : Dublin Core

53

Drupal에서의 Dublin Core 예시 Dublin Core 메타데이터 요소

How to Linked Data Publish : Modeling

54

DB (ERD)

Modeling

Ontology Model

How to Linked Data Publish : DB2RDF

변환 규칙

수집 규칙

55

DB2RDF

수집 규칙

트리플(Linked Data) 변환(인스턴스 생성)

트리플(Linked Data) 변환(인스턴스 생성)

트리플 저장소에 저장트리플 저장소에 저장

Linked Data Service & Publishing Architecture

Servlet Container(Tomcat)

PubbyA Linked Data Frontend for SPARQL Endpoints

Client API for Triple Store

Application Layer(Linked Data Service)

HTML Browsing RDF Browsing SPARQL Endpoint

Visualization REST API Searching

HTTP

Transformation Layer(OntoTrans2.0)

DB Collecter RDB to RDF Mapper TripleGenerater

RDF Layer Triple Store

DB

W3C Semantic Web Standards &SKOS, FOAF, FRBR, …

Servlet Container(Tomcat)

56

SPARQL Endpoint

어플리케이션어플리케이션

웹 브라우저웹 브라우저

HTML, RDF, XML, CSV, ..

SPARQL

HTML, RDF, XML,CSV, ..

SPARQL

57

SPARQL EndpointSPARQL Endpoint

RDF Triple트리플(Linked Data) 저장소

Web Server / Servlet Container

Contents




58




•LLD(Library Linked Data Incubator Group)는 W3C의 Incubator Group으로 도서관 분야의 상호운용성 확보를 위해Linked Data를 적용하는 방법을 논의하는 장

•2010년 5월에 창설되었으며, 미션이자 목표는 시맨틱 웹 기술, 특히 Linked Data를 이용해 도서관 분야의 데이터를도서관 내부에서만 유통하지 말고 도서관 외부로 끌어내어 타 분야와의 융합을 용이하게 하자는 것

•결국 웹을 이용해, 도서관 분야 데이터의 상호운용성을 확보하고자 하는 것

LLD-Metadata Element Set

Library : Library Linked Data Incubator Group

59

LLD에의 도서관 분야 사례8개 클러스터

메타데이터

식별자

Cataloging - 정보를 가공(메타데이터 기술) 하여 이용가능 하도록 제공(식별자 부여)Cataloging - 정보를 가공(메타데이터 기술) 하여 이용가능 하도록 제공(식별자 부여)

Library : Cataloging

60

메타데이터 MARC: Machine-readable cataloging

온라인 장서 목록 검색과 기계가독형 데이터 교환 포맷온라인 장서 목록 검색과 기계가독형 데이터 교환 포맷

Library : MARC

61

Library : Standard

62

MARCXMLMARCXMLMARCXMLMARCXML

높은 품질의 메타 데이터정보 관리 기술

도서관만을 위한 표준 포맷/프로토콜

Library : The Walled Garden

63

Library : Silos

64

각 분야 네트워크

•도서관 자료의 주제목록(subject cataloging)을 위한 Subject Headings를 Linked Data로 발행

•MARC21(MARCXML)포맷으로 되어 있는 전거 데이터(authority record)를 RDF 포맷의 SKOS를 이용하여 RDF화

•전거 레코드의 각 항목(entry)을 skos:Concept의 인스턴스로 대응하고 LCCN(Library Congress Control Number)을이용하여 URI 부여

Library : LCSH

http://lcsubjects.org/subjects/sh95000541

World Wide Web을 표현한 Linked DataLCSH에서 MARC와 SKOS의 매핑 관계65

VIAF(Virtual International Authority File)• 목적

- 전거 데이터의 공유 증진

- 목록 비용 절감

- 국제적인 전거 통제

• Linked Data의 활용

- 항목마다 URI를 부여하여 linked data로 이용 가능

- UNIMARC과 MARC21, RDF 지원

Library : VIAF

• 목적

- 전거 데이터의 공유 증진

- 목록 비용 절감

- 국제적인 전거 통제

• Linked Data의 활용

- 항목마다 URI를 부여하여 linked data로 이용 가능

- UNIMARC과 MARC21, RDF 지원

VIAF에서의 Steve Jobshttp://viaf.org/viaf/84237107/#Jobs,_Steve,_1955-2011

VIAF에서 지원하는동일 개체의 표현 방법

66

•스웨덴 국립도서관으로 도서관 전체 데이터를 Linked Data로 구축한 최초의 종합목록(2008년)

•대학도서관 및 연구도서관, 박물관, 아카이브, 공공도서관 등 170여개 도서관 기관이 이용하는 종합목록시스템.

•RDF파일 포맷을 제공하여 Linked Data를 구현.

• “아래는 Linked data : evolving the web into a global data space / Tom Heath, Christian Bizer” 예시

http://libris.kb.se/bib/12130810 http://libris.kb.se/data/bib/12130810

Library : LIBRIS

67

http://nl.linkeddata.kr

Library : 국립중앙도서관

68

주제명 Linked Data 예시 : “근거리 통신망” 저자명 Linked Data 예시 : “현진건”

Library : 국립중앙도서관 : Example

69

• 다양한 형식의 데이터 지원

결과

Library : 국립중앙도서관 : SPARQL Endpoint

70

1. html2. xml3. rdf4. json

가시화 예시 사용자 지원 서비스 예시

Library : 국립중앙도서관 : Visualization & API

71

• 공공 데이터 개방에 참여하고 있는 곳들• http://www.data.gov/opendatasites 에서 확인 가능

Government

72

•영국 정부는 정책의 투명성을 높이고, 국민의 알 권리를 향상시키며, 공공정보의 재사용성 증진을 통해 경제적 사회적 가치 증대를 유발시키고자 공공 정보 개방

•차세대 웹(web of data, 즉, Semantic Web)기술에서 자국의 인지도를 상승시키고, 데이터를 보다 윤택하게 제공하기위해 Linked Data 기술 적용

Government : data.gov.uk

73

Government : data.gov

□ data.gov의 목적

• 미국 연방정부의 고부가가치 기계가독형 데이터셋을 대국민을 위해 개방

• 국민 스스로 창조적으로 이용하도록 함.

□ data.gov를 활용하여 국민들은

• RAW DATA를 보거나 다운로드

• 위젯이나 다른 툴을 이용하여 특정 데이터를 가공,융합한 챠트나 지도, 스냅샷을 만들 수도 있음

□ data.gov의 Linked Data화

• 구축된 data.gov 의 일부를 시맨틱 웹 표준 포맷인RDF(Resource Description Framework)로 변환하여Linked Data로 공개

• Tim Berners-Lee와 함께 시맨틱 웹의 창시자인 Jim Hendler 교수가 프로젝트 수행

□ data.gov의 목적

• 미국 연방정부의 고부가가치 기계가독형 데이터셋을 대국민을 위해 개방

• 국민 스스로 창조적으로 이용하도록 함.

□ data.gov를 활용하여 국민들은

• RAW DATA를 보거나 다운로드

• 위젯이나 다른 툴을 이용하여 특정 데이터를 가공,융합한 챠트나 지도, 스냅샷을 만들 수도 있음

□ data.gov의 Linked Data화

• 구축된 data.gov 의 일부를 시맨틱 웹 표준 포맷인RDF(Resource Description Framework)로 변환하여Linked Data로 공개

• Tim Berners-Lee와 함께 시맨틱 웹의 창시자인 Jim Hendler 교수가 프로젝트 수행

74

Media : LinkedBrainz

75

• BBC의 대표적 Linked Data 서비스인 BBC Music과 BBC Worldcup

Media : BBC

BBC Music BBC Worldcup

76

• 뉴스 편집, 발행, 기사 작성 및 색인을 위해 내부적으로 보유하고 있던 시소러스를 SKOS 모델을 기반으로 하여 시맨틱웹 데이터로 변환

• 각 태그(주제어)를 위키피디아에 매핑하고 거기에서 DBPedia와 Freebase로 매핑함으로써 Linked Data Cloud에 포함

Media : New York Times

mapping

Wikipedia

77

Obama, Barack(PRES) Barack_Obama

Times Topic 페이지Times Topic 페이지

Times Tag APITimes Tag API뉴스 기사 색인뉴스 기사 색인

Wikipedia

Life Science : linked life data

• a semantic data integration platform for the biomedical domain• including UniProt, PubMed, EntrezGene and 20 more...• Perform complex SPARQL queries and retrieve more than one billion RDF resources.

• Linked Life Data Platform

• 다양한 이형의 데이터셋을 통합하기 위한 데이터 통합 플랫폼

• 의학, 생명공학 분야의 데이터베이스를 RDF화

• 다양한 데이터셋 간의 의미적 연계(semantically linking)

• HTTP 프로토콜을 통해 데이터를 접근할 수 있도록 공개

• 목적

- 서로 다른 이형의 데이터의 정보들을 서로 연결(interlinking)함으로써 시맨틱 웹 기술의 잠재적 능력을 보여주고

- 연구하고자 하는 과학적 문제를 해결하기 위한 전체적인view를 제공

78

• Linked Life Data Platform

• 다양한 이형의 데이터셋을 통합하기 위한 데이터 통합 플랫폼

• 의학, 생명공학 분야의 데이터베이스를 RDF화

• 다양한 데이터셋 간의 의미적 연계(semantically linking)

• HTTP 프로토콜을 통해 데이터를 접근할 수 있도록 공개

• 목적

- 서로 다른 이형의 데이터의 정보들을 서로 연결(interlinking)함으로써 시맨틱 웹 기술의 잠재적 능력을 보여주고

- 연구하고자 하는 과학적 문제를 해결하기 위한 전체적인view를 제공

Life Science : Bio2RDF

• Biological knowledge discovery를 위한 데이터 통합 플랫폼

• silos한 Biological 데이터를 linked data로 구축하여 서비스

79

BestBuy

80

• GoodRelations라는 시맨틱웹 데이터 기반 온톨로지를 활용하여 온라인 매장의 제품 데이터를 시맨틱웹 데이터화(RDF) 하여 공개

• 제품 정보(카탈로그)를 시맨틱웹 데이터화하여 외부 웹 개발자들 및 사용자들이 접근 가능하게 하여 제 3자 웹사이트인 ConsumersPrice.com에 연결

• GoodRelations Ontology는 시맨틱웹 데이터 기반의 제품 및 상거래 데이터(commercial data)에대한 연계, 협업을 위해 만든 e-commerce 도메인의 범용적인 데이터 모델(온톨로지)

schema.org

81

http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=1211158

schema.org

82

schema.org

83

Knowledge graph

84

Contents




85




“The Semantic Web is an extension of the current Web in which information is given well-defined meaning, better enabling computers and people to work in cooperation.” [Tim Berners-Lee et al 2001]

우리가 알고 있는 시맨틱웹 ???

Semantic Web

86

“The Semantic Web is an extension of the current Web in which information is given well-defined meaning, better enabling computers and people to work in cooperation.” [Tim Berners-Lee et al 2001]

Semantic Web Layer Cake

Giant Global GraphGlobal Database

87

Technology? Data?

Technology Data

88

Technology Data

Modeling

Model ??

Modeling ???

Ontology ???

89

Model ??

Modeling ???

Ontology ???

Linked Data 발행을 위해서새롭게 Data를 가공하지 말아라

쉽게 출발하라.

지금도 충분하다.

지금 필요할 뿐이다.

90

Linked Data 발행을 위해서새롭게 Data를 가공하지 말아라

쉽게 출발하라.

지금도 충분하다.

지금 필요할 뿐이다.

Linked data

Documents

Transcript of Linked data