Linked Dataによるオープンデータ活用技術 · 政府オープンデータ...

2015年10月30日株式会社富士通研究所知識情報処理研究所湯上伸弘

Linked Dataによるオープンデータ活用技術

Copyright 2015 FUJITSU LTD.

講演内容


ビッグデータ、オープンデータの動向

富士通研におけるオープンデータ活用技術

Linked Dataによるオープンデータ活用

「人」に向けたセキュリティ

オープンデータ活用に向けて

1


ビッグデータ、オープンデータの動向

2

ビッグデータ利活用の３つの流れ＋１

新しいデータ、新しい分析・活用方法、新しい適用領域

人工知能、スマートマシン

3 Copyright 2015 FUJITSU LTD.

①新しいデータ

②新しい分析・活用方法

③新しい領域

過去の分析

企業データ

業務効率化

現在の把握

Web, SNS 顧客フロント

将来の予測

意志決定・自動化

メディア、センサーオープンデータ

社会・スマートシティ

オープンデータとは

ビッグデータの情報源のひとつとして注目されている

営利目的を含め、誰もが2次利用可能（複製・改編・再配布）

通常は利用規約にて2次利用を制限するが、申請なしで2次利用可能な「オープンライセンス」をデータに付与

問題解決に向けて、組織が所有するデータを外部に公開

政府の目的：オープンガバメント、新サービス市場の創出

自治体の目的：地域経済活性化、市民サービス運営の省力化

研究機関の目的：実験データの共有、分野をまたがる発見の促進

民間企業の目的：外部知識の取り込み（オープンイノベーション）


現在、世界45か国でオープンデータへの取り組みが開始

4

世界では欧米がオープンデータを牽引


出典： http://global.census.okfn.org/ by Open Knowledge Foundation (英国)

英国は国家戦略として 2013年のG8オープンデータ憲章の牽引役

ビジネス立ち上げのための行政機関ODI（Open Data Institute）を設立

•４つスタートアップ

•CO2・公共交通・不動産・金融

•OpenCorporates:

•世界中の企業情報を収集

•企業取引の解明

米国は透明性と市民参加オバマ政権の「オープンガバメント戦略」のひとつ（透明性）

中央政府・自治体（NY市）の所有データを積極的に公開

市民参加を促すコンテスト等の開催

世界各国のオープンデータ進捗状況

5

http://global.census.okfn.org/

http://opendatainstitute.org/

http://opendatainstitute.org/

日本の状況は「世界に追いつけ、追い越せ」

官公庁

世界最先端IT国家創造宣言(2013)

• オープンデータが3本柱のひとつ

• 2014～2015を集中取組期間に選定

政府データカタログサイト (2014)

経産省：ビジネスモデルコンテスト(2015)

「地方創生」の一活動として、自治体へ積極的な働きかけ

自治体

103団体(全体1750)が取組み開始

• 予算：数百～1000万円/年

• 外部からの出向者(地方シンクタンク等)が担当者に就任


科学技術系

JST/JAXA/国立国会図書館/電子情報通信学会など、所有データをオープンデータ化

オープン・サイエンス

• 内閣府：検討会を設置(2014年)

• 日本学術会議：主テーマに(2015年)

公共交通系

東京メトロが運行状況などを

（準）オープンデータ化(2014年)

• 大規模なコンテストを実施

その他

警視庁：犯罪情報のメール配信内容をオープンデータ化(2015年)

6

国家IT戦略として、オープンデータを推進

日本の市場規模1.2兆円、経済効果5兆円（経産省試算値）

再利用可能（著作権）、機械可読（データ形式）での公開が必要

不適切な匿名化～利用者の不信感、標的型攻撃等新しい攻撃

個人情報保護法の改正等、制度面での環境整備は進みつつある

データ活用とプライバシー、セキュリティ


Netflix Prizeのサービス中止(2010, 米)

曖昧化されたDVDレンタルログから、ネット上の情報との突合せにより個人を再特定

Netflix

DVD rental log

匿名化同一人物を特定

共通する映画 (5-10程度)

インターネットムービーＤＢサービス

レーティングコメント

匿名ログ

データマイニングコンテストに向け公開ユーザー

乗車ログを匿名化して第三者で分析、マーケティング利用

Suicaデータ分析でデータ提供を中止 (2013, 日本)

鉄道会社

匿名ログ

第三者

マーケットレポート

販売匿名ログ乗車ログ

カード使用ログ 30,000人以上が反対。データ消去を要望

販売

ユーザー仮名化、入場(時分秒)、経路が分かる状態

匿名化

7


LOD4ALL：Linked Open Data活用基盤

Linked Dataを使ったデータ統合と活用

Linked Dataによるオープンデータ活用

8

機械判読可能な形式とは


出典： http://5stardata.info/

総数 1★ 2★ 3★ 4★ 5★

日本

Data.go.jp 16268

12372 3180 713 3 0

76% 19% 4% 0.02% 0%

英国

Data.gov.uk 10056

2711 1820 5127 278 120

27% 18% 51% 3% 1%

政府オープンデータの公開フォーマットの割合(2015年3月)

非構造データ

例：PDF

構造化データ

例：Excel

アプリケーション非依存

例：CSV、XML

WEB公開に適する

例：URI、RDF

関連データがリンク

例：Linked Data

LOD

(Linked Open Data)

5 Star Open Data

Tim B.Lee(W3C所長)が

提唱するオープンデータの

5段階

http://5stardata.info/

Linked Open Data(LOD)と従来のWeb

Copyright 2015 FUJITSU LTD. 10

Web

・テキストで記述されたページの集合

・検索エンジンでページを検索

URL プレスリリース

研究紹介

トップページ

・名前のついたリンクによって連携されたデータ間の巨大なグラフ構造

・プログラムによって、データベースのような問い合わせができる

多様な条件で柔軟に情報を収集でき、

コンピュータ処理に適した情報を提供

富士通研究所

会社名

プレスリリース世界初！

大規模…

インテリジェントソサエティ

研究分野

研究テーマ名

2013年

4月3日

タイトル

発表日

キーワードで情報の検索ができ、

人間が読むための情報を提供

LOD (Linked Open Data)

URL

URL

富士通研究所検索

URI URI

URI

例)富士通研究所の最新プレスリリースのタイトルは?

例)世界で最も(売上/従業員数)の高い会社は?

LODコンテンツの例


DBPedia 各国語のWikipediaをマージし、LOD化した巨大データセット出典：http://dbpedia.org/

会社概要 (各国語)

従業員数や所在地などの企業情報

GeoNames 国、大都市、首都、山、郵便番号などの地名(800万以上)と、緯度経度高度、人口などの関連をLOD化・ Creative Commonsライセンスで公開出典：http://www.geonames.org/ ・データソース -National Geospatial-Intelligence Agency‘s (NGA) -U.S. Geological Survey Geographic Names Information System

11

日本では国立国会図書館等が保有データをLOD化

http://dbpedia.org/

http://www.geonames.org/



LODのメリット

異なる人・組織の作成したデータセット間の相互運用・統合

関連情報（背景知識）を引き出し、それらを用いて、データを分析


政府オープンデータ (調達情報など)

LOD

集計

グループ会社

A社単独の受注状況

A社グループの受注状況

競合他社(グループ)との比較

LOD化することで分かる情報

CSV形式でも分かる情報

他のデータと機械的に組み合せしやすくなり、分析情報が増える

富士通研でのLinked Open Data研究


LOD

大規模グラフDB

収集

2014年1月より一般公開

Web公開されているLODを収集・検索

RDFストアリンク付与

CSVを

RD

Fに変換

社内外のデータをLinked Dataに変換・統合

http://lod4all.net

国内コンテストに基盤提供

異種データを活用した新しいアプリケーション

テキスト

2014年12月より一般公開日本全国の地域特性を統計データ等のオープンデータから分析・可視化

http://evacva.net 知識特性見えるかツールEvaCva

LOD向け大規模データ格納・検索技術

世界中で公開されているLODを収集・一括検索（LOD4ALL）

非Linked Dataからオープンデータへのリンク自動的付与技術

異種データを統合・活用した新しいアプリケーション（EvaCva等）

国内外との産学連携（アイルランドINSIGHT等）により、LODを中心に各種データを連携・統合した知識ベース構築技術を目指す

http://lod4all.net/

http://evacva.net/

http://evacva.net/

LOD4ALL


世界中のLOD（数百億項目）を格納し、高速な一括検索を提供

アプリケーション

サイトA サイトB

インターフェイス標準API

との共同研究アイルランドINSIGHT Centre for Data Analytics

アプリケーション開発者

利用利用

収集収集収集

個々のサイトを探しまわることなく、データを利用できる！

特徴１

複雑な処理をアプリケーションで実装する必要がない！

特徴２

検索機能のないサイトのデータも検索できる！

特徴３

データの概要や中身が見える！

一般公開中 http://lod4all.net/

LOD4ALL


www.lod4all.net

大規模グラフ処理の高速化技術 x4u-rdf


6.65 12.30

119.28

9.69 41.85

173.13

1,333.80

57.66

1.00

10.00

100.00

1,000.00

10,000.00

Query 1 Query 2 Query 3 Query 4

Resp

onse

Tim

e [m

sec]

x4u-rdf OSS

大規模グラフに関する、標準準拠(SPARQL)の格納／操作／検索の高速化技術 [大容量] 世界中の公開済みグラフデータ(LOD)＝40B(400億）の格納・検索を可能に [高速化] ２種類のグラフ基本操作を独自技術で高速化トラバース操作(hop-by-hop): エッジで接続されたノードを１つずつたどりながら探すスキャン操作(pattern match): グラフの中で特定の属性パターンを持つ集合を抽出する

Adaptive optimization in traversal


A B

C D

Server1 Server2 Server3

A D

B C

Server1 Server2 Server3

グラフの接続関係を考慮せずに配置すると、

「隣りのノード」も、別のサーバに分散配置

traverse(たどる)度に

別サーバへアクセス

接続関係を配置に反映し、無駄なサーバ間通信を削減

ABCD というノードのつながりを

アクセスログから自動把握

頻繁なサーバ間通信が発生

関連するグラフ操作を 1サーバ内で閉じて

実行できる

どこまでをひとまとめにするか、実際のアクセスログを

もとに自動調整

【技術ポイント】

数百万～数十億の大規模グラフ処理で

スループットを大幅向上＝

データ精錬・リンク付与技術

目的：

記述粒度を統一し、点在する関連項目を連携

技術概要：

処理：

•情報モデル（組織構造など）の作成

•情報モデルおよび既存LODと照合し、会社・内部組織等を判定

技術：

•名称・周辺情報の類似度による確率モデル

評価：リンク付与

•同機能を持つ代表的なOSS(SILK, LOD Refine)と比較し、最大10ポイント精度向上

課題：

•周辺情報の欠落による手がかり不足


富士通（株）富士通株式会社サーバシステム事業本部富士通研究所 …

元データ：著者の所属情報

②精錬

富士通富士通研究所

サーバシステム事業本部

org:subOrganizationOf (子会社関係)

org:unitOf (内部組織)

DBpedia

富士通

富士通

研究所

dbp:owner

17万人

4兆4675億74百万円

売上高

従業員数

②リンク付与

タイプ比較対象精度

組織富士通研 0.90

SILK 0.82

LOD Refine 0.58

著者富士通研 0.93

SILK 0.89

LOD Refine 0.73

技術

用語

富士通研 0.73

SILK 0.63

LOD Refine 0.51

owl:sameAs owl:sameAs

評価実験

子会社

会社内部組織

情報モデル

org:subOranizationOf

org:unitOf

リンク付与の事例


DBpedia(Wikipedia情報)にリンクし、LODを知識ベースとして利用

例：ある企業のグループ会社を取得し、企業グループの受注状況を分析

調達

発注者

受注企業

富士通

政府調達情報CSV

RD

Fに変換

リンク自動付与

企業単体での受注状況の分析

企業グループでの受注状況の分析

データ収集

データ可視化

グループ会社の取得

データ可視化


Linked Open Dataの活用

20

LODによるオープンデータ活用 LOD4Allを中心に各種のオープンデータを統合し新しい価値を創出

オープンデータに基づく地域特性の可視化

異なるデータソースからの企業業績比較

LODとWebデータを組み合せた人物辞書構築

将来的には人工知能実現のための知識ベース構築へ


LOD for all

http://lod4all.net/

Unified access to LOD across the world in a batch

環境金融

オープンガバメントナレッジマネージメント

オープンデータに基づく地域特性の可視化

客観的で公平な政府統計など1,200項目以上のオープンデータを活用し、地域の特性を評価

類似自治体との比較・評価により地各種施策の立案へ


散布図

類似自治体との比較

政府統計による類似自治体との比較安全安心の観点からの比較

着目する自治体

EvaCva(http://evacva.net)

地域特性の評価尺度


環境・経済・社会の３つのカテゴリから地域特性を包括的に評価

環境：資源の有無や活用可能性、環境への負荷から、将来への期待や癒し等の居心地よさをもって生活できる住みやすい環境条件であるかどうかを評価

経済：財政の健全性や産業状態から、職の選択自由度、働き易さなど安定感をもって生活できる住みやすい経済状況であるかどうかを評価

社会：社会インフラやサービス充実度、地域活力から、安心・安全に豊かさを実感しながら生活できる住みやすい社会基盤であるかどうかを評価

23

異種企業データ統合会計データ（XBRL）、DBPedia、株価、ニュース等の異種・異ソースの企業情報を集約・LOD化し統合

XBRL, HTMLファイル（クローラ）、Web API等のデータ取得やフォーマットの違い

LEI等の各種の企業IDの対応付け


Financial Reports, etc.

US GAAP

Taxonomy

Linking XBRL documents with different taxonomies

Mashup XBRL with other financial data

news

Analysts

Dashboard

Linked Open Data (LOD) Public

Interstage XW

and

Public

LOD Utilization Platform

Standard APIs

Large-Scale Search

HIKAKU

Data Conversion

Knowledge Processing

Crunchbase

Generate financial index , which enable screening data, fundamental analysis, and other type of analysis

Public

LOD

Craw

ling

DBpedia

Semi-automatic mapping

Sentiment Analytics

User defined KPI

LEI Market Data

HIKAKU


研究者データベースの構築

論文データ、個人HP等の情報を統合し研究者DBを構築

LODだけでは不足する情報をWeb上から半自動抽出

LOD（論文データ等）⇒業績、研究分野、現在の所属等

Web（個人のHP等）⇒履歴、役職（大学内、学会、委員会）等

推論・マイニング ⇒ 専門性、外部からの評価等


オープンデータ Linked Data化

①Web情報抽出

論文

技術

人物情報

Webページ

②精錬・リンク付与

③推論・グラフマイニング

LODダッシュボード

研究の経歴

組織間関係

電子情報通信学会論文情報

オープンデータの特徴

オープンデータは、データ保有者が自分の目的で作成したデータを公開

データの利用者は、自分の目的に合わせて、必要なデータの収集・組合せ・変換が必要

ITの役割は、データ保有者と利用者の間の様々なミスマッチを埋めること

それに伴い、プライバシー保護等の問題も発生



データ活用のためのプライバシー保護、セキュリティ技術

28

「人」に向けたセキュリティ：行動特性分析に基づくICTリスク判定技術

データ活用、特に個人情報活用とセキュリティ

2015年は節目の年

日、米、欧法制度が変わり始める

個人情報保護法改正で「匿名加工情報」が導入され、第三者含めた活用が可能に。

匿名化は、データに合わせて適切な技術を選ぶ必要がある。完全な匿名化もないのも注意。

パーソナルデータ：技術ｘ法律ｘ社会受容性でいかにバランスを取っていくかがカギ

セキュリティに限らず、これからますます「人」が重要


プライバシー保護技術の色々


データ種別 (例) 消す丸める隠す/置換

テキストカルテ、SNS、メモリダンプ、ログ

個人情報検出匿名、イニシャル表記

仮名

DB

（レコード単位）

統計の調査票、レセプト、カルテ

墨塗り(マスキング)

トークン化, 仮名

化、曖昧化、トップコーディング

暗号

準同型暗号

DB(全体) レセプト、医療データベース


K-匿名 (集合匿名化)、シャフリン

グ、平均化、特異値除去、統計化

アクセス制御

秘密分散(割符)

サービスや分析結果

検索サービス、DB公開


統計化、差分プライバシー

情報ゲートウェイ

ストリームデータ

センサーログ(位置など)、スマートメータ


曖昧化、統計化検索可能暗号

匿名化、暗号化もデータ種別に合わせて色々な技術がある

赤字は富士通研究所の強い技術

セキュリティ事故の大半は「人」に起因

日本ネットワークセキュリティ協会 2013年情報セキュリティインシデントに関する調査報告書～個人情報漏えい編～ JNSA2014.12.25

原因の大半は組織内部何らかの人間系予防対策が必要

Copyright 2015 FUJITSU LIMITED

図 1：漏えい原因比率（件数）


サイバー攻撃の多様化：一般人がターゲット

サイバー攻撃の巧妙化、多様化

標的型メール攻撃に「やり取り型」増加、水飲み場攻撃も確認

警察庁の2013年のサイバー攻撃情勢より（2014年2月）、

システムを堅牢に構築しても、運用する人間に問題があると意味がない

組織の従業員一人一人の意識、ITリスクに対する警戒心を、向上・維持させる必要がある

システムだけでなく人がターゲットに


社内実践より：時間帯や組織による行動特性の違い

メール誤送信対策富士通G(10万人)の標準メールセキュリティツール（富士通SSL SHieldMailChecker)

時間帯によって、誤送信率に差

標的メール訓練

研究部によって開封率に大きい差何らかの組織的特徴がある可能性

69.0%

29.7%

1.2%

約18千通より

0

400

800

1200

1600

2000

0 2 4 6 8 10 12 14 16 18 20 22

0%

1%

2%

3%

4%

5%

時

送信数取戻し率

キャンセル

スルー

チェック

要注意の時間帯がある


研究部

開封率

1回目平均32％

2回目平均12％

33

目標：人の被害リスクに合わせたセキュリティ対策

社会心理学の知見を活かし、各ユーザのサイバー攻撃の被害のリスクを、PC操作上の行動から判定する技術を開発

特長１：被害に遭いやすい心理特性の分析

特長２：行動分析による被害リスク判定


行動分析による被害リスク判定

PC操作における行動的な特徴と，心理特性との関連を調べることで，行動から被害リスクを算出する技術を開発

アンケートとログ取得を同時に行う「被害リスク判定ツール」を開発し、従業員約250名に対して実施。回答内容と回答時の操作ログからリスクを算出

•Windows PC上に常駐し、メール(送受信、誤送信状況)やWebアクセス、アプリの切替、オフィスアプリの利用状況、キー・マウスの動き等220項目を取得

•特長１で得られた心理特性を調べるアンケートと共に、アンケートの回答時の行動を分析

今回、特に以下の状況における、ユーザの行動と心理特徴を相関分析

① プライバシーポリシーを読んでいるユーザの挙動を観測

② 疑似的なPCフリーズ状態を作り出し、その時のユーザの挙動を観測


簡易判定結果(例)

ウイルス/詐欺/情報漏えい

の３つのリスクにどの程度

強いかを表示ウィルス感染

詐欺被害情報漏えい


特長２）得られた知見の例

プライバシーポリシー表示時間が短い人

ベネフィット認知の強さに関係

ベネフィット認知が強い人は、ウイルス感染被害に遭いやすい傾向

疑似フリーズ時に多くの操作がある人

20代はほかの世代と比べてキー操作が多い結果に

20代は情報漏洩のしやすさ、詐欺に遭いやすい傾向


情報漏洩、詐欺

被害リスク

20代ユーザー疑似フリーズ時の

キー操作

2．行動分析による被害リスク判定

1．被害に遭いやすい心理特性の分析

ウイルス感染

被害リスク

ベネフィット認知の強さ

プライバシーポリシー表示が短い

ユーザー

2．行動分析による被害リスク判定

1．被害に遭いやすい心理特性の分析

37

オープンデータ活用に向けて

産学連携による先進的なビッグデータ、オープンデータ活用技術の研究開発

富士通株式会社での製品化を通したお客様への提供

オープンデータの新しい活用方法の構築と有効性の検証


Linked Dataによるオープンデータ活用技術 · 政府オープンデータ...

Documents

Transcript of Linked Dataによるオープンデータ活用技術 · 政府オープンデータ...

Linked Dataによるオープンデータ 活用技術 · 政府オープンデータ...

Documents

Transcript of Linked Dataによるオープンデータ 活用技術 · 政府オープンデータ...

Linked Dataによるオープンデータ活用技術 · 政府オープンデータ...

Transcript of Linked Dataによるオープンデータ活用技術 · 政府オープンデータ...