Wikipediaの信頼性計測名古屋大学 鈴木 優

suzuki@db.itc.nagoya-u.ac.jp

@suzuki_yu

Wikimedia Conference Japan 2013

2013. 2. 3 発表資料

Logo copied from http://commons.wikimedia.org/wiki/File:Wikimedia_Conference_Japan_2009_Logo.png by Wikimedia Conference Japan 2009 and modified by Akaniji and licensed under CC-BY 2.1 JP.

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

信頼できますか?

Nature 438, 900-901 (15 December 2005) | doi:10.1038/438900a; Published online 14 December 2005

2005年12月のNatureの記事が話題に

2

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

信頼できますか?

• Wikipedia は Britannica 並に正確

• 各分野の数十人の専門家が記事を精査

• 深刻な誤り 4 件

• 誤解，脱落，誤解 162 件

3

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

秀逸な記事とは• 専門家が見て説明されるべきことが説明されている

• 分かりやすく説明されている

• 内容が充実している

• 完成度が高い

• 観点の中立性が保たれている

• 出典または参考文献が挙げられている

4

出典:「Wikipedia:秀逸な記事の選考」

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

Wikipediaへの批判• Wikipedia の記事は質が悪い

• 不特定多数の利用者に編集させるなんて非常識だ

• アマチュアの書く記事なんて

• 署名の無い記事なんて信頼性が無い

• 専門家の査読がないなんて

• ...

出典: http://ja.wikipedia.org/wiki/Wikipedia:よくある批判への回答5

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

信頼度とは?

• ある事柄を信じられるかどうか

• 多くの人がそれを信じているかどうか

• 真実かどうかとは別問題

出典: スーパー大辞林, 三省堂

信頼度算出 = 数多くの意見の集約 6

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

信頼度の測定方法直接的な測定方法

• 投票

間接的な測定方法

• 編集履歴から信頼度を推定

• 出典の妥当性を解析する

• ノートから類推

7

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

直接的な測定法Extension: Article Feedback

英語版，ドイツ語版Wikipediaで採用8

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

投票の利点と問題点利点

• 分かりやすい

• 実装が容易

問題点

• 投票が集まりにくい

• 一部利用者の意見が過大に (cf. AKB総選挙)

• 不正な値が出やすい (cf. 食べログでのステマ)9

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

解決方法投票に準じる特徴を抽出

• 誰が誰に対してどう評価しているか?

Wikipediaには沢山の情報がある

• リンク（出典，参考文献）

• ノート

• 編集履歴10

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

著者同士の評価

11

スターバックス

スターバックスは，有名ジュエリーショップである．

スターバックス

スターバックスは，有名ジュエリーショップである．

悪! アリス (Alice)

ボブ (Bob)

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

著者同士の評価

12

スターバックス

1971年にシアトルで創業した．

スターバックス

良!

1971年にシアトルで創業した．

アリス (Alice)キャサリン (Catharine)

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

誰が誰をどう思う

13

アリス (Alice)

ボブ (Bob) キャサリン (Catharine)

アリスに削除された アリスに削除されなかった

悪! 良!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

悪い著者 良い著者

• 多くの人に削除される著者は悪い著者

• 多くの人が削除しない著者は良い著者14

良!

良!良!

良!良!

良!

良!悪!

悪!悪!

悪!悪!

悪!

悪!

ボブ (Bob) キャサリン (Catharine)

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

表示

15

スターバックス

スターバックスは，有名ジュエリーショップである．

1971年にシアトルで創業した．

注意が必要!

安心

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

不正行為

16

良!

良!良!

良!良!

良!

良!

悪!

悪!

悪!

悪!

悪!悪!

悪! 悪!

悪!

悪!

悪!

悪!

悪!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

不正行為への対応

評価する人の良悪も考慮

• 良い人は発言力を大きく

• 悪い人は発言力を小さく

17

良!

良!良!

良!良!

良!

良!

デイジー (Daisy)

良!悪!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

不正行為への対応

評価する人の良悪も考慮

• 良い人は発言力を大きく

• 悪い人は発言力を小さく

17

良!

良!良!

良!良!

良!

良!

デイジー (Daisy)

良!悪!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

不正への対応

18

良!

良!良!

良!良!

良!

良!

悪!

悪!

悪!

悪!

悪!悪!

悪! 悪!

悪!

悪!

悪!

悪!

悪!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

不正への対応

18

良!良!

良! 良! 良!良!

良!

悪!

悪!

悪!

悪!

悪!

悪!悪!

悪!

悪!

悪!

悪!

悪!

悪!

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

著者のバイアス

バイアスがかかった著者同士の振る舞い

• 反対の考え方のテキストを削除

• 同じ考え方のテキストを残す19

出典: スーパー大辞林, 三省堂

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

バイアス

20

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

バイアス

21

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

デモ

デモをご覧ください

22

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

まとめ記事の信頼度を算出

• 良い著者は多くの著者から認められている

• 悪い著者は多くの著者から削除される

• 不正行為にも（ある程度）対応

著者間のバイアスを算出

• 著者間の関係からグラフマイニング

23

13年2月3日日曜日

Wikimedia Conference 2013 発表資料

• Twitter: @suzuki_yu

• Email: suzuki@db.itc.nagoya-u.ac.jp

24

13年2月3日日曜日