子ども-大人インタラクションの認知科学的分析とモデル化に向けて

大森隆司（玉川大学工学部）

コミュニケーション行動のモデル化

1. コミュニケーションのモデル化（概念）

2. 対人インタラクションロボット

3. 保育士の行動決定モデル

4. 改良プレイメイトロボットによる遊び実験

5. 戦略的インタラクション : 興味の誘導による遊び

6. まとめ

基盤：意図を読む

ユーザの意図を推定

⇒ 協調的振舞い

机で作業中。

掃除は後で・・

ロボットの意図を推定

他者と協調的に振舞う行為者

例） 掃除ロボット

机を掃除しに来たな。

席を立とう・・

意図理解と対応行動

より深い相手の理解

「相手の推定内容」の推定「机で作業中」である事を

推定し，掃除は後回しに

してくれるだろう。

作業を続けよう・・・机で作業中。

掃除は後で・・

１段「深い」推定！

推定の深さ

＝ 推定のレベル

なぜ我々は他人の意図が判るのか？

• 意図/目的は直接には観測できない– 意図の推定ができないと日常活動に困る

– でも我々はある程度は推定できる．．．．なぜ？

• 前提：「他人は自分と同じように考える」

– 自分の行動決定についての知識を他者に転用「自己モデル」 → 「他者モデル」 として使用

他者理解の基本原理

• 「モデル」 というものの導入による計算的方法

• 自己についての知識（自己モデル）による対象の内部過程の推定

自己についての理解

内部状態

行動決定過程

環境の認識

行動

観察

注意

他者

行動

観察

内部状態

行動決定過程

環境の認識

注意

転用の理解

相手も含む行動決定

意図行動

他者の意図

自己 他者

意図

他者の意図・行動予測モデル

行動

他者の意図推定モデル 受動的な意図推定

能動的な行動誘導

背景と目的

• 子供の遊び相手となるロボット

⇒ 長く遊び続けられること

飽きてきた？

普通のロボットとでは飽きる

人とは長続きする

人とのやりとり感

遊びへの興味を引きつける

相手として認められる

遊びへの興味

対人感覚

遊びへの興味引きつける！

対人感覚

人－ロボットインタラクション 先行研究

神田 他：人間と相互作用する自律型ロボットRobovieの評価，日本ロボット学会誌，2003

9

珍しいもの

幼児とロボットの動きを測る

マーカーつきの帽子

頭部にマーカーを直貼り

マーカーつきのヘルメット

高橋英之,宮崎美智子,岡田浩之,大森隆司:「新奇性」と「親近性」の軸から子どもとロボットの関係性を捉える, HAI2011

子どもの側から見たロボット ① 珍しいもの ② つきあう相手

モーションキャプチャー

子供とロボットの遊び実験– 飽きずに30分 → 失敗 → 保母さんの観察 → 行動決定モデル

トランプの神経衰弱

ロボットに対する親近感の向上阿部香澄，岩崎安希子，中村友昭，長井隆行，横山絢美，下斗米貴之，岡田浩之，大森隆司：子供と遊ぶロボット：心的状態の推定に基づいた行動決定モデルの適用，日本ロボット学会誌，2013

ロボットからの働きかけによる子どもの状態遷移モデル

• 家庭用サービスロボットに実装

• 複数の遊びモジュールを搭載

→ 子供の状態を推定

→ 遊びや行動の切り替え

・ トランプ

・ お絵描き

・ 絵本読み聞かせ など…

Playmate robot の概要

子供と長く遊び続けることが重要

飽きたかな？

ロボットとのカード遊び

• ロボットと子供とで神経衰弱

－使用カード：10枚のアンパンマントランプ

－被験者：子供２人（男の子と女の子）

• OKAO Visionにより，実験中の興味度を測定

「神経衰弱で遊ぼう」「じゃんけんで順番を決めるね」「君の番だよ」「同じキャラクターのカードを探して」「ちょっとカードを見せてね。うーん…」「残念、違ったね」「僕の番」

ロボットのセリフでゲームを進行

…

いずれの実験も，子供の興味を維持できなかった，，，，なぜ？

「保育士と子供の遊び」観察

• どっちに入ってるか？• 絵本の読み聞かせ• トランプ（神経衰弱）• カプラ（積み木遊び）• 文字カード（文字遊び）

実験プロトコル（30分）

被験者：6歳児２人（男の子と女の子）

「保育士と子供の遊び」

モデルベースの分析

緊張 慣れ楽しい嬉しい

飽きるつまらない

興味の変更 別の遊び

「緊張」状態 「楽しい/嬉しい」状態 「飽きる/つまらない」状態

保育士の行動戦略

緊張 慣れ楽しい嬉しい

飽きるつまらない

興味の変更 別の遊び

褒める

勝たせる

短縮

上手くできる

延長

回復会話

作業

会話

作業褒める

短縮

モデルの検証実験

• 子供とロボットの遊び実験

– 家庭用サービスロボット“DiGORO”

– 幼稚園児6名（平均5.5歳、男3、女3）

– 3名はモデル適用(確率分布あり)、

3名はゲーム状況に応じた

行動セットから均一に選択

– 慣らし5分、遊び25分

– 6名中4名が終了時間まで遊び継続

トランプの神経衰弱

じゃんけん

状態推定と行動選択手法

• 観察実験より、子供が遊ぶ様子のモデル化

– 子供の様子と保育士の戦略

特徴的な子供の振る舞い

保育士の行動戦略

• 子供の内部状態遷移モデル

状態推定と行動選択手法

高い

なし

興味度低い

［戦略］

なるべくS1かS2に留めるよう行動。

モデルの検証実験

• 心的状態「興味度」の推定

– 興味度 ： 「子供が遊びやロボットに興味を持つ程度」

– 特徴量 ： 視線、笑顔度、動き、凝視度

– 幼稚園教員による興味度の評価

⇒ 推定結果との一致度 ： 7割

1 96 60 41 0笑顔度

顔追跡

実験結果

• モデル適用とランダムの比較

ロボット

机

0 400 800 1200 16000

0.2

0.4

0.6

0.8

1

0 400 800 1200 16000

0.2

0.4

0.6

0.8

1

0 400 800 1200 16000

1

2

3

4

0 400 800 1200 16000

1

2

3

4

基準興味度

視線頻度

モデル適用 ランダム

神経衰弱 終了

ロボット 46%ロボット 38%

机 54% 机 62%

相手の反応を期待

窺う必要がない

ロボットへの

対人感覚

インタラクション＝心的ダイナミクス

内部状態

相手の意図推定

行動

行動

働きかけ（会話・行動）

知覚

知覚働きかけ

（会話・行動）

内部状態

状態変化

内部状態の望ましい変化

仮想的な働きかけ

意図

戦略的インタラクション

23

緊張 慣れ

興味 楽しい飽き

つまらない

遊びの切り替え

怖い

あやしい

興味なし

会話・成功ほめる

遊び不成立 (３割程度)［泣く，逃げる，黙る］

遊びが成立 (7割程度)

熟練した保育士（100％）

Research question保育士は何をしたのか？

方法：

子どもとロボットの遊び観察

こんにちは

こんにちは

• 操作者– 幼稚園教諭4 人

– 一定の勤務経験

被験児（遊び相手） 5～6 歳の幼稚園児(男児25 名，女児14名)

場所 ： 被験児が通う幼稚園

ロボット ： LiPRO

実験の流れと遊びの種類

• 開始：会話(挨拶など)

– かくれんぼ– じゃんけん– 〇×ゲーム– サイコロゲーム– カニ歩き– 歌– 手つなぎ

• 終了：プレゼント（消しゴムをあげる）

緊張しているから歌を歌ってあげよ

う お歌歌うからちょっと聞いて

ほしいな

♪～

操作者（幼稚園教諭）が子供の様子や状況に合わせて選択

約30分

25

データ ： 子どもと保育士の行動・対話，子供の動き・表情・対話，全体画像

計測・アンケート

26

被験児胸部に無線心拍計 → ストレス指標：LF/HF成分

保護者に被験児についてのアンケート（5点法）

子供の実験時の様子，普段の様子

性格検査

• TS式幼児・児童性格診断検査

– 13項目を客観的に把握

– 対象：未就学児

– 回答者：保護者

– 形式：質問紙法

– 値が低いほど不安定な傾向

1点 ← → 99点

顕示性が強い 顕示性なし

神経質 神経質ではない

情緒不安定 情緒安定自制力なし 自制力がある

依存的 自立的退行的 生産的

攻撃・衝動的 温和・理性的社会性なし 社会性がある家庭不適応 家庭適応学校不適応 学校適応

体質的不安定 体質的安定個人的不安定 個人的安定社会的不安定 社会的安定

例） 「攻撃・衝動的/温和・理性的」

1点に近い ：攻撃・衝動的99点に近い：温和・理性的

分析の流れ

1. 遊びの過程のデータ化 ： 遊び種類，満足度，緊張度

のTag

2. 状態遷移による記述

3. 遊びのクラスター化

4. クラスターの変化

28

ｔ (min)

歌を歌っている？

遊び実験の動画

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

会話（開始）

じゃんけん（3回）

歌（2回）

手つなぎかくれんぼ

（2回）

タグ付けの例 ： 4名/1被験児，緊張度と満足度（5点法）

遊びの状態遷移確率

→ 遊びの段階に分けて分析：有意な確率：有意傾向の確率

緊張がほぐれてきた後半:積極的に関わったり

身体を動かす必要のあるコミュニケーションが多い遊び

緊張している前半:積極的に動く必要のない

コミュニケーションが少ない遊び

29

クラスターと遊びの遷移

→ クラスターごとの緊張度，満足度を分析

→ 遷移の回数類似パターンで分けられた

30

クラスターごとの緊張度と満足度

→ 段階的に（緊張度＞満足度） から （満足度＞緊張度） へ移行

3.08

2.71

2.56

2.11

3.10

3.07

3.59

3.84

0.02

0.36

1.03

1.72

0.00 0.50 1.00 1.50 2.00 2.50 3.00 3.50 4.00 4.50

クラスター1

クラスター2

クラスター3

クラスター4

緊張度

満足度

満足度と緊張度差分

31

遊びの遷移の条件（回帰分析）

• 目的変数– 遊びの遷移回数

• 説明変数– 緊張度

– 満足度

– 満足度と緊張度の差分

– 緊張度の遊びの前後での変化量

– 性格検査の各項目

– 年齢

– 性別→遊びの選択に性格や緊張度，満足度などが影響

32

まとめ① 生体指標から緊張度や性格傾向を推定する方法を提案

②保育士によるロボットの遊び戦略

子供の緊張が高い段階：単純でコミュニケーションが少ない

子供が慣れた段階：ルールが複雑で動きやコミュニケーションが多い

33

子どもの緊張度，満足度，性格 を推定して遊び選択