인지 / 추론 : 추론 기술

2002 년 11 월 15 일숭실대학교 컴퓨터학과

김명원

뇌신경정보학연구사업

2

연구목표 및 연구내용 1 차년도

신경망 기반 개인화 기술 개발 신경망 기반 사용자 모델링 기술 개발 정보사용자의 비형식적 추론 메커니즘 연구

2 차년도 신경망 기반 개인화 기술 개선 신경망 기반 비형식적 추론을 이용한 사용자 모델링 기술 개발 비형식적 추론 : 속성 추론

3 차년도 정보추천시스템 개발 모델 검증을 위한 학제적 비교 연구 정보사용자의 적응적 추론의 인지적 모형개발 및 적용

3

비형식적 추론

사용자 모델링

지능화 추론기술

정보추천시스템

CollaborationContents

User behavior

신경망 기반추론

대상과 속성별 추론기전

추론유형 분류 및차원화

파라메터 추출

사용자 지식사용자 목표사용자 맥락

추론대상의 특성상황 맥락

논리적 추리상황적 추리

취소가능 추리

사용자 추론 및 의사결정

사용자 추론의제약

사용자 프로파일

행동선택

사용자 행위

정보서비스 응용

인터넷 쇼핑 도우미

개인 비서시스템

자문시스템

추론기술 연구 체계도추론기술 연구 체계도

규칙 기반 추론

4

신경망 기반 개인화 기술 개선 (1) 유사도를 이용한 신경망 추천 모델

NNCF-S (Neural Network Collaborative Filtering Using the Similarity) 유사도 측정 최근접 이웃 방법 기존 추천기술 (70%), NNCF (82%) , NNCF-S(87%)

A 항목의 선호도

B 항목의선호도

A 항목의 선호도

B 항목의선호도

NNCF NNCF-S

특정 사용자

5

신경망 기반 개인화 기술 개선 (2) 다양한 정보를 입력레벨에서 융합

인구통계학적 정보 , 항목 내용 정보 , 사용자 행동 패턴 등 .

항목에 관련된 정보 사용자에 관련된 정보

내용정보를 고려한 사용자 NNCF-S 사용자에 관련된 정보를 고려한 항목 NNCF-S

U1 U2 Un

UT

I1 I2 Im

IT

6

신경망 기반 개인화 기술 개선 (3)

최근접 이웃 방법

연관규칙 NNCF NNCF-S

사용자 항목 사용자 항목장르를고려한사용자

사용자 항목장르를고려한사용자

Accuracy 67.8 72.0 61.1 81.6 77.5 81.4 85.5 78.4 86.8

Precision 60.3 75.1 75.4 77.4 76.3 78.0 85.7 74.6 87.7

Recall 55.7 58.4 22.6 69.6 73.0 65.7 84.5 75.7 84.2

F-measure

57.9 65.7 34.8 73.3 74.6 71.3 83.7 74.3  84.6

7

신경망 기반 개인화 기술 개선 (4) 신경망을 이용한 결측값 (Missing Value) 처리

개인화를 위한 관련 데이터 상대적 부족

N-to-N 결측값 처리 모델

f1 f2 fn-1 fn

f1 f2 fn-1 fn

N-to-1 결측값 처리 모델

f2 f3 fn-1 fn

f1

8

신경망 기반 개인화 기술 개선 (5)

결측 값 처리 방법분류 인식률 (%)

속성 1 속성 2 속성 3 속성 4

“0” 값 대치 98 73.6 100 85.6

평균 값 대치 94 100 100 87.6

N-to-1 신경망 모델 96.2 100 100 93.6

N-to-N 신경망 모델 98.4 100 100 92.4

결측 값 처리 방법분류 인식률 (%)

속성 1 , 속성 2 속성 3 , 속성 4

“0” 값 대치 100 34

평균 값 대치 100 74

N-to-1 신경망 모델 100 94

N-to-N 신경망 모델 98 84.8

표 .1 결측 값이 한 개일 경우 표 .1 결측 값이 두 개일 경우

신경망을 이용한 결측값 (Missing Value) 처리 평가 결측 값 처리 방법에 따른 분류 인식률 실험 데이터

Iris 데이터 : 속성 4 개 / 클래스 3 개 / 데이터 150 개 훈련데이터 : 100 개 테스트데이터 : 50 개

9

신경망기반 비형식적 추론을 이용한 사용자모델링 기술개발

BN NNHybrid

WebMining( 예측 )

MobileAgent

( 행동생성 )

대화형에이전트

( 사용자 모델링 )

추론 및 학습

동적결합 , 정적 결합 , 진화 , 다양성

연구사례

- Bayesian Network 를 이용한 문맥 유지

- LCS 를 이용한 대화형 에이전트

- Bayesian Network 를 이용한 로봇의 목적 추론

- Web Mining 을 위한 SASOM+DT 모델

10

계층적 베이지안 네트워크를 이용한 대화형 에이전트의 문맥유지

< 대화 주제 : 교수님 연락처 >

User : 안녕하세요 keyword : 안녕 문형 정보 : 평서문 ( 기타 ) BN 토픽선택기 : 하위토픽 ( 인사말 ) sub keywork : 하세요 BN 대답선택기 : 만남 인사말ChatBot : 네 안녕하세요User : 연락처를 알고 싶은데요 keyword : 연락처 문형 정보 : 질문형 ( 설명 ) BN 토 픽 선 택 기 : 하 위 토 픽 (miss),

중간토픽 ( 연락처 ) Active replyChatBot : 연 구 실 연 락 처 에 대 해 서 알 고

싶으신건가요 ? 아니면 교수님 연락처 ?User : 교수님 연락처를 알고 싶은데요 . last keyword : 연락처 keyword : 교수님 , 연락처 문형 정보 : 질문형 ( 설명 ) BN 토픽선택기 : 하위토픽 ( 교수님 연락

처 ) BN 대답선택기 : 교수님 연락처에 대한

질문ChatBot : 교수님 연락처는 000-0000 입니다 .

베이지안 네트워크를 통한 사용자 질의 분석

문형정보를 이용한 대화선택 사용자 모델링을 통한 문맥유지

대화 가능

11

LCS 를 이용한 대화형 에이전트의 유연한 대화 생성

User Input

PreprocessingDA

CategorizationLearning

Classifier System

Script Generator

Script

Script Interpreter

Answer

User Rewards

문형분류과정 :사용자의 질의 의도

파악 가능답변 매칭 과정 :

다양한 문장 생성 LCS

기존 대화형 에이전트의 단점– 미리 구축된 데이터베이스 이용 이미 정해져 있는 문장 사용– 대화의 지루함 증가 , 친밀감 감소 Learning Classifier System(LCS) 의 환경 적응성을 이용 다양한 문장의 생성이 가능한 대화형 에이전트를 구현

[ 대화 ]

User : 소프트 컴퓨팅 연구실이

어디인가요 ? (1101100)

Agent : 저희 연구실은 연세대학교 제 3 공학관 5 층에 있습니다 .

(1011010)

User : 소프트 컴퓨팅 연구실이 어디인가요 ? (1101100)

Agent : 저희 연구실은 연세대학교 제 3 공학관 5 층 529 호입니다 . (1011101)

12

베이지안 네트워크를 이용한유연한 로봇 행동 생성

S1

S4

S3

S2

G1

G3

G2

B1

B2

B3

B4

B5V1

V2

V3

V4

V5

V6

B : 행동 노드

S : 외부 상태

G : 내부 목표V : BN 상태

행동 네트워크

행동 네트워크 +BN

행동 네트워크 : 복잡한 행동을 추상적인 모델로 표현 - 한번 결정된 목적은 지속적으로 설정 - 상황의 변화에 약함

Bayesian Network 를 이용하여 현재 목적을 추론

13

SASOM+DT 모델을 이용한웹 데이터의 분류

100 data 200 data 500 data

5 개의 SASOM 6.5% 5.0% 3.5%

10 개 의SASOM

4.0% 3.5% 2.5%

15 개 의SASOM

2.6% 1.8% 0.8%

20 개 의SASOM

3.0% 1.6% 1.0%

100 data 200 data 500 data

1 개의 SASOM 4.0% 5.5% 3.8%

< 앙상블의 오류율 > <1 개의 SASOM 의 오류율 >

DT

SASOM2SASOM1 SASOM5SASOM4SASOM3 SASOMi

Initial 5 classifiers

add a new classifier if have a better quality

Structure Adaptive Self-Organizing Map 의 Hybrid 결합

- SASOM : 시각적인 결과 분석 및 SOM 에 비해 높은 성능

- DT 결합

: Mining 결과를 분석 가능

Streaming Ensemble 방법 - 다양한 분류기 생성

14

비형식적 추론 : 속성추론 (1) 상충되는 전제가 추론에 미치는 영향

확증전제 제시 결론이 참일 가능성 증가 . 대안전제 제시 결론이 참일 가능성 감소 . 예 )

전제 : 모피코트는 관세가 부과되어야 한다 .( 확증 1 : S1) 골프채는 관세가 부과되어야 한다 .( 확증 2 : S2) 소형차는 관세가 부과되어야 한다 .( 대안 : D)

결론 : 다이아몬드는 관세가 부과되어야 한다 . (C) 조건 : SC , DC , SSC , SDC , DSC

설명 절감 원리 (Sloman, 1994) 확증 - 확증전제 (SSC) > 확증 - 대안전제 (SDC) = 대안 - 확증전제 (DSC)

확증 편향 (Wason, 1960) 확증전제가 있으면 대안전제 여부는 영향을 주지 못한다 . 확증 - 확증전제 (SSC) = 확증 - 대안전제 (SDC) = 대안 - 확증전제 (DSC)

15

비형식적 추론 : 속성추론 (2)

50

55

60

65

SC DC SSC SDC DSC

+ 전제 결론

전제와 결론의 이유가 다를 때 (:DC) 결론의 신뢰도가 낮아짐 전제가 두개 이상일 때 결론과 같은 이유가 하나만 있으면 (: SDC, DSC) 다른 이유는 별 영향을 미치지 않음 . 확증적 정보의 존재가 이유기반 추론에서 중요함 .

16

비형식적 추론 : 속성추론 (3)주관적인 보고 자료 분석

결론과 같은 이유를 찾으려고 노력

17

비형식적 추론 : 속성추론 (4)

인과적으로 위계적인 전제의 영향 공동 결과 : 다른 원인이지만 같은 결과

과일 분비물 집짓기

다리 점액질 잘 붙어 있기 집짓기

위계조건 : 두 원인이 위계적으로 연결 과일 다리 점액질 집짓기

18

비형식적 추론 : 속성추론 (5)

범주판단 : 기본원인 ( 과일 먹기 ) 이 더 중요속성추론 : 근접원인 ( 다리 점액질 ) 이 더 중요

19

결론 및 향후 연구 신경망 기반 개인화 기술 개선

다양한 정보와 유사도를 이용한 신경망 추천 모델 신경망을 이용한 결측 값 처리 신경망과 규칙기반 추론의 통합

신경망기반 비형식적 추론을 이용한 사용자모델링 기술 개발 Bayesian Network 를 이용한 문맥유지 및 로봇의 목적 추론 LCS 를 이용한 대화형 에이전트 Web Mining 을 위한 SASOM+DT 모델

비형식적 추론 : 속성 추론 상충되는 전제가 추론에 미치는 영향 인과적으로 위계적인 전제의 영향