인공지능: 변화와 능력개발

전태균 (SATREC INITIATIVE)한국직업능력개발원 / 2016.12.26

인공지능 (Artificial Intelli-gence)

변화와 능력개발

Contents 우주항공 분야 적용 사례

▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring

인공지능 발전 전망

인공지능 관련 역량개발

결론

인공지능 : 변화와 능력개발

HIGH QUALITYULTIMATE DISPLAY

4 TIMES FULL HD

TV 광고같지만

모두 원하고 있습니다

카메라를 살펴보면 ..


Source: http://www.productchart.com/cameras/


Source: http://www.productchart.com/cameras/

크면 좋은데 , 비싸요

downscaling

고화질 저화질

upscaling

고화질 저화질?

Interpolate: align coordinates

Super-resolution: high-freq. content

BIG! SHARP!Low resolution

High resolution + Good qualityHigh resolution + Low quality

≈

Ground truth

SuperResolution: End-to-End learning


우리가 가지고 있는 사진

( 출력 )강제로 화질을 낮춘 사진

( 입력 )𝑋 𝑌

SuperResolution: End-to-End learning


Input

Interp.Patch

enhance

Output

& average

�̂�= 𝑓 (𝑥 )

딥러닝은 여기에 !

딥러닝 관련 연구 : SuperResolution ECCV 2016, C. Dong et al. (The Chinese University of Hong

Kong)▫ FSRCNN: “Accelerating the Super-Resolution Convolutional Neural Net-

work”

CVPR 2016, W. Shi et al. (Magic Pony Technology) ESPCN: “Real-Time Single Image and Video Super-Resolution Using

an Efficient Sub-Pixel Convolutional Neural Network”

CVPR 2016, J. Kim et al. (Seoul National University)▫ DRCN: “Deeply-Recursive Convolutional Network for Image Super-Resolution”▫ VDSR: “Accurate Image Super-Resolution Using Very Deep Convolutional Net-

works”

ECCV 2014, C. Dong et al. (The Chinese University of Hong Kong)▫ SRCNN: “Image Super-Resolution Using Deep Convolutional Networks”


딥러닝 관련 연구 : SuperResolution


SRCNN [Dong2014] VDSR [Kim2016], DRCN [Kim2016]

SRCNN: 딥러닝의 첫 적용


Simple 3-Layer CNN▫ End-to-end mapping (LR-HR)▫ Convolution and ReLU

C. Dong et al., “Learning a Deep Convolutional Network for Image Super-Resolution”, ECCV (2014) [Link]

http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

SRCNN: Network Architecture


CONV

INPUT

ReLU

CONV

ReLU

CONV

OUTPUT

CONV Convolutional layer

ReLU Rectified Linear Unit

POOL Pooling layer

No dimension reduction with poolinglayer1 layer2 layer3

Cost function

▫ Evaluation▫ Peak Signal-to-Noise Ratio (PSNR)

SRCNN: Summary Advantage and Disadvantage

(+) Demonstrated the feasibility of an end-to-end learning.

(-) Context of small image regions (13x13)

(-) Only works for a single scale (x3)

(-) Slow to converge (learning rate = 10-5)




SISR 에 대한 첫 딥러닝 시도

Context Region (13x13) x3 만 고려 학습이 느림

VDSR: Very Deeper SR


Deeper model▫ Depth: 20 layers

Residual learning▫ Simplify the learning goal

Single model for multiple scales▫ Combine various scale factors for training data

VDSR: Deeper model


VDSR: Residual learning


VDSR: single model for multiple scale

DRCN: Recursive model


DRCN: Skip-connection



SISR 에 대한 첫 딥러닝 시도

Context Region (13x13) x3 만 고려 학습이 느림

20 레이어로 학습 가능 Context Region (41x41) Scale (x2, x3, x4) 빠른 학습 Recursion model ( 모델축소 )

Results using VDSR


KOMPSAT-3 Images


VDSR x2(2400x3440)

Origin(1200x1720)


VDSR x2(3206x4272)

Origin(1603x2136)





결론



물체 검출 + 딥러닝


AI-powered cameras make thermal imaging more accessible (2016)FLIR Boson (http://www.flir.fr/cores/content/?id=74595)


물체 검출 = 주어진 이미지에서

특정 종류의 물체가

어디에 있는지찾아내는 것


DOG DOG

CAT CAT

물체 검출 = Localization+

Classification


물체 검출

물체검출


전역적 / 지역적 특징(Global/local fea-

tures)


Scale Invariant Feature Transform (1999)

물체검출


부분 기반 특징(Part-based features)


tures)


Articulated Part-based Model for Joint Object Detection and Pose Estimation (2011)


시각적 말뭉치(Bag-of-Visual-Words)



tures)


Recognizing and Learning Object Categories (2007)

CVPR short course (http://people.csail.mit.edu/torralba/shortCourseRLOC/index.html)


시각적 말뭉치(Bag-of-Visual-Words)

기계학습(Machine learning)



tures)


(The lousy painter)

0 10 20 30 40 50 60 700

0.05

0.1

x = data

• Generative model

0 10 20 30 40 50 60 700

0.5

1

x = data

• Discriminative model

0 10 20 30 40 50 60 70 80

-1

1

x = data

• Classification function

(The artist)

Discriminative vs. Generative (ICCV 2009)


물체 검출 = 주어진 이미지에서

특정 종류의 물체가

어디에 있는지찾아내는 것

= Region Proposal + Classification

물체 검출을 위한 딥러닝 모델

R-CNN (R. Girshick et al., CVPR 2014)

SPPnet (K. He et al., ECCV 2014)

Fast R-CNN (R. Girshick, ICCV 2015)

Faster R-CNN (S. Ren et al., NIPS 2015)

AttentionNet (D. Yoo et al., ICCV 2015)

YOLO (J. Redmon et al., CVPR 2016)


물체 인식 적용 사례 : 건물 탐지 (NVIDIA)


Exploring the SpaceNet Dataset Using DIGITS (2016)

NVIDIA Devblog (https://devblogs.nvidia.com/parallelforall/exploring-spacenet-dataset-using-digits/)

물체인식 적용사례 : 차량 검출 (LLNL)






결론


Recurrent Neural Networks


Neural Networks

▫ Inputs and outputs are independent

Recurrent Neural Networks

Sequential inputs and outputs

...

𝑥 𝑥 𝑥

𝑜

𝑠𝑠

𝑠𝑠

𝑜 𝑜

...

𝑥𝑡 −1𝑥𝑡 𝑥𝑡+1

𝑜𝑡− 1

𝑠𝑠

𝑠𝑠

𝑜𝑡𝑜𝑡+1

Design Patterns for RNN


Blog post by A. Karpathy. “The Unreasonable Effectiveness of Recurrent Neural Networks” (2015)

Trend Monitoring: World Oil Storage Index


Orbital Insight (https://orbitalinsight.com/solutions/world-oil-storage-index/)

Trend Monitoring: World Oil Storage Index U.S. Energy Information Administration (EIA: 미국 에너지 관리

청 )


Orbital Insight (https://orbitalinsight.com/solutions/world-oil-storage-index/)





결론



Artificial “Narrow” Intelligence▫ 한 분야를 잘하는 인공지능 ▫ Is TRAINED or just PROGRAMMED

Artificial “General” Intelligence▫ 사람처럼 하나를 배우면 열을 아는 인공지능▫ Is EDUCATED

Artificial “Super” Intelligence▫ 어떤 사람보다 모든 분야에 뛰어난 인공지능▫ 과연 존재할까 ??


인공지능 (Artificial Intelligence)


범용 인공지능 (Artificial “General” Intelli-gence) Deep Reinforcement Learning (DeepMind)

▫ DQN paper• www.nature.com/articles/nature14236

▫ DQN source code• https://sites.google.com/a/deepmind.com/dqn/


http://www.nature.com/articles/nature14236

https://sites.google.com/a/deepmind.com/dqn/

범용 인공지능 (Artificial “General” Intelli-gence) Deep Reinforcement Learning (AI = RL + DL)

▫ 스스로 문제를 정의하고 Reinforcement Learning = Objective

▫ 스스로 그 문제를 풀어내는 능력Deep Learning = Mechanism


RL + DL = General Intelligence

범용 인공지능 (Artificial “General” Intelli-gence) 7 C’s of Learning

▫ Choose: we are self-service learners. We follow what interests us, what is meaningful to us, what we know is important.

▫ Commit: we take ownership for the outcomes. We work until we’ve gotten out of it what we need.

▫ Crash: our commitment means we make mistakes, and we learn from them.

▫ Create: we design, we build, we are active in our learning.

▫ Copy: we mimic others, looking to their performances for guidance.

▫ Converse: we talk with others. We ask questions, offer opinions, debate posi-tions.

▫ Collaborate: we work together. We build together, evaluate what we’re doing, and take turns adding value.


범용 인공지능 (Artificial “General” Intelli-gence) Meta-learning


범용 인공지능 (Artificial “General” Intelli-gence) Meta-learning Learning-to-learn Responsibility for own learning Development of personal skills Change management Flexibility


범용 인공지능 (Artificial “General” Intelli-gence) 더 읽어볼 만한 것들

▫ A page on AGI in Wikipedia▫ An article on Scholarpedia▫ A survey paper

Artificial General Intelligence: Concept, State of the Art and Future Prospects, by Ben Goertzel

▫ A gentle introduction to AGI, by Pei Wang▫ The introduction chapter of Artificial General Intelligence, by Cassio Pen-

nachin and Ben Goertzel▫ The introduction chapter of Advances in Artificial General Intelligence, by Pei

Wang and Ben Goertzel▫ Mapping the Landscape of Human-Level Artificial General Intelligence, report

from an “AGI roadmap” workshop▫ Comparative table of cognitive architectures: a collective effort sponsored by

the BICA SOCIETY


http://en.wikipedia.org/wiki/Artificial_General_Intelligence

http://www.scholarpedia.org/article/Artificial_General_Intelligence

http://www.degruyter.com/view/j/jagi.ahead-of-print/jagi-2014-0001/jagi-2014-0001.xml

https://sites.google.com/site/narswang/home/agi-introduction

http://www.springer.com/cda/content/document/cda_downloaddocument/9783540237334-c1.pdf?SGWID=0-0-45-330089-p43950079

http://www.springer.com/sgw/cda/frontpage/0,11855,4-147-22-43950079-0,00.html

http://sites.google.com/site/narswang/publications/wang-goertzel.AGI_Aspects.pdf

http://www.iospress.nl/loadtop/load.php?isbn=9781586037581

http://www.aaai.org/ojs/index.php/aimagazine/article/view/2322

http://bicasociety.org/cogarch/

http://bicasociety.org/

슈퍼 인공지능 (Artificial “Super” Intelli-gence) Nick Bostrom – “SuperIntelligence”

▫ 과학 기술 창조 , 일반적인 지식 , 사회적 능력 등을포함한 전 영역에서 모두 , 제일 총명한 인류의두뇌보다 훨씬 총명한 지능

▫ 과연 현실로 다가올까요 ?

더 읽어볼만한 것들▫ The AI Revolution: The Road to Superintelligence

▫ The AI Revolution: Our Immortality or Extinction


http://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html



직업의 미래 : 4 차 산업혁명과 일자리

20 년후 내 직업은 ?


http://channel.mk.co.kr/event/2016/job/

사라지는 일자리


직종 순위 컴퓨터 대체 확률 (%)

전화상담원 582 99

권리분석사 581 99

보험 손해사정인 580 99

시계 수리공 579 99

화물 , 창고업무 종사자 578 99

세무대리인 577 99

회계관리인 576 99

보험청구인 575 98

중개인 574 98

물건 수주 종사자 573 98

대출 관련 종사자 572 98

보험조정인 571 98

스포츠경기 심판 570 98

은행 창구 직원 569 98


동판화가 , 판화가 568 98

포장기계 조작공 567 98

조달업무 종사자 566 98

신용분석사 565 98

파트타임 영업사원 564 98

손해사정인 , 평가사 , 조사관 563 98

운전사 / 영업직 사원 562 98

무선통신사 561 98

법률비서 560 98

회계업무 종사자 559 98

모델 558 98

레스토랑 , 커피숍 직원 557 97

신용등급 부여자 및 서무 556 97

농산물 및 식품과학 기술자 555 97

사라지지 않는 일자리

The Future of Employment: How susceptible are jobs to auto-mation. (Michael Osborne and Carl Frey, Oxford Martin School, 2015)

인간이 작업 환경에서 기계에 비해 가질 수 있는 9 가지 장점 ▫ 사회지각력 (social perceptiveness)▫ 협상력 (negotiation)▫ 설득력 (persuasion)▫ 관계성 (assisting and caring for others)▫ 독창성 (originality)▫ 예술성 (fine arts)▫ 손가락 기교 ( 혹은 손 끝 기술 ) (finger dexterity)▫ 손재주 (manual dexterity)▫ 작업환경의 열악성 (the need to work in a cramped work space)


사라지지 않는 일자리



임상심리사 및 기타 치료사 1 0.28

공업기계 설치 및 정비원 2 0.3

비상경영 관리자 3 0.3

정신건강 상담 치료사 4 0.31

음향치료사 5 0.33

작업치료사 6 0.35

발교정기 및 보철 인공기관 치료사 7 0.35

사회복지사 8 0.35

치아 및 양악관절 전문의사 9 0.36

소방 및 방재업무 관리자 10 0.36

다이어트 및 영양 관리사 11 0.39

임업 및 벌목업자 12 0.39

안무가 13 0.4

외과의사 14 0.42


심리치료사 15 0.43

경찰 및 치안담당 관리자 16 0.44

일반 치과의 17 0.44

초등학교 교사 ( 특수학교 제외 ) 18 0.44

의료과학자 ( 임상학자 제외 ) 19 0.45

초중등학교 교직원 20 0.46

수족 전문의 21 0.46

교내 심리 상담사 22 0.47

심리상담사 23 0.48

의복 및 직물 패턴 디자이너 24 0.49

전시 기획자 25 0.55

인사관리 담당자 26 0.55

스포츠 및 레크리에이션 강사 27 0.61

훈련 및 강화 훈련교관 28 0.63

생겨나는 일자리 : 인터넷


1990s Internet

생겨나는 일자리 : 스마트폰


(2007) Appstore & Android mar-ket

(2007) iPhone vs Android

생겨나는 일자리 : 인공지능





인공지능 관련 역량 개발

결론


다양한 현실 문제들

인공지능의 문제 = 사람의 문제

게으른 사고방식 ?

어떻게 사람을 편하게 할 것인가 ?

경력 vs 경험

다양한 challenges & competitions

윤리적 문제들


현실의 문제들 : Kaggle


현실의 문제들


앞으로의 문제들 (OpenAI) 인공지능의 지능을 어떻게 평가할 것인가 ?

▫ 사람 (IQ: intelligence quotient)▫ 인공지능 (?)

가정부 로봇은 과연 만들 수 있을까 ?▫ 범용적 목적 , 다양한 일을 수행 가능한 로봇


앞으로의 문제들 (OpenAI) 자연어를 이해하는 인공지능

▫ 현재 : 기본적인 대화 , 질의응답 , 기계번역▫ 미래 : 복잡한 대화 , 문서이해 , 복잡한 자연어 명령 이해


Watson (IBM) Siri (Apple)

앞으로의 문제들 (OpenAI) 하나의 Agent 가 다양한 게임을 수행


앞으로의 문제들 (OpenAI) Deep Q-Networks (DeepMind)


Human (grey) / DQN (blue)

문제 해결 기법

Structure and Interpretation of Computer Programs


컴퓨터과학 , 수학 , 통계 , 프로그래밍

뭘 공부해야 할까요 ?

무작정 수학을 공부하기보다 “부족한 바탕지식이 무엇인지 ?” 먼저 깨닫자 .

이후에 차곡 차곡 한 조각씩 메꾸어 가면 , 적어도 방향을 잃어버리는 일은 없다 .

이산 수학 : 전산학

▫ 기본 개념을 정석으로 다루고 있고

▫ 문제가 풍부하며

▫ 전산에서 어떻게 , 왜 쓰이고 있는지 , 그 연계성을 명확히 밝혀놓은 것


컴퓨터과학 , 수학 , 통계 , 프로그래밍

확률 , 통계 : 시뮬레이션

미적분 , 선형대수 : 2D/3D 그래픽스


대수학 : 함수형 프로그래밍

극한 , 수열 : 알고리즘 해석 , 분석


코딩 능력

오픈 소스 (Open Source)


오픈 코스 (Open Course) MIT OCW Coursera Udacity edX OpenLearning FutureLearn


커뮤니케이션

SNS 는 과연 인생의 낭비인가 ?


윤리적 인공지능 디자인 지침서

IEEE Ethically Aligned Design (EAD)


http://standards.ieee.org/develop/indconn/ec/ead_v1.pdf


AI / AS 가 인권을 침해하지 않도록 어떻게 보장 할 수 있습니까 ?▫ How can we ensure that AI/AS do not infringe human rights?

도덕 과부하 - AIS 는 일반적으로 서로 충돌 할 수있는 여러 가지 표준 및 값의 영향을 받습니다 .▫ Moral overload – AIS are usually subject to a multiplicity of norms and values

that may conflict with each other.


https://www.technologyreview.com/s/542626/why-self-driving-cars-must-be-programmed-to-kill/


연구원과 개발자는 점점 더 자율적이며 능력이 있는 인공 지능 시스템의 개발과 배치에서 보다 복잡한 윤리적 및 기술적 안전 문제에 직면 할 것입니다 .▫ Researchers and developers will confront a progressively more complex set

of ethical and technical safety issues in the development and deployment of increasingly autonomous and capable AI systems.

어떻게 개인을 존중하도록 개인 정보에 관한 동의를 재정의 할 수 있습니까 ?▫ How can we redefine consent regarding personal data so it honors the indi-

vidual?



전쟁터에서 인간의 감독을 배제하는 것은 부주의 한 인권 침해와 부주의 한 긴장감의 상승으로 이어질 수 있습니다 .▫ Exclusion of human oversight from the battlespace can too easily lead to in-

advertent violation of human rights and inadvertent escalation of tensions.


http://futureoflife.org/open-letter-autonomous-weapons#signatories




인공지능 관련 역량 개발

결론


결론

인공지능 기술은 우주항공분야의 다양한 곳에 사용될 수 있다 . 그 시장은 곧 열릴것이며 , 앞으로 발전 가능성은 무궁무진하다 .

딥러닝의 발달로 기존의 어려웠던 문제들이 하나씩 해결 되고 있다 .

AGI 그리고 ASI 가 21 세기 안에 나타날 것이다 .

더욱 인간다운 고민을 하시기 바랍니다 .


인공지능: 변화와 능력개발

Technology

Transcript of 인공지능: 변화와 능력개발