ВИДЫНЕЙРОННЫХСЕТЕЙИИХПРИМЕНЕНИЕЕфремоваНаталия

N-TechLab

Введение

ОсновныеобластипримененияDeepLearning архитектур:

• обработкаизображенийивидео,• распознаваниеобразов,• распознаваниелиц,• распознаваниеэмоций,• робототехника,• игры,• распознаваниеобразоввмедицинскихприложенияхит.п.

Структурадоклада

• Чтотакоенейронныесети:• биологические• искусственные

• Какиеархитектурывкакихобластяхприменяются:• нейронныесети свёртки(CNN)• рекуррентныенейронныесети(RNN)• обучениесподкреплением

• Нестандартноеприменениенейронныхсетей

Нейронные сети:что это такое

БиологическиеНС

«что?»UngerleiderandMishkin (1982)GoodaleandMilner(1992)

«где?»

БиологическиеНС

PrimaryVisualCortex

InferotemporalCortex

PosteriorParietalCortex

LGN

Retina

SC

Pulv

LGN-lateralgeniculatenucleusPulv- pulvinarSC- superiorcolliculusGoodaleandHumphrey (1998)

HubelandWiesel(1968)

стимул

отклик клетки приизменении ориентациистимула

активация

V1

Свойстварецептивныхполей

Kobatake,Tanaka(1995)

Обработкаизображений:биологическиеНС

IT V2-V4 V1

простыепризнакиточки

ориентация,цвет

цвет,основные2Dи3Dформы,кривизна

сложныепризнакииобъекты

Свойствазрительныхзон

сложныефигурыиобъекты

f

T

E

Перcептрон…простейшийаналогбиологическойНС

входнойслой

слойскрытыхнейронов

выходнойслой

входнойслойслоискрытыхнейронов

выходнойслой

Fischler and Elschlager, 1973

FACE

X W Y

X”*”W=Y

2”*”W=6

Error=2”*”W- 6

Error

Time

1 2 3 4 5 6 7

Error=|2*w– 6| =0,001

W=2.9999?

Перерисовать!7скрытыхслоев,650000нейронов,60000000параметровОбучаласьна2GPUнеделю

Распознавание образов до 2010 года:самые большие базы изображений

PASCALVOC(20категорий)

CALTECH101(101 категория)

От20классовкмиллионам

14,197,122изображений22Ккатегорий

www.image-net.org

От20классовкмиллионам

14,197,122изображений22Ккатегорий

www.image-net.org

От20классовкмиллионам

2016competitionwinner:

269layerR-CNNnetwork

GatedBi-directionalCNNforObjectDetectionX.Zeng etal.,TheChineseUniversityofHongKong,Sensetime Group

Архитектура

Input Simplefeatures

Moreabstractfeatures

Mappingfrom

featuresOutput

(Goodfellow, 2016)

input to layer

a

a. convolution stage: affine transformb. detector stage: non-linearity (rectified linear)c. pooling

b c

next layerconvolutional layer

convolution pooling convolution pooling

полносвязные слои

прогноз

Распознавание

входноеизображение

convolution pooling convolution pooling

полносвязные слои

прогноз

Распознавание

входноеизображение

feedforward

M.Zieler,CVSS2015

convolution pooling convolution pooling

полносвязные слои

прогноз

Распознавание

входноеизображение

H.Lee etal.,2011

Человеквсеравнораспознаетлучше?

Cadieu etal.,2014

ITcortex

V4

Zeiler&Fergus2013

Krizhevsky etal.2012

HMO

Acuracy

chance

Cadieu etal.,2014

Классическиезадачи

Стандартныезадачи,решаемыеCNN

• идентификацияобъектов(objectdetection)• семантическаясегментация(semanticsegmentation)• распознаваниелиц(facerecognition)• распознаваниечастейтелачеловека(humanbodypartsrecognition)• семантическоеопределениеграниц(semanticboundarydetection)• выделениеобъектоввнимания(saliencyestimation)• выделениенормалейкповерхности(surfacenormalestimation)

(Kokkinos, 2016)

КлассическиезадачидляCNN

q low-q mid-q high-levelvisiontasks

(Kokkinos, 2016)

КлассическиезадачидляCNN

Поискпобазеданных

БД

Имя/Профиль

Сценарии

идентификация

? ?

верификация

NTechLab

q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям

Точность

NTechLab

q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям

Точность

NTechLab

q 0,5секнаобработку1млрдфотоq уникальныйиндексбыстрогопоискаq дескрипториспользует20Гбпамятидляхранения500млнфотоq работасизображенияминизкогокачества

q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям

Производительность

Точность

NTechLab

q 0,5секнаобработку1млрдфотоq уникальныйиндексбыстрогопоискаq дескрипториспользует20Гбпамятидляхранения500млнфотоq работасизображенияминизкогокачества

q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям

q загрузка фоточерезweb-интерфейс,AndroidилиiOSq 250млнфото100млнпользователейq первоеместонаMefaFace

Производительность

Точность

MegaFaceFindFace.ru

Рекуррентныесети

q RNN: распознаваниеестественногоязыкаq Обработкавидеоq Новыйподход:распознаваниеизображений

Рекуррентныесети

Рекуррентныесетидляраспознаванияэмоцийнавидео

Kahouetal.,2015

input

Hiddenlayer

Output

Обучениесподкреплением

q Робототехникаq Atariq AlphaGo

AndrejKarpathyblog (2016)

V.Mnih 2015

J.Leitner (2014)

Levineet.al(2016)

Нестандартныерешения

Прогнозированиеуровнябедности

M.Xieetal.,2016

Семантическаясегментация3D-изображений

(Kamnitsas etal.2016)

Семантическаясегментация3D-изображений

Спасибоза внимание!

www.ntechlab.ruwww.findface.prowww.findface.run.efremova@ntechlab.com

Ссылки:

www.theguardian.comwww.nvidia.com www.image-net.orgBlaise Agüera y Arcas:How computers are learning to be creative (TED talk)

Вопросы?