Нейронные сети: практическое применение / Наталия...
-
Upload
ontico -
Category
Engineering
-
view
1.666 -
download
15
Transcript of Нейронные сети: практическое применение / Наталия...
ВИДЫНЕЙРОННЫХСЕТЕЙИИХПРИМЕНЕНИЕЕфремоваНаталия
N-TechLab
Введение
ОсновныеобластипримененияDeepLearning архитектур:
• обработкаизображенийивидео,• распознаваниеобразов,• распознаваниелиц,• распознаваниеэмоций,• робототехника,• игры,• распознаваниеобразоввмедицинскихприложенияхит.п.
Структурадоклада
• Чтотакоенейронныесети:• биологические• искусственные
• Какиеархитектурывкакихобластяхприменяются:• нейронныесети свёртки(CNN)• рекуррентныенейронныесети(RNN)• обучениесподкреплением
• Нестандартноеприменениенейронныхсетей
Нейронные сети:что это такое
БиологическиеНС
«что?»UngerleiderandMishkin (1982)GoodaleandMilner(1992)
«где?»
БиологическиеНС
PrimaryVisualCortex
InferotemporalCortex
PosteriorParietalCortex
LGN
Retina
SC
Pulv
LGN-lateralgeniculatenucleusPulv- pulvinarSC- superiorcolliculusGoodaleandHumphrey (1998)
HubelandWiesel(1968)
стимул
отклик клетки приизменении ориентациистимула
активация
V1
Свойстварецептивныхполей
Kobatake,Tanaka(1995)
Обработкаизображений:биологическиеНС
IT V2-V4 V1
простыепризнакиточки
ориентация,цвет
цвет,основные2Dи3Dформы,кривизна
сложныепризнакииобъекты
Свойствазрительныхзон
сложныефигурыиобъекты
f
T
E
Перcептрон…простейшийаналогбиологическойНС
входнойслой
слойскрытыхнейронов
выходнойслой
входнойслойслоискрытыхнейронов
выходнойслой
Fischler and Elschlager, 1973
FACE
X W Y
X”*”W=Y
2”*”W=6
Error=2”*”W- 6
Error
Time
1 2 3 4 5 6 7
Error=|2*w– 6| =0,001
W=2.9999?
Перерисовать!7скрытыхслоев,650000нейронов,60000000параметровОбучаласьна2GPUнеделю
Распознавание образов до 2010 года:самые большие базы изображений
PASCALVOC(20категорий)
CALTECH101(101 категория)
От20классовкмиллионам
14,197,122изображений22Ккатегорий
www.image-net.org
От20классовкмиллионам
14,197,122изображений22Ккатегорий
www.image-net.org
От20классовкмиллионам
2016competitionwinner:
269layerR-CNNnetwork
GatedBi-directionalCNNforObjectDetectionX.Zeng etal.,TheChineseUniversityofHongKong,Sensetime Group
Архитектура
Input Simplefeatures
Moreabstractfeatures
Mappingfrom
featuresOutput
(Goodfellow, 2016)
input to layer
a
a. convolution stage: affine transformb. detector stage: non-linearity (rectified linear)c. pooling
b c
next layerconvolutional layer
convolution pooling convolution pooling
полносвязные слои
прогноз
Распознавание
входноеизображение
convolution pooling convolution pooling
полносвязные слои
прогноз
Распознавание
входноеизображение
feedforward
M.Zieler,CVSS2015
convolution pooling convolution pooling
полносвязные слои
прогноз
Распознавание
входноеизображение
H.Lee etal.,2011
Человеквсеравнораспознаетлучше?
Cadieu etal.,2014
ITcortex
V4
Zeiler&Fergus2013
Krizhevsky etal.2012
HMO
Acuracy
chance
Cadieu etal.,2014
Классическиезадачи
Стандартныезадачи,решаемыеCNN
• идентификацияобъектов(objectdetection)• семантическаясегментация(semanticsegmentation)• распознаваниелиц(facerecognition)• распознаваниечастейтелачеловека(humanbodypartsrecognition)• семантическоеопределениеграниц(semanticboundarydetection)• выделениеобъектоввнимания(saliencyestimation)• выделениенормалейкповерхности(surfacenormalestimation)
(Kokkinos, 2016)
КлассическиезадачидляCNN
q low-q mid-q high-levelvisiontasks
(Kokkinos, 2016)
КлассическиезадачидляCNN
Поискпобазеданных
БД
Имя/Профиль
Сценарии
идентификация
? ?
верификация
NTechLab
q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям
Точность
NTechLab
q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям
Точность
NTechLab
q 0,5секнаобработку1млрдфотоq уникальныйиндексбыстрогопоискаq дескрипториспользует20Гбпамятидляхранения500млнфотоq работасизображенияминизкогокачества
q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям
Производительность
Точность
NTechLab
q 0,5секнаобработку1млрдфотоq уникальныйиндексбыстрогопоискаq дескрипториспользует20Гбпамятидляхранения500млнфотоq работасизображенияминизкогокачества
q 95%- точностьидентификацииприпоискепо10K фотоq 99%- точность верификацииq устойчивостькизменениям
q загрузка фоточерезweb-интерфейс,AndroidилиiOSq 250млнфото100млнпользователейq первоеместонаMefaFace
Производительность
Точность
MegaFaceFindFace.ru
Рекуррентныесети
q RNN: распознаваниеестественногоязыкаq Обработкавидеоq Новыйподход:распознаваниеизображений
Рекуррентныесети
Рекуррентныесетидляраспознаванияэмоцийнавидео
Kahouetal.,2015
input
Hiddenlayer
Output
Обучениесподкреплением
q Робототехникаq Atariq AlphaGo
AndrejKarpathyblog (2016)
V.Mnih 2015
J.Leitner (2014)
Levineet.al(2016)
Нестандартныерешения
Прогнозированиеуровнябедности
M.Xieetal.,2016
Семантическаясегментация3D-изображений
(Kamnitsas etal.2016)
Семантическаясегментация3D-изображений
Спасибоза внимание!
www.ntechlab.ruwww.findface.prowww.findface.run.efremova@ntechlab.com
Ссылки:
www.theguardian.comwww.nvidia.com www.image-net.orgBlaise Agüera y Arcas:How computers are learning to be creative (TED talk)
Вопросы?