Мэдрэлийн гүн сүлжээ ашиглан хүний царай таних аргачлалын судалгаа
(Face Recognition with Deep Neural Network)
М.ЭрхэмбаатарА.Хүдэр*
Б.Луубаатар**
Магистрант, Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс*Удирдагч: Доктор, дэд проф., Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс
**Зөвлөх: Докторант ахлах багш, Электроникийн салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс
2016-11-30
Удиртгал Дүрс болон царай илрүүлэх, таних хэрэгцээ өссөн
Хүний чадавхи 99.5%, DeepFace 99.7%, EigenFace 64.8%
Маш их хэмжээний өгөгдөл: ImageNet
Параллель тооцоолол: GPU, CUDA, cuDNN, Caffe, Torch
Тасалгааны камераар дүрс, царай таних хэрэгцээ
Хүндрэл, тооцооллын зардал
Зургийг Стэнфордын их сургуулийн “CS131: Computer Vision: Foundations and Applications” хичээлийн материалиас авав
зургийг Brandon Amos
Хэрэгцээ: Компьютер хараа
Хиймэл оюун ухаан, Робот
Ухаалаг гэр, оффис, хот
Эрүүл мэнд, оношилгоо CT, MRI (Хорт хавдар илрүүлэх)
Дрон, жолоочгүй автомашин
Камерийн хяналт, газарзүй орчны зураглал
Бизнес, медиа, энтертайнмент, ...
Зургуудыг Nvidia.com, Omate.com сайтаас тус тус авав
Зорилго
Онол алгоритмд суралцаж, эзэмших Computer Vision, Image Classification, Machine & Deep Learning, CNN, RNN, Softmax, SVM, ..
Өгөгдлийн бааз бүрдүүлэх
Өгөгдөл олборлолт, Сургалтын өгөгдөл, Их өгөгдөл (ImageNet 14 сая зурагтай) ...
Техник ур чадвар эзэмших
Суперкомпьютер: GPU, Параллель тооцоолол, ..
Багаж хэрэгсэл: Numpy, Scikit-learn, Linux, OpenCV, Dlib, CUDA, cuDNN, Caffe, Torch, TensorFlow, ..
Туршилт, судалгааны аргачлалын ур чадвар эзэмших
Дүрс илрүүлэх, царай таних, ангилагч, мэдрэлийн сүлжээ үүсгэх
Вишн Лаборатори, МХТС NVIDIA GPU Educators Program, “AI & Autonomous Robotic” хичээл, лаб. ажил
AI Robot of smart home
Судлагдсан байдал
Pre-trained VGG models by Oxford University, Монголын жишээ*
Царай илрүүлэх, таних
(зургийг “Face Detection and Recognition: Theory and Practice” номноос авч ашиглав)
Царай илрүүлэх: HOG хэв шинж
Histogram of Oriented Gradients
1. Цэгийн градиент чиглэл 2. HOG дүрслэл
3. HOG царайн хэв шинж
зургийг “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning” нийтлэлээс авч ашиглав
Мэдрэлийн гүн сүлжээ
Convolutional, Non-linear, Pooling (Down sampling), Fully Connected layers, Output
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
CNN: Шүүлтүүрдэх (Convolving)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
CNN: Мэдрэл (neuron)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
CNN: Шүүлтүүр (feature)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
зургийг Andrew Ng
CNN: Backpropagation
Forward pass, Lost function, Backward pass, Weight update
MSE (Mean Squared Error), Softmax, SVM, Gradient descent, Epoch
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
Царай танилт: Сургалтын өгөгдөл
4 хүний нийт 226ш сургалтын өгөгдөл, туршилтын 50ш зураг
Dlib, OpenCV, Python
Царай танилт: Хэрэгжүүлэлт, туршилт
Python, OpenCV, Dlib, Torch, OpenFace, CUDA, cuDNN, LinuxMint
HOG face detection, pre-trained CNN model with Linear SVM classifier
Үр дүн
Туршилтын дундаж 92.54%, DeepFace 99.97%, Хүний чадавхи 99.5%
Өгөгдөл Туршилтын үр дүн (True positive) Дундаж Алдаа
Хүүхэд, 2 нас 50ш 0.83 0.87 0.91 0.98 0.86 0.97 0.97 0.99 0.97 0.92 0.927 0
Хүүхэд, 8 нас 68ш 0.99 0.99 0.68 0.97 0.99 0.94 1.00 1.00 0.99 0.48 0.903 2
Том хүн, эр 26ш 0.92 0.95 0.90 0.78 0.90 0.93 0.87 0.97 0.96 0.93 0.911 1
Том хүн, эм 82ш 0.83 0.98 0.99 0.91 0.93 0.98 0.99 0.98 1.00 0.99 0.958 0
Нийт 226ш 0.925 3
Өгөгдөл Туршилтын үр дүн (True negative) Дундаж Алдаа
Өөр хүн 10ш 0.49 0.59 0.42 0.21 0.28 0.53 0.03 0.06 0.64 0.54 0.379 6
Дүгнэлт
Интринсик Экстринсик
Ажиглагчаас хамааралгүй Ажиглагчаас хамааралтай
Физик хүчин зүйлс Гэрэлтүүлэг,
Үсний хэлбэр, насжилт Байршил
Нүүрний хувирал, нүдний шил Фокус
Арьсны өнгө, хүйс, угсаатанзүйн Шуугиан (noise)
Сургалтын өгөгдөл цөөдсөн, бусад хүмүүсийн зураг оруулах 92.5%
Их хэмжээний өгөгдөл (хүн тус бүрийн 500-1000) дээр GPU ашиглаж туршилт хийх
Тасалгааны камер, гэрийн туслах-роботын хиймэл оюунд ашиглах боломжтой
Ашигласан материал
[1] “Baidu’s Artificial-Intelligence Supercomputer Beats Google at Image Recognition”, MIT Technology Review, 2015
[2] “DeepFace: Closing the Gap to Human-Level Performance in Face Verification”. Facebook AI Research Publication, 2014
[3] “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning”, 2016
[4] Navneet Dalal, Bill Triggs. "Histograms of Oriented Gradients for Human Detection”, 2005
[5] Vahid Kazemi, Josephine Sullivan. “One Millisecond Face Alignment with an Ensemble of Regression Trees”, 2014
[6] Florian Schroff, Dmitry Kalenichenko, James Philbin. “FaceNet: A Unified Embedding for Face Recognition and Clustering”, 2015
[7] Brandon Amos. OpenFace. https://cmusatyalab.github.io/openface/
[8] D. A. Forsyth and J. Ponce. "Computer Vision: A Modern Approach (2nd edition)". Prence Hall, 2011
[9] opencv.org, dlib.com, http://torch.ch
[10] CUDA, cuDNN. http://nvidia.com
[11] “CS231n Convolutional Neural Networks for Visual Recognition”, Stanford University
[12] Stan Z. Li Anil K. Jain. “Handbook of Face Recognition”. Springer, 2004
[13] Asit Kumar Datta, Madhura Datta, Pradipta Kumar Banerjee. “Face Detection and Recognition: Theory and Practice”. Taylor & Francis, 2015
[14] Mohamed Daoudi, Anuj Srivastava, Remco Veltkamp. “3D Face Modeling, Analysis and Recognition”. Wiley, 2013
Анхаарал хандуулсанд баярлалаа!
Асуулт?
“Engineers turn dreams into reality”
Hayao Miyazaki
Top Related