Algorytm do automatycznej klasyfikacji wyrazu twarzy

Promotor: dr hab. inż. Khalid Saeed, prof. AGH

Łukasz Wojciech Pełszyński

Cel pracy

Celem pracy było zbadanie problemów napotykanych przy projektowaniu i implementacji systemu, który może dokony-wać automatycznej klasyfikacji wyrazów twarzy.

Emocje

➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości.

Emocje c.d.

➲ Procesy psychiczne, nadające wrażeniom subiektywne właściwości.

➲ 38% treści komunikatu stanowi ton głosu, 55% mimika twarzy, gesty oraz postawa a jedynie 7% słowa.

Automatyczna analizawyrazów twarzy

➲ Zastosowania:● Nowoczesne interfejsy

użytkownika● Robotyka● Badania behawioralne:

● Psychologia● Marketing

Założenia

➲ Analiza twarzy widzianej z przodu.

➲ Twarz osoby o dowolnym pochodzeniu etnicznym.

➲ Dopuszczalne lekkie obroty i przesunięcia głowy.

Działanie aplikacji

Wykrycietwarzy

Znalezieniepołożeniacech twarzy

Klasyfikacja

Wykrycie twarzy

➲ Konwersja do skali szarości.

➲ Znalezienie twarzy w obrazie:● Viola-Jones Face Detector

➲ Wycięcie twarzy i przeskalowanie do rozmiaru 240x240 pikseli.

Znalezienie cech twarzy

➲ Algorytm bazujący na rezprezentacjach obrazu w przestrzeni Gabora.

➲ Reprezentacja piksela 49 wymiarowa:● 48 reprezentacji Gabora,● 1 w skali szarości.

Filtr Gabora

90 stopni 45 stopni 0 stopni

Znalezienie cech twarzy c.d.

➲ Skanowanie obrazu klasyfikatorem 17x17 pikseli w obszarach zain-teresowania.

➲ Szukana cecha znajduje się w miejscu o najwięk-szej wartości odpowiedzi klasyfikatora.

Znalezienie cech twarzy c.d.

Budowanie klasyfikatora

➲ Utworzenie mocnego klasyfikatora z prostych funkcji decyzyjnych.

➲ Algorytm GentleBoost:● mniejsza czułość na ob-

serwacje odstające i szum niż AdaBoost,

● większa niż w AdaBoost zdolność uogólniania.

Uczenie klasyfikatorów

Klasyfikacja

➲ Algorytm k-NN.➲ Przestrzeń wzorców zbu-

dowana na podstawie bazy JAFFE.

➲ Klasyfikacja do jednej z 6 podstawowych emocji:● Strach● Smutek● Zaskoczenie● Radość● Gniew● Obrzydzenie

k-NN

happiness

Użyte technologie

➲ Języki programowania:● C++● Ruby

➲ Biblioteki:● OpenCV● RMagick

Wyniki

Etykieta Gniew Radość Zaskoczenie

Wynik klasyfikacji

Smutek Radość Smutek

Wyniki

Etykieta Smutek Strach Obrzydzenie

Wynik klasyfikacji

Smutek Smutek Smutek

Dziękuję za uwagę

Literatura

1. J. M. Rehg, M. Loughlin, K. Waters „Vision for a Smart Kiosk”, Czerwiec 1997, Computer Vision and Pattern Recognition, 690-696.2. M. Pantic, L. J. M. Rothkrantz „Automatic Analysis of Facial Expressions: The State of the Art”, Grudzień 2000, IEEE Transactions on pattern analysis and machine intelligence, vol. 22, no. 12, 1424-1443.3. „Emotions” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://changingminds.org/explanations/emotions/emotions.htm4. P. Viola, M. Jones „Rapid Object Detection using a Boosted Cascade of Simple Features ”, 2001, Conference on computer vision and pattern recognition.5. K. Saeed, P. Charkiewicz „Experimental Criterion for Face Classification” [w:] Enhancement Methods in Computer Security – Biometric and Artificial Intelligence Systems, Springer Science + Business Media, New York, USA, 2004, 195-2026. K. Saeed „Minimal-Eigenvalue-Based Face Feature Descriptor” [w:] Issues in Intelligent Systems Models and Techniques. Institute of System Research, Polish Academy of Sciences, Akademicka Oficyna Wydawnicza EXIT, Warsaw, Poland, 2005, 185-1967. „Tutorial on Gabor filters” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://mplab.ucsd.edu/tutorials/gabor.pdf8. D. Vukadanovic, M. Pantic, „Fully Automatic Facial Feature Point Detection Using Gabor Feature Based Boosted Classifiers”, Październik 2005, IEEE International Conference on Systems, Man and Cybernetics9. D. Hand, H. Mannila, P. Smyth “Eksploracja danych”, WNT, Warszawa 200510. „JAFFE Database” [Online; dostęp 17-01-2010], Dostępny w Internecie: http://kasrl.org/jaffe.html