Ammar Mahdhaoui

CoordonnéesPyramide, Laboratoire ISIRCNRS UMR 7222Université Pierre et Marie Curie4 Place Jussieu75005 Paris

Email : Ammar.Mahdhaoui@isir.upmc.frTel : 06 70 20 12 92Laboratoire : 01 44 27 63 75

Né le 31 janvier 1983 à Medenine (Tunisie)

Formation

Décembre 2010 Doctorat Université Pierre et Marie Curie (Paris VI), Ins-titut des Systèmes Intelligents et de Robotique (ISIR CNRSUMR 7222).Thèse soutenue le 13 décembre 2010Sujet : Analyse de Signaux Sociaux pour la Modélisation del’Interaction Face à Face.mention : Très Honorable

Juillet 2007 Master II IC2A (Ingénierie de la Cognition, de la Créa-tion, et des Apprentissages Spécialité ICPS - Ingénierie dela Communication Personne-Systeme) – Université de Gre-noble.mention : Assez Bien

Juin 2006 Diplôme de maitrise en mathématique & informa-tique (MI) – Université de Monastir (Tunisie).mention : Bien

Expérience professionnelle

2010–2011 ATER Section 61 (UFR919) – Université Pierre & MarieCurie (Paris VI).

2007–2010 Moniteur en Informatique et Sciences Pour l’Ingé-nieur (DS 8) – Université Pierre & Marie Curie (Paris VI).

Janvi - Juil. 07 Stage de Master – LIG : Laboratoire d’informatique deGrenoble à GrenobleContribution à la traduction de la parole arabe-anglais.

2006–2007 Enseignant contractuel – Institut Cours Faugier-Hays CFH,Grenoble.

1

Mars - Juin. 06 Stage de maitrise – Laboratoire de Recherche. en Infor-matique Arabisée et Documentique Intégrée (RIADI), Unitéde Monastir à Monastir, TunisieRéalisation d’un catégoriseur grammatical de langue arabe :Approche Eric Brill.

CompétencesLangues : Francais (lu, parlé et écrit), Anglais (lu, parlé et écrit), ArabeLangages : Matlab, C/C++, C#Traitement de signalTraitement d’imageReconnaissance des formesTraitement non-linéaire de la paroleExtraction de caractéristiquesInteraction verbale

Résumé des enseignements (détails page 4)

Le tableau suivant regroupe les heures d’enseignement. 44 heures de TP etTD ont été dispensées en tant qu’ enseignant contractuel à l’Institut CoursFaugier-Hays (CFH) à Grenoble durant mon année de master II (2006–2007).J’ai e!ectué 187 heures de TP et TD durant mes trois années de monitorat àl’Université Pierre et Marie Curie (UPMC). Je suis actuellement ATER (tempsplein : 192 heures) à l’UFR 919 d’ingénierie UPMC. L’UFR 919 regroupe en seuleentité ses activités d’informatique et d’électronique, de mécanique, d’énergétiqueet de robotique.

Intitulé Année CM TD TP NiveauImage processing for human analysis 10–11 16 h Master II

Capteurs optiques et traitement des images 10–11 4 24 h Master IProgrammation orientée objet et C++ Avancé 10–11 32 h Master I

Traitement numérique du signal 10–11 8 h Master IFiltrage adaptatif 10–11 2 h 16 h Master II

Méthodes connexionnistes et apprentissage 10–11 32 h Master IIReconnaissance des formes 10–11 48 h Master II

Interaction et communication verbales 10–11 12 h Master IIDéveloppement d’un projet en langage C 09–10 12 h Licence 3

Initiation à Matlab 09–10 32 h Licence 2Reconnaissance des Formes & traitement d’image 09–10 28 h Licence 3

MATLAB pour le calcul numérique 08–09 9 h Licence 2Programmation en Langage C 07–09 70 h Licence 3

Traitement de signal 07–09 36 h Licence 3Structure de données 06–07 36 h BTS 2

Algorithmique avancée 06–07 8 h BTS 2Total 06–10 4 42 h 379 h

J’ai également encadré une stagiaire de deuxième année de Master.

2

Résumé des publications (détails page 13)

Revues internationales 2 articles publiés1 article en révision

Chapitres d’ouvrages scientifiques 2 article publiésConférences internationales avec actes 10 articles publiésCommunications sans actes 1 communication nationale

3

Activités d’enseignement

Durant mes années de thèse et de Master, j’ai eu l’occasion d’intervenir dansde nombreuses matières, dans di!érentes formations et sous di!érentes formes(Cours (CM), TD, TP, projets), en tant que ATER à l’Université Pierre et Ma-rie Curie (depuis Septembre 2010), en tant que moniteur à l’Université Pierre etMarie Curie (depuis octobre 2007 jusqu’à Août 2010) et en tant qu’enseignantcontractuel à l’Institut Cours Faugier-Hays (CFH). Le nombre total d’heuresd’enseignement est de 427 heures équivalent TD.

Image processing for human analysis – TP (16h) – UE NSR07Formation Master IIQualité ATERThèmes abordés Traitement d’images, filtrage, reconnaissance de formes.

Capteurs optiques et traitement des images – CM (4h) – TP (24) – UEMSC62Formation Master IQualité ATERThèmes abordés Initiation au traitement d’image pour les physiciens, traite-

ment bas niveau, capteurs

Programmation orientée objet et C++ Avancé – TP (32h) – UE MSI50Formation Master IQualité ATERThèmes abordés Programmation orienté objet

Traitement numérique du signal – TP (8h) – UE MSY01Formation Master IQualité ATERThèmes abordés Rappels sur les signaux numériques, Synthèse de filtres (RIF,

RII) par di!érentes méthodes (temporelles, fréquentielles, transformations).

Filtrage adaptatif – TD (2h) – TP (16h) – UE NSI01Formation Master IIQualité ATERThèmes abordés Rappels sur les signaux numériques, Filtrage adaptatif, Si-

gnaux aléatoires, Algorithme LMS, NLMS, MCR, Estimation

Méthodes connexionnistes et apprentissage – TP (32h) – UE NSI03Formation Master II

4

Qualité ATERThèmes abordés Réseaux de neurones, théorie de l’apprentissage, sur-apprentissage,

cross-validation, estimation de probabilités, fusion de classifieurs

Reconnaissance des formes – TP (48h) – UE NSI42Formation Master II (International)Qualité ATERThèmes abordés Reconnaissance de formes, apprentissage automatique, ex-

traction de caractéristiques, classification supervisée et non supervisée,fusion de données

Interaction et communication verbales – TP (12h) – UE NSI91Formation Master II (école polytechnique universitaire)Qualité ATERThèmes abordés Interaction homme-robot, commande de robot, manipula-

tion du langage URBI, communication verbale et non verbale

Développement d’un projet en langage C – TP (12h) – UE LE384Formation Licence 3 ElectroniqueQualité MoniteurThèmes abordés Programmation en langage C dans l’environnement UNIX -

allocation dynamique - manipulation des chaînes de caractères - les listeschainées.

Initiation à Matlab – TD (32h) – UE LE205Formation Licence 2 ElectroniqueQualité MoniteurThèmes abordés Opérations booléennes et logiques - Structures algorithmiques

- Macros - Ajustement et interpolation polynomiaux - Interpolation parspline - Equations di!érentielles...

Reconnaissance des Formes & traitement d’image – TP (28h) – LE349 :Simulation et de programmation avancéeFormation Licence 3 ElectroniqueQualité MoniteurThèmes abordés Traitement d’image - Segmentation couleur et Distance de

Mahalanobis - Filtrage

MATLAB pour le calcul numérique – TP (9h) – UE LE205Formation Licence 2 ElectroniqueQualité MoniteurThèmes abordés Initiation au logiciel MATLAB pour le calcul numérique

5

Programmation en Langage C – TP (70 h) – UE LE315 : Complément deprogrammation en langage C pour l’électroniqueFormation Licence 3 ElectroniqueQualité MoniteurThèmes abordés Chaînes de caractères - Structures - Listes chaînées - gestion

des fichiers

Traitement de signal – TP (36h) – UE LE317 : Signaux et systèmes continuset échantillonnésFormation Licence 3 ElectroniqueQualité MoniteurThèmes abordés Transformée de Fourier - Produit de convolution - Echan-

tillonnage - transformée de Laplace - .

Structure de données – TP (36h)Formation BTS 2Qualité Enseignant contractuelThèmes abordés Système de Gestion de Bases de données - les structures de

données (listes chaînées - piles - files - arbres).

Algorithmique avancée – TD (8 h)Formation BTS 2Qualité Enseignant contractuelThèmes abordés Complexité et algorithmique avancée - procédures et fonc-

tions.

Encadrement de stagiaires

Durant ma thèse, J’ai également eu l’occasion de co-encadrer une étudiante :– en 2008, Cong Zong, étudiante en deuxième année du Master SSIR, sur

son stage intitulé « Analyse et classification du mamanais dans les filmsfamiliaux »

6

Activités de recherche

Ma thèse porte sur l’analyse de signaux sociaux pour la modélisationde l’interaction face à face, elle se situe à la frontière de deux domaines :l’analyse de signaux sociaux et la détection de signaux émotionnels. Elle este!ectuée sous la direction de Jean-Luc Zarader et Mohamed Chetouani.Elle a été financée par une allocation ministérielle.

Contexte de la recherche L’interaction se caractérise par une réciprocité desactions. Une interaction dite sociale est une relation dynamique de communi-cation et d’échange d’information entre deux individus ou entre plusieurs in-dividus à l’intérieur d’un groupe. Cette relation réciproque n’est pas toujourscontrôlée, elle est parfois involontaire et peut se situer à un niveau qui échappeà la conscience du sujet. L’interaction sociale fait intervenir plusieurs canauxdont la communication, verbale et non verbale. La contribution au message desinformations verbales (parole) et non-verbales (geste, expression faciale, pos-ture) dépend énormément du contexte, des personnes et des cultures. De plus,l’ensemble de ces messages se complètent entre eux et permettent d’o!rir uneinformation plus riche.L’analyse des interactions sociales passe généralement par l’extraction d’infor-mations dans les di!érents flux audio et vidéo. Selon les domaines de recherche(informatique, traitement de signal ou psychologie par exemple), les méthodo-logies mises en oeuvre font plus ou moins appel à des approches automatiques.Au-delà de ces approches particulières, il s’agit de structurer et d’interpréter cesinteractions. Cette analyse est fondamentale notamment pour les applicationsliées à la santé où les comportements sont très souvent plus di"ciles à com-prendre. Par exemple dans le cas de l’autisme qui est un trouble envahissant dudéveloppement caractérisé par des variabilités importantes (spectre autistique),la compréhension de ces variabilités requiert la mise en oeuvre de méthodologiesd’analyse spécifiques.Dans le cadre de cette thèse, nous nous intéressons à la modalité audiovisuelledans l’objectif de structurer des interactions sociales particulières : interactionsparents-enfants avec une perspective développementale (longitudinale). Nos tra-vaux consistent dans un premier temps à développer des méthodes automatiquespour l’extraction de signaux sociaux. Dans un deuxième temps, nous avonscherché à les analyser en proposant un modèle contextuel de l’interaction. Nostravaux de thèse se situent ainsi dans le domaine du traitement du signal social.

Analyse des signaux sociauxL’analyse des signaux sociaux est un domaine de recherche émergent [Pent-

land, 2007] [Vinciarelli et al., 2009]. Il consiste à comprendre, interpréter, etparfois prédire les comportements humains. Dans le cadre d’une interaction faceà face, les signaux sociaux se définissent par leurs rôles : informatifs ou com-municatifs. Les signaux informatifs consistent à transmettre une informationau destinataire, tandis que les signaux communicatifs permettent d’organiser laconversation et de partager les tours de parole entre les di!érents interlocuteurs.Ils donnent des informations sur la qualité de l’interaction, les émotions sociales,les comportements sociaux, les relations sociales, etc [Pantic et al., 2009]. Les si-

7

Fig. 1 – Signaux sociaux [Vinciarelli, 2009]

gnaux sociaux sont transmis à travers des comportements non verbaux : gestes,posture, expressions faciales, etc (cf. figure 1).

L’interprétation de messages en exploitant uniquement les signaux non ver-baux est une tâche complexe du fait de la dynamique et de l’interdépendancedes signaux. Pour investiguer ces dépendances, [Argyle, 1967] a mené des ex-périences sur la perception de messages sociaux par des humains en exploitantuniquement des comportements non verbaux.

L’analyse des signaux sociaux consiste à étendre ce concept à l’interactionhomme-machine. Il s’agit de doter une machine de la capacité à percevoir desinformations non verbales. Plusieurs travaux ont été proposés dans la littéra-ture. Ces travaux consistent à analyser, comprendre et prédire les comporte-ments humains dans le cadre des interactions sociales. Récemment, [Aran etal., 2010] ont développé une méthode automatique qui permet d’identifier lapersonne dominante dans une conversation en se basant uniquement sur dessignaux non verbaux : tour de parole et gestes. Dans le cadre d’interactionhomme-robot (human-robot interaction HRI ), [AL Moubayed et al., 2009] ontdéveloppé une plateforme d’interaction en se basant uniquement sur des ex-pressions faciales et des intonations de la voix (sourire, mouvement de la tête,proéminence acoustique). Le système consiste à produire automatiquement des“backchannels multimodaux" (liés aux fonctions phatiques et régulatrices des si-gnaux de communication) sans avoir accès aux informations verbales (cf. figure2).

Objectifs de recherche L’automatisation de l’annotation de bases de donnéesd’interaction face-à-face est un processus fondamental pour l’étude de l’interac-tion sociale. Ils existent plusieurs travaux dans le domaine de la classification dessignaux émotionnels, en extraction des caractéristiques et en classification desvecteurs de caractéristiques. Par contre, ces méthodes ont beaucoup de limite :elles sont entièrement supervisées et nécessitent beaucoup de données labéli-sées pour l’apprentissage des systèmes. Sachant que dans le cas de la parolenon-actée l’annotation manuelle est très coûteuse et peut prendre beaucoup de

8

Fig. 2 – Interaction non verbale homme-robot

temps. De plus, le limites des méthodes classiques sont rapidement atteintes lorsde l’analyse des interactions face-à-face spontanées. Au contraire de la parolepréparée ou les variations prosodiques sont contrôlées et restreintes, ce qui per-met d’appréhender au mieux les rapports entre les dimensions et les structuresprosodique et syntaxique de l’énoncé. Les interactions spontanées dans les filmsfamiliaux présentent des qualités d’acquisition très diverses (situation, bruitsdomestiques, etc.), mais également un manque d’annotation des événements en-traînent la dégradation des performances des systèmes de l’état de l’art.Par conséquent, nous avons proposé d’utiliser une approche consistant à combi-ner des données étiquetées et non étiquetées pour l’apprentissage d’un systèmede classification de signaux émotionnels (cf. figure 3). C’est une extension del’algorithme standard de co-apprentissage automatique proposé par [Blum etMitchel, 1998]. Le principe de l’approche semi-supervisée est de caractériser lesignal émotionnel avec les di!érentes vues puis combiner les résultats de classi-fication des di!érents classifieurs pour obtenir une seule estimation pour chaqueexemple. L’algorithme proposé est une nouvelle forme de Co-apprentissage, quiest plus approprié pour des problèmes impliquant à la fois la classification et lafusion de données.Le principe de cet algorithme est d’apprendre de plusieurs sources. Il consiste àentrainer plusieurs classifieurs, chacun basé sur une vue du corpus de donnéespuis à les améliorer entre eux à l’aide des données non labélisées. Dans notrecas, nous utilisons plusieurs classifieurs et plusieurs caractéristiques adaptées,puis nous pénalisons (d’une manière dynamique) chaque classifieur en fonctionde son erreur de classification.La deuxième étape de mes travaux de thèse portent sur la modélisation de l’in-teraction sociale. Après avoir développé un système automatique de détectiondes signaux émotionnels (extraction des caractéristiques et di!érentes approchesde classification), la deuxième partie consiste à fusionner l’information audio etl’information visuelle pour développer un modèle d’interaction sociale (parent-

9

V1

V2

V9

L(données étiquetées)

U(données non étiquetées)

Apprentissage

Apprentissage

Apprentissage

Test

Test

(T)

.

.

.

.

GMM

MFCC

GMM

Pitch+energie(6 stats)

MLP

BARK‐MV(32 stats)Test

(1) Fusionner les sorties des classifieurs

(2) Estimer la valeur de confiance de chaque classifieur

(3) Prendre T1 exemples positives et T2 exemples négatives qui sont prédits avec des probabilités supérieures à la moyenne  de confiance de classification

Ajouter T=T1+T2 à L et  supprimer T de UMettre à jour les poids des classifieurs

Fig. 3 – Approche proposée : Apprentissage semi-supervisée

enfant). Dans cette partie nous avons proposé un modèle computationnel del’interaction sociale qui se base sur des informations multimodales, sachant quel’information visuelle a été annotée manuellement.Afin de di!érencier le développement de trois groupes d’enfants (autiste, ty-pique et retard mental), nous avons proposé une représentation statistique desdonnées d’interaction, puis une nouvelle méthode de clustering (classificationnon supervisée) basée sur la factorisation des matrices non-négatives.

10

Projets collaboratifs

eNTERFACE’08 (http ://enterface08.limsi.fr/) (4-29 Aout 2008)

- Ecole d’été LIMSI (Summer workshop on multimodal interfaces), LIMSI : La-boratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur, ParisOrsay.- Responsable de l’école : Christophe d’Alessandro (LIMSI)- Projet n̊ 7 : Multi-Modal Communication with Virtual Agents and Robots :Développement d’un système temps réel de communication homme-robot.- Responsables du projet : Catherine Pelachaud, Thierry Dutoit, Jean ClaudeMartin, Mohamed Chetouani- Membres du projet : Ammar Mahdhaoui, Samer Al-Moubayed, Malek Bak-louti, Mehmet Yilmaz, Jérome Urbain, Stylianou Yannis.

Projet Balaton-Reconnaissance automatique de l’intonation pour la carac-térisation de la prosodie chez une population infantile atteinte de troublesde la parole

- Collaboration : Laboratoire ISIR-UPMC, Laboratoire of Speech and AcousticLSA, Department of Telecomunication and Media-informatics, Budapest, Hon-grie.- Responsables : Klara Vicsi (LSA) & Mohamed Chetouani (ISIR) - L’objectifprincipal du projet Balaton est d’améliorer les méthodes d’apprentissage de laparole assisté par ordinateur par l’insertion de modèles prosodiques. Ces mo-dèles ont pour vocation de caractériser la prosodie verbale d’une populationinfantile atteinte de troubles de la parole. Nous nous sommes focalisés sur unaspect de la prosodie qui informe quant la modalité par laquelle une phrase peutêtre caractérisée via son profil intonatif, i.e., question / déclaration.

Projet Réponses des bébés à devenir autistique aux incitations prosodiquesdes parents

Etude de films familiaux, acquisition du langage, développement de l’interactionsociale.

Action européenne COST 2102 (2006-2010)

Cross-modal Analysis of Verbal and Nonverbal Communication : traitement dessignaux sociaux et l’interaction non verbale.

Autres Collaborations

– Membre de l’Association Francophone de la Communication Parlée (AFCP).(http ://www.afcp-parole.org/)

– Membre de l’Association ISCA (International Speech Communication As-

11

sociation). (http ://www.isca-speech.org/)– Membre du GDR-ISIS (http ://gdr-isis.org/)

12

Publications

REVUES INTERNATIONALES AVEC COMITE DE LECTURE

[1] Chetouani, M. and Mahdhaoui, A. and Ringeval, F. (2009). Time-ScaleFeature Extractions for Emotional Speech Characterization. Cognitive Com-putation Springer, publisher. Vol 1 No 2 Pages 194-201.

[2] Ammar Mahdhaoui, Mohamed Chetouani, Raquel S. Cassel, CatherineSaint-Georges, Erika Parlato, Marie Christine Laznik, Fabio Apicella, Fi-lippo Muratori, Sandra Maestro, David Cohen(2010) (in press). Compu-terized home video detection for motherese may help to study impairedinteraction between infants who become autistic and their parents. Inter-national Journal of Methods in Psychiatric Research (IJMPR).

[3] Ammar Mahdhaoui, Mohamed Chetouani (2010). Supervised and semi-supervised infant-directed speech classification for parent-infant interactionanalysis. Speech Communication Journal (en révision).

CHAPITRES D’OUVRAGES SCIENTIFIQUES

[4] Mahdhaoui, A. and Chetouani, M. and Zong, C. and Cassel, R.S. andSaint-Georges, C. and Laznik, M-C. and Maestro, S. and Apicella, F. andMuratori, F. and Cohen, D. (2009). Automatic Motherese Detection forFace-to-Face Interaction Analysis. Multimodal Signals : Cognitive and Al-gorithmic Issues Springer Verlag, publisher. Vol LNAI 5398 Pages 248-255.

[5] Mahdhaoui, A. and Chetouani, M. (2010). Understanding Parent-InfantBehaviors Using Non-Negative Matrix Factorization. Toward Autonomous,Adaptive, and Context-Aware Multimodal Interfaces : Theoretical andPractical Issues’2010, Springer volume 645.

COMMUNICATIONS INTERNATIONALES AVEC ACTES

[6] Mahdhaoui, A. and Chetouani, M. (2010). Emotional Speech Classifica-tion Based On Multi View Characterization. IAPR International Confe-rence on Pattern Recognition, ICPR 2010. Istanbul, Turkey.

[7] AL Moubayed, S. and Baklouti, M. and Chetouani, M. and Dutoit, T.and Mahdhaoui, A. and Martin, J-C and Ondas, S. and Pelachaud, C. andUrbain, J. and Yilmaz, M. (2009). Generating Robot/Agent BackchannelsDuring a Storytelling Experiment. IEEE International Conference on Ro-botics and Automation (ICRA’09), Japan, 2009.

[8] Mahdhaoui, A. and Chetouani, M. and Kessous, L. (2009). Time-FrequencyFeatures Extraction for Infant Directed Speech Discrimination. ISCA Tu-torial and Research Workshop on Non-Linear Speech Processing (NO-

13

LISP09) .

[9] Mahdhaoui, A. and Chetouani, M. (2009). A new approach for motheresedetection using a semi-supervised algorithm. IEEE Workshop on MachineLearning for Signal Processing (MLSP’09).

[10] Mahdhaoui, A. and Chetouani, M. and Cassel, R.S. and Saint-Georges,C. and Laznik, M-C. and Apicella, F. and Muratori, F. and Maestro, S.and Cohen, D. (2009). Home video segmentation for motherese may helpto detect impaired interaction between infants. Innovative Research In Au-tism (IRIA2009).

[11] Mahdhaoui, A. and Ringeval, .F and Chetouani, M. (2009). EmotionalSpeech Characterization Based on Multi-Features Fusion for Face-to-FaceInteraction. International Conference on Signals, Circuits and Systems(SCS’09).

[12] Mahdhaoui, A. and Chetouani, M. (2008). Automatic motherese detec-tion for Parent-Infant Interaction. Speech and face to face communication,workshop dedicated to the memory of Christian Benoit. Grenoble, France.

[13] Mahdhaoui, A. and Chetouani, M. and Zong, C. (2008). Motherese De-tection Based On Segmental and Supra-Segmental Features. IAPR Inter-national Conference on Pattern Recognition, ICPR 2008. Tampa Florida,USA.

[14] AL Moubayed, S. and Baklouti, M. and Chetouani, M. and Dutoit, T.and Mahdhaoui, A. and Martin, J-C and Ondas, S. and Pelachaud, C. andUrbain, J. and Yilmaz, M. (2008). Multimodal Feedback from Robots andAgents in a Storytelling Experiment. eINTERFACE’08 Proceedings of the4th International Summer on Multi-Modal Interfaces, August 4-29,2008,Paris-Orsay, France. Pages 43-55.

[15] Besacier, L. and Mahdhaoui, A. and Le, V-B. (2007). The LIG Arabic /English Speech Translation System at IWSLT 07. International Workshopon Spoken Language translation IWSLT’07. Trento-Italy.

COMMUNICATIONS SANS ACTES

[16] Ammar Mahdhaoui & Mohamed Chetouani (2009). Reconnaissance au-tomatisée du Motherese, Méthodologie et performance. Atelier Pisrstecn̊ 08, Autisme et Prosodie : Quelles implications possibles ? Octobre 2009.

14