Application de la mthode ALCESTE aux gros corpus et stabilit des mondes lexicaux :

analyse du CableGate avec IRAMUTEQ.

Pierre Ratinaud1, Pascal Marchand2

1 Universit Toulouse ratinaud@univ-tlse2.fr 2 Universit de Toulouse pascal.marchand@iut-tlse3.fr

AbstractWe propose an analysis of the entire 251,287 telegrams of the CableGate. This corpus consists of 238 116 128 occurrences. After a short description of the adaptations of the ALCESTE procedure implemented in the software IRAMUTEQ that were necessary, we will present a comparison of two treatments: a clustering of a table that cross the 251 287 documents and the 5002 first full words (frequency minimum: 2536) and a clustering of a the table that cross these documents and the following 5000 full words (frequencies between 2534 and 781). The two tests, performed with the same parameters, produce 62 final clusters for the first and 69 for the second. The intersection between these two classifications shows clearly that they are not independent. In other words, a clustering conducted on the most common words of a text leads to a distribution of documents that has similarities with a clustering conducted on words much less frequent. These results help to maintain the hypothesis of stabilized lexical worlds (Reinert, 2008) and also allow to consider various options for ALCESTE analysis on large corpora.

RsumNous proposons une analyse portant sur lintgralit des 251287 tlgrammes du CableGate . Ce corpus se compose de 238 116 128 occurrences. Aprs avoir rapidement dcrit les adaptations de la procdure danalyse ALCESTE implmente dans le logiciel IRAMUTEQ qui ont t ncessaires, nous prsenterons une comparaison entre deux traitements : une classification sur un tableau croisant les 251287 documents et les 5002 formes pleines les plus frquentes (frquence minimum : 2536) et une classification sur un tableau croisant ces mmes documents et les 5000 formes pleines suivantes (frquences comprises entre 2534 et 781). Les deux analyses, ralises avec les mmes paramtres, produisent 62 classes terminales pour la premire et 69 pour la seconde. Le croisement entre ces deux classifications montre clairement quelles ne sont pas indpendantes. Autrement dit, une classification mene sur les formes les plus frquentes de ce corpus conduit une rpartition des documents qui prsente des similarits certaines avec une classification mene sur des formes beaucoup moins frquentes. Ces rsultats permettent de maintenir lhypothse des mondes lexicaux stabiliss (Reinert, 2008) et autorisent galement, en tenant compte de leurs limites, denvisager diffrentes options pour les analyses de type ALCESTE sur de gros corpus.

Mots-cls : classification, mthode ALCESTE, mondes lexicaux, gros corpus

836 pierrerAtinAud,pAscAlmArcHAnd

1. Introduction

A partir du 02 novembre 2010, cinq grands quotidiens (The New York Times, The Guardian, Der Spiegel, Le Monde et El Pas) commencent diffuser et commenter des cbles de la diplomatie amricaines mis en ligne par le site WikiLeaks1. Moins dan an plus tard, dans la nuit du 1er au 2 septembre 2011, aprs la divulgation dune premire version complte de ces documents par un concurrent, ce mme site publiera lintgralit des 251287 tlgrammes qui forment ce que lon appelle le CableGate . Ces textes sont des communications entre les ambassades amricaines du monde entier et Washington qui ont embarrass et embarrasseront encore longtemps les diplomaties de la plupart des pays. Nous utiliserons ce corpus dans une dmarche exprimentale qui se fixait comme premier objectif dadapter limplmentation de la mthode ALCESTE (Reinert, 1983, 1990) disponible dans IRAMUTEQ2 (Ratinaud, 2009 ; Ratinaud & Djean, 2009) de gros3 corpus. Aprs avoir prsent les modifications de lalgorithme de classification hirarchique descendante ncessaires pour analyser un corpus de 238 116 128 occurrences, nous proposerons une analyse qui consiste comparer une classification mene sur les 5002 formes pleines les plus frquentes avec une classification sur les 5000 formes pleines suivantes.

2. Prsentation et adaptation de la C.H.D.4 de la mthode ALCESTE

Rappelons que la mthode ALCESTE a t propos par Reinert (1983, 1990) et a dabord t implmente dans le logiciel ALCESTE5.

2.1. La mthode ALCESTE

Les particularits de cette technique danalyse lexicale sont les suivantes :

Un dcoupage des units du corpus (nomme u.c.i.6) en segments de texte (nomme u.c.e.7) : dans les analyses que nous proposerons, cette phase ne sera pas traite. Les units classifies ne seront pas des segments de texte, mais les tlgrammes dans leur intgralit.

Une slection des formes pleines : dans la mthode ALCESTE, lanalyse ne porte que sur les formes dites pleine (les verbes, les noms, les adverbes, les adjectifs)8 qui sont opposes aux formes supplmentaires (ou mots outils : les prpositions, les pronoms, les adjectifs possessifs, certains verbes et adverbes frquents...).

Une lemmatisation : par dfaut, les formes sont lemmatises.

1 http://wikileaks.org/

2 IRAMUTEQ : Interface de R pour les Analyses Multidimensionnelles de TExtes et de Questionnaires, http://www.iramuteq.org .

3 La notion de gros corpus (et lensemble des qualificatifs que lon peut associer corpus ) est dpendante du champ dapplication. Nous restreignons ici ce champ aux analyses utilisant la mthode ALCESTE.

4 Classification Hirarchique Descendante

5 http://www.image-zafar.com/

6 Pour unit de contexte initiale

7 Pour unit de contexte lmentaire

8 Cest une description rapide des formes pleines, certaines exceptions existent.

ApplicAtiondelAmtHodeAlcesteAuxGroscorpus 837

Une classification hirarchique descendante : la technique de classification est srement la plus grande originalit de cette mthode. Lalgorithme dcrit par Reinert (1983) repose sur une srie de bi-partitions construite sur la base dune analyse factorielle des correspondances mene sur un tableau binaire (absence/prsence) qui croise les units textuelles choisies avec les formes pleines slectionnes. Cest ladaptation de cet algorithme que nous dcrirons. Rappelons que chaque bi-partition est ralise en trois tapes :

1. Une analyse factorielle des correspondances (A.F.C.) est mene sur le tableau, puis, pour toutes les partitions possibles le long du 1er facteur de lAFC, linertie inter-classe est calcule. Une premire coupure intervient pour la partition qui maximise linertie inter-classe.

2. Chaque unit du tableau est permute dune classe lautre et linertie inter-classe est recalcule. Si celle-ci est suprieure linertie inter-classe prcdente, la permutation est conserve. Cette partie de lalgorithme boucle jusqu ce quaucune permutation naugmente linertie inter-classe.

3. Les formes spcifiques dune classe (au sens du chi2) sont retires de lautre.

2.2. Adaptation de la classification hirarchique descendante de la mthode ALCESTE

Des trois tapes ncessaires chaque bi-partition, cest la premire qui impose les limites des tableaux analyss. Lanalyse factorielle des correspondances ncessite en effet le passage par une dcomposition en valeurs singulires qui est une opration particulirement lourde en terme de calcul. Dans les premires versions dIRAMUTEQ, nous utilisions une adaptation de la librairie anacor (De Leeuw et Mair, 2009), qui, comme la plupart des librairies de R proposant ce type danalyse, utilise la fonction svd9 pour raliser les dcompositions en valeurs singulires. Par ailleurs, nous utilisions des matrices pleines, ce qui nest pas trs pertinent pour les tableaux lexicaux sur lesquels nous travaillons, qui sont principalement composs de 0. Cet ensemble conduisait une trs importante consommation de mmoire lors de la classification, ce qui limitait les analyses des tableaux modestes (de lordre de 2000 formes pour 80000 units sur une machine disposant de 8 Go de RAM). Nous avons donc commenc par utiliser des matrices creuses, ce qui, dans un premier temps, ne changeait rien au problme, puisque la fonction svd les transforme en matrices pleines avant lanalyse. Notre recherche dun algorithme de dcomposition en valeurs singulires efficace et qui prendrait en entre des matrices creuses nous a orient vers la bibliothque SVDLIBC (Rohde, 2011). Elle reprend lalgorithme las2 (Berry, 1992) de la bibliothque SVDPACK (Berry et al., 2011). Cet algorithme est particulirement adapt nos objectifs : il est optimis pour les matrices creuses au prix dune perte de prcision sur les valeurs singulires de faible rang. Ce dfaut ne nous concerne pas puisque seule la plus grande valeur est retenue dans lanalyse.

Nous avons bien sr d raliser un ensemble de modifications dans la faon de construire les matrices, mais cela relve plus du domaine de linformatique que de la statistique textuelle10.

9 Elle mme base sur les routines de la librairie LAPACK (http://www.netlib.org/lapack).

10 A lheure o nous crivons ce document, toutes les tapes utilises pour cette analyse ne sont pas encore prsentes dans linterface dIRAMUTEQ. Toutefois, lensemble des procdures est disponible en ligne de commande et le code est accessible dans le dpt subversion du logiciel (hhtp://www.netdig.org/svn-iramuteq/trunk)

838 pierrerAtinAud,pAscAlmArcHAnd

3. Prsentation du corpus

3.1. Dates, origines et classifications

Le corpus du CableGate se prsente originellement sous la forme dune base de donnes PostgreSQL de 1,7 Go. La base contient une table nomme cable compose de 9 champs : identifiant, date, rfrence, classification, origine, destination, en-tte et contenu. La figure 1 montre la frquence dapparition de chacune des dates prsentes dans la base :

Illustration 1: Rpartition des tlgrammes par date - les annes allant 1966 1999 ont t regroupes - N=251287

Bien que le plus ancien tlgramme date de 1966, 99,6% des textes ont t crits entre 2000 et 2010. Ces textes proviennent de 275 sources diffrentes. Une majorit (86 %) est issue des ambassades amricaines du monde entier, 5% proviennent de Consulat et 3,1% proviennent du Secrtariat dtat amricain, qui est le plus gros contributeur du corpus. La figure 2 montre la rpartition des 20 plus gros contributeurs :

Illustration 2: Les 20 sources les plus frquentes

ApplicAtiondelAmtHodeAlcesteAuxGroscorpus 839

6,2 % de ces documents sont classifis secret11, 40,5 % confidentiel12. Les 53,2% des documents restants ne sont pas classifis.

3.2. Description du contenu

Le contenu des tlgrammes se prsente sous des formes relativement stables. Une srie de tags commence la plupart des messages (classification, destinataire, sujet, etc.). Ces tags sont nombreux et nous avons dcid, pour cette analyse, de supprimer tous ceux que nous avons pu dtecter. Le texte suivant est un exemple de dbut de tlgramme, nous avons mis en gras les parties limines :

UNCLAS STATE 204472 E.O. 12958: N/A TAGS: PTER SUBJECT: ANNUAL TERRORISM REPORT (THIS CABLE HAS BEEN CLEARED BY M/P (SEP).) ----------- 1. SUMMARY ----------- THE DEPARTMENT IS REQUIRED BY LAW TO PROVIDE AN ANNUAL TERRORISM REPORT TO CONGRESS. THIS LAW REQUIRES THE REPORT BE A FULL AND COMPLETE FACTUAL RECORD OF TERRORISM-RELATED ACTIVITY IN ALL COUNTRIES THAT EXPERIENCED TERRORISM AND NOT BE TEMPERED BY CONCERNS ABOUT HOST GOVERNMENT

Illustration 3 : un exemple de dbut de cble

Le corpus a t pass en minuscule et tous les caractres en dehors dune liste restreinte13 ont t limins. Ainsi nettoy, le corpus se compose de 238 116 128 occurrences (Fmax = 15 668 471, the ). Il est constitu de 624 202 formes diffrentes, dont 280 863 hapax (44 ,9% des formes, 0,11% des occurrences). La figure 3 prsente le graphique rangs/frquences (sur des chelles logarithmiques) du corpus :

11 SECRET ou SECRET NOFORN

12 CONFIDENTIAL ou CONFIDENTIAL NOFORN

13 a-z0-9

840 pierrerAtinAud,pAscAlmArcHAnd

Illustration 4 : graphique rangs/frquences des formes du corpus (chelles logarithmiques)

4. Hypothse et Analyse

Paralllement au dveloppement de la mthode ALCESTE et du logiciel du mme nom, Reinert a labor un modle thorique autour de la notion de monde lexicaux stabiliss (Reinert, 2008). Ce modle repose sur lhypothse que dans lactivit langagire, les mots pleins constituent [] des traces possibles des contenus de nos activits. Ils ne sont pas les signifiants mais bien des traces possibles de ce contenu en acte. (Reinert, 2008, p. 3). La stabilit des classifications sur les formes pleines dun corpus lorsque lon fait varier la taille des units et les similarits constates par Reinert entre certaines classifications sur des corpus diffrents participent valider cette hypothse.

De faon vrifier que cette stabilit est galement prsente dans diffrentes fentres de frquence des formes pleines, nous avons procd deux classifications des tlgrammes du CableGate en retenant une fois les 500214 formes pleines les plus frquentes et une fois les 5000 formes pleines suivantes. Le tableau 1 rsume les deux analyses :

Classification 1 Classification 2

Frquence max. dune forme pleine slectionne 720626 2534

Frquence min. dune forme pleine slectionne 2536 781

Nombre de formes pleines slectionnes 5002 5000

Pourcentage de 1 dans la matrice 4,1% 0,33 %

Frquence max. dans la matrice 173906 (end) 2396 (slug)

Frquence min. dans la matrice 13 (aspirante) 17 (wof)

Nombre de lignes dans la matrice 251287 251287

Tableau 1 : rsum des analyses

14 Un changement de frquence intervenant au rang 5003, nous avons prfr conserver les deux formes supplmentaires plutt que de slectionner arbitrairement des formes dans le rang prcdant.

ApplicAtiondelAmtHodeAlcesteAuxGroscorpus 841

Nous avons bien sr conserv le mme paramtrage pour ces deux analyses en demandant 80 classes terminales et en ne conservant que les classes regroupant au moins 500 tlgrammes.

5. Rsultats

La premire classification a conduit 62 classes terminales et la seconde 69. Les dendrogrammes suivants rsument les deux classifications :

Illustration 5 : gauche, dendrogramme de la premire classification, droite, dendrogramme de la seconde. Les barres indiquent la taille relative des classes.

Ces premiers rsultats nous indiquent que le paramtrage 80 classes terminales ntait pas pertinent, les grandes classes apparaissant ici peuvent certainement tre encore dissocies. De faon pouvoir comparer ces classifications, nous avons construit le tableau de contingence qui les croise. Les graphiques suivants rendent compte de la dpendance entre ces deux classifications partir de la comparaison entre les effectifs thoriques et les effectifs observs dune part, et partir de ltude des rsidus standardiss lis au chi2 de ce tableau dautre part:

842 pierrerAtinAud,pAscAlmArcHAnd

Illustration 6 : gauche, les effectifs thoriques du tableau de contingence (en % du total), droite, les effectifs observs (en % du total). Les classifications 1 et 2 apparaissent respectivement gauche

et droite sur chaque graphique.

Illustration 7 : gauche, rsidus standardiss du chi2 men sur le tableau de contingence (les points bleus reprsentent les contributions significativement positives (>1,96), les niveaux de vert

reprsentent les contributions non-significatives, les niveaux de rouge reprsentent les contributions significativement ngatives (< -1,96) ; droite, la mme reprsentation en trois dimensions.

Pour contrler que ces classifications nous proposent bien une organisation globalement commune du corpus, nous avons construit les tableaux de contingence qui croisent chacune des deux classifications avec les sources des tlgrammes. Pour ce traitement, nous navons conserv que les sources apparaissant au moins 500 fois. Les matrices des distances euclidiennes entre les sources ont t calcules pour chacun des deux tableaux de contingences obtenus. Nous

ApplicAtiondelAmtHodeAlcesteAuxGroscorpus 843

avons ensuite utilis la librairie igraph (Csardi et Nepusz, 2006) de R pour tracer les arbres minimum de ces matrices en reprant les sources en fonction de leur situation gographique.

Illustration 8 : gauche, arbre de la premire classification ; droite, arbre de la seconde classification

Bien quils ne soient pas superposables, ces deux arbres nous montrent que les deux classifications ont abouti un regroupement gographique des textes.

6. Conclusion

Les rsultats que nous venons de prsenter permettent, selon nous, de maintenir lhypothse des mondes lexicaux stabiliss . Les deux classifications que nous comparons proviennent de matrices trs diffrentes, mme si elles sont issues du mme corpus. La seconde matrice est plus de dix fois plus vide que la premire. Pourtant, elles mnent des organisations des documents qui sont clairement dpendantes. Ces rsultats attestent galement de la pertinence de la mthode ALCESTE sur ce type de corpus.

Par ailleurs, les adaptations ralises sur lalgorithme de classification rendent possible lutilisation de la mthode ALCESTE classique (avec la double classification sur uc) sur des corpus de plusieurs dizaines de millions doccurrences tout en travaillant sur un nombre important de formes pleines. La procdure que nous avons suivie pourrait galement permettre damliorer

844 pierrerAtinAud,pAscAlmArcHAnd

la recherche de stabilit dans lanalyse des gros corpus en utilisant les classifications sur les formes moins frquentes pour prciser le contour des classes obtenues sur les classifications des formes frquentes.

RfrencesBerry, M. (1992). Large Scale Singular Value Computations. International Journal of Supercomputer

Applications. 6. (1). 13-49.Berry, M. Do, T. OBrien, G. Krishna, V. and Varadhan, S. (2011). SVDPACK. http://www.netlib.org/

svdpack.Csardi, G. et Nepusz, T. (2006). The igraph software package for complex network research. InterJournal.

Complex Systems. (1695). http://igraph.sf.net.De Leeuw, J. et Mair, P. (2009). Simple and Canonical Correspondence Analysis Using the R Package

anacor. Journal of Statistical Software. 31. (5). 1-18.Ratinaud, P. (2009). IRAMUTEQ : Interface de R pour les Analyses Multidimensionnelles de TExtes et

de Questionnaires. http://www.iramuteq.org.Ratinaud, P. and Djean, S. (2009). IRaMuTeQ : implmentation de la mthode ALCESTE danalyse de

texte dans un logiciel libre. Modlisation Applique aux Sciences Humaines et Sociales (MASHS2009). Toulouse - Le Mirail.

Reinert, M. (1983). Une mthode de classification descendante hirarchique : application lanalyse lexicale par contexte. Les cahiers de lanalyse des donnes, VIII, (2), 187-198.

Reinert, M. (1990). ALCESTE : Une mthodologie danalyse des donnes textuelles et une application : Aurlia de Grard de Nerval. Bulletin de mthodologie sociologique. 26. 24-54.

Reinert, M. (2008). Mondes lexicaux stabiliss et analyse statistique de discours. 9mes Journes internationales dAnalyse statistique des Donnes Textuelles.

Rohde, D. (2011). SVDLIBC. http://tedlab.mit.edu/~dr/SVDLIBC.