Post on 27-Jun-2015
BAIRSTOW Dominique LAVAUR Jean-Marc & LAXEN Jannika
Workshop on L2 proficiency assessmentFebruary 24/25th 2012
Recherches en psychologie cognitive : Développement, l’organisation et le fonctionnement du lexique mental bilingue.
Liens existants en mémoire entre les équivalents de traduction.
Modification des liens avec l’apprentissage de la langue L2
Mémoire sémantique commune ou quasi-commune correspondant à un haut degré de maîtrise des deux langues.
Niveau de langue des participants aux expériences de psychologie
Homogénéiser des résultats obtenus avec des populations et des langues différentes dans des contextes expérimentaux très diversifiés (Wei & Moyer, 2008).
Evaluations (tests de langue) utilisées avant et après les expériences (auto-évaluation, test de vocabulaire, traduction de mots + données personnelles)
Leur but est de déterminer des niveaux de maîtrise de la L2 et de constater des évolutions des traitements effectués dans différentes tâches (Lavaur & Bairstow, 2011).
Les évaluations de la compétence dans les deux langues ne permettent pas :
d’estimer le fonctionnement de la mémoire bilingue
De tester les participants sur leurs capacités à établir des liens entre les deux langues
Le test permet d’estimer la facilité avec laquelle un apprenant passe :
du niveau lexical (forme des mots) au niveau sémantique (significations associées).
A partir d’une tâche expérimentale utilisée dans les recherches sur le lexique mental bilingue.
Dans cette tâche, les participants doivent décider le plus rapidement possible si deux mots présentés à l’écran (ex : LUNE-MOON ou LUNE-RIVER) sont ou non des traductions.
Cette tâche est sensible à :
la sémantique des mots (niveau de concrétude, nombre et dominance des traductions, écart sémantique entre les différentes traductions d’un même mot ; Laxen & Lavaur, 2010)
leur forme (mots cognats et homographes interlexicaux ; Laxen, Lavaur & Aparicio, 2011)
leur fréquence objective et subjective (familiarité) dans chacune des deux langues.
Cette tâche permet de présenter toutes les traductions possibles d’un même mot contrairement aux tâches classiques de traduction où seul le lexique mental dit « actif » est testé.
Le test évalue :
les facilitations ou conflits et interférences liés à la forme des mots dans les deux langues
(même forme dans les deux langues, même signification comme TAXI-TAXI- ou significations différentes comme COIN-COIN pièce de monnaie en anglais).
I l permet :
un diagnostic rapide du fonctionnement de la mémoire sémantique des apprenants
Ce test est couplé :
avec des évaluations classiques du niveau de langue (auto-évaluation des différentes compétences linguistiques dans la langue orale et écrite)
et des tests de traduction spontanée et de complétion de phrases (voir Lavaur & Bairstow, 2011).
Le test mesure une compétence bilingue, (établir des liens entre les équivalents de traduction )
Il évalue le fonctionnement de la mémoire bilingue (efficacité, rapidité).
Il implique deux grands niveaux de traitement (lexical, sémantique).
Dans sa version visuelle, les codes orthographiques et sémantiques sont impliqués de sorte que les participants doivent détecter les formes présentées, accéder à leur sens et les apparier comme étant ou non des traductions.
L’intérêt du test dépasse la mesure de la compétence dans une langue donnée puisqu’il estime la capacité à relier deux langues et résoudre les interférences éventuelles.
Il peut être appliqué à une large population indépendamment du niveau de fluence dans chacune des deux langues testées.
De très nombreuses variables sont susceptibles d’affecter la performance au test
d’où la nécessité d’établir une hiérarchie dans ces variables.
La version pilote permet d’introduire les variables par ordre de complexité croissante.
La fréquence des mots dans chacune des langues est une variable dont les effets sont attestés dans de nombreuses tâches .
Cependant, les contacts avec les langues varient d’une langue à l’autre pour un sujet donné.
Il semble donc plus pertinent de prendre en compte la familiarité des mots (valeur subjective qui tient compte de ces contacts).
D’un point de vue méthodologique, les mots sont testés dans les deux sens de la traduction (L1L2, L2L1).
L’accès à la mémoire sémantique semble également dépendre de la langue de départ qui peut orienter les traitements effectués.
Faire varier le sens de la traduction de manière non prévisible pour les participants permet d’estimer leurs capacités à établir des liens sémantiques tout en changeant de langue.
La capacité à établir des liens rapides entre les équivalents de traduction doit être mise en relation avec la capacité à discriminer des mots qui ne sont pas reliés dans la mémoire sémantique.
Le test estime à la fois le traitement des équivalents de traduction et celui des non équivalents de traduction.
A partir d’une base lexicale (Balota, 1999), les variables contrôlées pour la version pilote du test sont :
la forme des mots (pas de lien orthographique ou phonologique entre les mots des deux langues),
le nombre de lettres (3 à 7) la différence de lettres au sein d’un même
couple (+ ou – 2). le nombre de traductions : mots à une
traduction ou à une traduction nettement dominante
Le matériel est sélectionné à partir de deux bases lexicales (anglaise et française) indiquant la familiarité.
Une base composée de 270 couples d’équivalents de traduction répartis en 2 niveaux de familiarité (élevé, bas)
Les 168 couples de mots choisis seront répartis en 3 blocs en fonction de l’ordre des langues (L1L2, L2L1, aléatoire)
Familiers Non familiers
Équivalents 42 42
Non équivalents
42 42
Le contrebalancement des couples et des listes tient compte:
de la place des couples au sein d’un même bloc,
de la présence de chaque couple de mots dans tous les blocs,
de la présentation de chaque couple dans les deux sens de traduction.
Temps de présentation de chaque couple:1.5 sec/diapo, donc durée du test environ 5 minutes. Mots organisés en trois blocs avec une pause entre chaque bloc.
Questionnaire de données personnelles: Echelles d’auto-évaluation de compréhension
et production (oral ou écrit), de 1 à 7. Questions sur l’âge d’acquisition. Contexte de pratique des langues.
Quelques couples du test de reconnaissance en traduction…
Répondez OUI, NON ou PASS!
NAINDWARF
LEVRENECK
REQUINSAND
On peut utiliser différentes méthodes: analyser les bonnes réponses, faire une analyse sur la certitude des
réponses) ou analyser des erreurs (réponse oui/ sur réponse
non). Il faut également prend en compte :
le sens de traduction ainsi que l’ordre des langues dans les blocs (fixe ou aléatoire)
la familiarité
Répartition des réponses sur 25 participants:
Equilibre entre les blocs L’ordre des langues ne modifie pas la
performance Plus d’omissions que d’erreurs
Bloc L1L2
Bloc L2L1
Bloc aléatoir
e
Total
Score 50.2 % 53.14 % 54 % 52.5 %
Erreurs 10.8 % 7.43 % 4.9 % 7.7 %
Omissions
39 % 39.43 % 41.1 % 39.8 %
Répartition des erreurs: sur réponses « oui » (fausses reconnaissances)et sur réponses « non » (fausses alarmes)
Bloc L1L2
Bloc L2L1
Bloc aléatoir
eTotal
Erreurs Traductions
18.4 % 14.3 % 9.5 % 14.2 %
Erreurs non traductions
3.3 % 1.5 % 1.1 % 2 %
Omissions traductions
35.4 % 40.3 % 42.7 % 39.4 %
Omissions non traductions
42.9 % 43.9 % 46.7 % 44.4 %
Répartition des réponses selon la familiarité
Nombre supérieur de réponses correctes pour les couples familiers (participants non natifs anglais).
Nombre supérieur d’erreurs et d’omissions pour les couples non-familiers.
Couples familiers
Couples non familiers
Scores 86.76 % 18.14 %
Erreurs 4.95 % 10.43 %
Omissions 8.28 % 71.43 %
Relation entre score moyen d’auto-évaluation et nombre de bonnes réponses au test (divisé par 100)
Les participants ont tendance à sous-estimer leurs compétences
Globalement, il n’y a pas de grand effet lié à l’ordre de présentation des couples:
L’effet peut se trouver atténué par un effet d’habituation à la tâche
Ou par un temps d’exposition trop long pour chaque item (ce qui permet de développer des stratégies de traduction)
On remarque qu’il y a globalement plus d’omissions que d’erreurs.
Pas de distinction entre les omissions sur « oui » et celles sur « non ».
En ce qui concerne les erreurs, il y en a largement plus sur les réponses « oui » (fausses reconnaissances) que sur les réponses « non » (fausses alarmes).
On constate un très fort effet de la familiarité:
Les participants testés ne sont pas natifs anglais La familiarité semble être un facteur très
discriminant
Cet effet de familiarité s’étend à la fois aux erreurs et aux omissions
Le nombre de bonnes réponses de chaque participant semble corrélé assez positivement avec la moyenne de ses scores d’auto-évaluation
Lorsque ces deux scores s’écartent, on constate que les participants ont tendance à minimiser leurs compétences linguistiques.
Globalement, le test est un bon indicateur du score d’auto-évaluation
Le test est un bon reflet des techniques courantes d’évaluation linguistique
Il permet également d’estimer la capacité à extraire des informations à partir d’un mot qu’on ne connaît pas
Ainsi que la capacité à extraire des informations à partir du mot de la langue dominante pour éliminer ou accepter un item
L’effet de la familiarité est bien présent, mais ne discrimine qu’entre un niveau très élevé et un niveau très bas: pas de nuance
On ne constate pas d’effet selon l’ordre de présentation des mots au sein de chaque couple: présentation trop lente ou matériel trop simple (effet plafond)?
Nécessité d’injecter de nouveaux facteurs pour affiner la discrimination entre les différents niveaux
Le test nous donne deux niveaux dans la capacité des participants à faire des liens entre les deux langues : débutant ou expert.
Nécessité de rajouter une variable afin d’affiner ces catégories. Nous disposons de nombreuses variables qui pourraient servir à cette distinction.
Facteurs permettant un affinage: rajouter des couples de mots ayant un indice
de familiarité intermédiaire (entre 3,5 et 4,5) ; utiliser l’homophonie, l’homographie, Autres facteurs: nombre de traductions,
disponibilité contextuelle, la concrétude ou encore la probabilité de traduction.
La deuxième étape du test pourra donc intégrer l’un de ces facteurs afin d’affiner encore l’évaluation de la capacité à faire des liens entre deux langues.
But du test : créer un outil simple et rapide permettant d’évaluer les compétences linguistiques d’un individu, avant sa participation à une expérience par exemple
Pour affiner la discrimination du test, il convient d’y introduire de nouveaux facteurs qui permettront de mieux évaluer les compétences
Un autre paramètre à prendre en considération est celui du mode de réponse: utiliser la plateforme Eprime, par exemple, permettra entre autres de prendre en compte le temps de réponse dans les mesures.
Séparer ce qui relève du temps de décision et ce qui relève du temps de coordination cérébro-motrice, ainsi que ce qui relève de la partie perceptive de quelle façon les deux mots sont traités ?
Successivement, parallèlement, ou encore avec un système de feedback ?
La présentation audiovisuelle avec une composante orale et une écrite: un mot entendu pouvant générer des candidats de façon différente qu’un mot écrit.
On pense également à la façon dont l’activation se propage, par exemple une activation par stimulus auditif et visuel, puis appariement des deux.
Références Lavaur, J-M., & Bairstow, D. (2011). Languages on the screen: is film
comprehension related to the viewer's fluency level and to the languages in the subtitles? International
Journal of Psychology (Online access). Laxen, J., & Lavaur, J-M. (2010). The Role of Semantics in Translation Recognition: Effects of number of translations, dominance of translations, and semantic
relatedness of multiple translations. Bilingualism, Language and Cognition, 13(2), 157-183. Laxen, J., Lavaur, J-M., & Aparicio, X. (2011). Reconnaissance en traduction et homographie interlangue. Psychologie Française, 56(3), 161-172. Wei, L., & Moyer, M. (2008). The Blackwell guide to research methods in
Bilingualism and Multilingualism. Malden : Blackwell Publishing Limited.