Séminaire polytechnique 12nov15
-
Upload
claude-coulombe -
Category
Data & Analytics
-
view
548 -
download
0
Transcript of Séminaire polytechnique 12nov15
Sémantron: Évaluation de compétences par des questions ouvertes dans un CLOM
par Claude Coulombecandidat au doctorat en sciences cognitives
UQAM / TÉLUQ
Séminaire du département de génie informatique et génie logiciel
Polytechnique
12 novembre 2015
C.Coulombe - Sémantron
Source image: http://www.i-programmer.info/images/stories/prof/training/TrackingMOOC/classcentral.jpg
IntroductionLe phénomène CLOM, une déferlante...
C.Coulombe - Sémantron IntroductionDe la CLOM-manie à la CLOM-phobie
Source: http://en.wikipedia.org/wiki/Hype_cycle
C.Coulombe - Sémantron
● Ils sont massifs;● Ils favorisent la flexibilité dans l’apprentissage;● Ils proposent une interactivité riche et ils sont
conviviaux (web 2.0);● Il se basent sur:
● une pédagogie active;● une pédagogie de la maîtrise;
● Ils sont « sociaux »● Ils recueillent et exploitent les données des
étudiants via l’analytique d’apprentissage
IntroductionLes innovations des CLOM
C.Coulombe - Sémantron
● L’enseignement en « mode cours magistral traditionnel » ne fonctionne pas aussi bien que
l'enseignement dans un «mode d'engagement interactif» [Hake, 1998].
● Prônée par Bloom, la pédagogie de la maîtrise (mastery learning) émulerait en partie l’
effet d’un tutorat individuel [Norvig, 2012], [Glance, Forsey & Riley, 2013].
● L’usage de courts questionnaires associés aux capsules vidéo offrent aux apprenants une
occasion de pratiquer le rappel mnémonique ce qui améliore la mémoire à long terme des
faits [Glance, Forsey & Riley, 2013]. On s’entend toutefois pour qualifier ces petits
questionnaires de « méthodes faibles ». Il faut des activités plus approfondies comme la
réalisation de projets pour parler vraiment d’acquisition de compétences.
● Une étude récente confirme que l’apprentissage actif accroit la performance des étudiants
en science, en ingénierie et mathématiques [Freeman et al, 2014].
IntroductionLa pédagogie des CLOM
C.Coulombe - Sémantron
Types d’évaluation Questions ouvertes / fermées Agents
évaluation automatique fermées QCM (questions ouvertes encore au stade de la recherche)
un logiciel de correction et/ou d’analyse de réponses
auto-évaluation surtout ouvertes mais les questions fermées sont également possibles
l’apprenant lui-même
évaluation par les pairs (calibrée)
surtout ouvertes, mais les questions fermées sont également possibles
les apprenants entre eux
évaluation externe surtout ouvertes, mais les questions fermées sont également possibles
chargé de cours, professeur, tuteur
IntroductionDispositifs d’évaluation dans les CLOM
C.Coulombe - Sémantron
● Collecte massive des données sur le comportement des apprenants;
● Analytique de l’apprentissage (learning analytics) et traitement de
données massives (big data);
● Pratique courante du Web 2.0 « à la Google »;
● Exploiter les données massives générées par les apprenants pour
améliorer et personnaliser l’apprentissage individuel;
● Pédagogie basée sur les données (data driven).
IntroductionL’ingrédient secret, les données massives
C.Coulombe - Sémantron
● Enseignement insuffisamment personnalisé;
● Acquisition de connaissances au détriment des
compétences;
● Évaluations le plus souvent limitées aux QCM.
ProblématiqueQuelques limites des CLOM actuels
C.Coulombe - Sémantron
● Adapter un cours aux besoins individuels de chaque apprenant;
● Les jours de la politique de « taille unique » sont comptés.
ProblématiqueEnseignement insuffisamment personnalisé
« While the potential for MOOCs to contribute significantly to the development of personalized and adaptive learning is high, the reality is far from being achieved. » [Hollands & Tirthali, 2014]
C.Coulombe - Sémantron
● Au coeur de l'approche par compétences on trouve l'évaluation fréquente
des compétences [Tardif, 2006];
● L’évaluation n’est pas restreinte à donner une note finale (évaluation
sommative ou certificative), mais est utilisée pour donner des rétroactions à
l’apprenant tout au long du processus d’apprentissage et ceci en dehors de
toute contribution à une note (évaluation formative).
« Une compétence est un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d'une variété de ressources internes et externes à l'intérieur d'une famille de situations. » [Tardif, 2006]
ProblématiqueL’approche par compétences
C.Coulombe - Sémantron
● Les CLOM se cantonnent pour le moment à la transmission des
connaissances en empruntant une pédagogie plutôt conventionnelle, ce
qu'on appelle les xCLOM [Margaryan, Bianco & Littlejohn, 2015];
● L'apprentissage à base de compétences sera le catalyseur du changement
du modèle économique de l'enseignement supérieur [Morrison, 2012];
● Les CLOM avec des certificats ou des insignes numériques (digital badges)
qui certifient l’acquisition de compétences auront un « marché* » florissant
[Hollands & Tirthali, 2014].
*Note: Le terme « market » est employé par les auteurs
ProblématiqueAcquisition de connaissances au détriment des compétences
C.Coulombe - Sémantron
● La vaste majorité des CLOM se cantonne dans l’emploi de questionnaires à
choix multiples (QCM) pour les évaluations car il est facile et peu coûteux d’
automatiser leur correction;
● Les QCM ne mesurent qu’une partie des compétences de l’apprenant;
● Certains domaines comme les sciences humaines et les arts se prêtent
difficilement à l’évaluation par QCM.
ProblématiqueÉvaluations le plus souvent limitées aux QCM
C.Coulombe - Sémantron
Importance des questions ouvertes ou à développementAvantages Inconvénients
Permet à l’apprenant de s’exprimer dans ses propres mots, de révéler ses conceptions ou donner son opinion
Difficile à analyser et/ou interpréter - demande du TLN et des techniques d’évaluation plus sophistiquées
Permet de ne rien oublier, toutes les réponses possibles seront recueillies
Davantage subjective
Permet de recueillir de nouvelles idées, des propos inattendus et/ou nuancés
Demande des grilles de correction complexes et du personnel spécialisé
Permet une expression plus complète et authentique de la pensée de l’apprenant
Difficile à quantifier
Moins sensible aux petites stratégies de passation de tests et techniques de devinette
Demande davantage de travail à l’apprenant
Facile à créer par le professeur Peut être intimidant
Peut servir à compléter une question fermée Très grande variabilité des réponses
C.Coulombe - Sémantron
Différents types de question ouverteRemplacement En remplacement d’une question fermée pour obtenir des réponses plus complètes,
authentique, sans a priori et où l’apprenant s’exprime dans ses propres mots.
Extension En extension à une question fermée. Par exemple, à l’item « Autre réponse, svp spécifiez » à la fin d’une liste de réponses prédéterminées.
Complément* En complément à une question fermée. Par exemple, « Svp, pouvez-vous élaborez davantage? »
Commentaire Pour recueillir les commentaires de l’apprenant. « Vos commentaires sont bienvenus »
*Note: Forme privilégiée pour le projet Sémantron.
C.Coulombe - Sémantron
● Le caractère massif des CLOM rend impraticable la correction par des évaluateurs
humains de questions ouvertes à cause des coûts;
● On a recours à des dispositifs d’auto-correction ou de correction par les pairs
calibrée (Calibrated Peer Review) qui sont lourds et d’usage limité;
● Il existe deux types d’outils automatiques selon la longueur des textes:
○ Correction d’essais (AES: Automated Essay Scoring);
■ En français, CA2E « Correction Automatique d’Essais Écrits »;
○ Correction de réponses courtes (ASAG: Automatic Short Answer Grading)
■ En français, CARC « Correction Automatique de Réponses Courtes »;
ProblématiqueÉvaluation des questions ouvertes
C.Coulombe - Sémantron
● Plus de 100 mots en anglais ou plus d’un paragraphe [Burrows, Gurevych & Stein, 2015];
● +12 produits commerciaux tous en anglais: e-rater, PEG (Project Essay Grade), LightSide,
IEA (Intelligent Essay Assessor), IntelliMetric, Benchmark-SkillWriter, CRASE
(Constructed-Response Automated Scoring Engine), Lexile Writing Analyzer, etc. [Shermis
& Burstein, 2013];
● Orienté davantage style que contenu;
● Exploitent des technologies plus anciennes comme des méthodes lexicométriques et des
approches à base de règles avec des heuristiques astucieuses*;
● La plupart utilisent peu ou pas l’apprentissage statistique (machine learning), ne reposent
pas sur une analyse détaillée de la phrase, ni sur un modèle cognitif de la compétence.
ProblématiqueOutils de correction d’essais (CA2E)
*Note: Longueur moyenne des phrases, étendue du vocabulaire, nombre de fautes d’orthographe, présence de mots comme « then », « because », « since », ou de mots connecteurs « and », « or », de verbes particuliers, etc.
C.Coulombe - Sémantron
● Moins de 100 mots ou entre une phrase et un paragraphe;
● Un article récent recense 35 systèmes de CARC utilisés à l’occasion de compétitions
internationales comme SemEval [Burrows, Gurevych & Stein, 2015];
● De ceux-ci 29 (83%) étaient en anglais, 5 en espagnol, 3 en allemand, un en chinois
mais aucun en français*;
● Orienté davantage contenu que style;
● La correction automatique de réponses courtes est encore au stade de la recherche;
● Principalement à base de techniques récentes d’apprentissage statistique (machine
learning), mais aussi: recouvrement de concepts, extraction d’information, méthodes à
base de corpus [Burrows, Gurevych & Stein, 2015].
ProblématiqueCorrection de réponses courtes (CARC)
*Le total fait 38 car certains systèmes sont bilingues
C.Coulombe - Sémantron
Hypothèse de recherche principale
L’évaluation de compétences à partir de réponses écrites
en français à des questions ouvertes dans un CLOM peut
être réalisée automatiquement et de façon fiable* à l’aide
de techniques de traitement de la langue et d’apprentissage
statistique.
*Note: Au moins aussi fiable que l’accord inter-juges (inter-rater agreement)
C.Coulombe - Sémantron
Objectifs de la recherche
● Modéliser les compétences d’une façon opérationnelle;
● Élaborer une méthode permettant d’évaluation de
compétences à partir de réponses écrites en français à des
questions ouvertes*;
● Implanter la méthode dans un système automatique appelé
Sémantron.
*Note: Plus précisément, la tâche visée est l’évaluation de compétences à partir de réponses courtes, écrites en français à des questions ouvertes.
C.Coulombe - Sémantron
● Ce qui nous amène à l’idée d’améliorer les CLOM actuels en les recentrant
sur l’acquisition des compétences. Nous proposons le terme facile à retenir
de CLOM-abc pour CLOM à base de compétences [Coulombe, 2013b];
● L’idée est de baser l’évaluation sur un modèle explicite des compétences qui
est intégré à la plateforme CLOM sous la forme d’un service de référentiel
de compétences.
MéthodologieCLOM à base de compétences ou CLOM-abc
C.Coulombe - Sémantron
Modèle MOT (Modélisation par Objets Typés) qui décrit une compétence selon la définition suivante: « Une compétence est la relation entre une habileté générique appliquée à une connaissance à un certain niveau de performance ». [Paquette, 2007]
MéthodologieLa modélisation des compétences
C.Coulombe - Sémantron
La taxonomie des habilités sur 2 niveaux [Paquette, 2002b]
MéthodologieLa modélisation des compétences (2)
C.Coulombe - Sémantron
Inspiré du schéma: [Raynauld, Gerbé & Téta Nokam, 2012]
MéthodologieRéférentiel de compétences (1)
C.Coulombe - Sémantron
Domaines de compétences: i.e. l’ensemble des compétences liées à la mission
1. Compétences en écriture
Compétences proprement dites (competencies)
1.1. Qualité de la langue
Composantes ou capacités / habiletés (capacities)
1.1.1. Orthographe d’usage
Indicateurs observables / manifestations pour évaluer la compétence
(indicators)
1.1.1.1. J’écris sans faire de faute d’orthographe.
Échelle pour mesurer le niveau (measurement scale)
○ Échelle ou niveau d’atteinte de la compétence ( 1à 10)
○ Niveau minimum souhaîté / note de passage (passing mark)
2. Compétences disciplinaires
2.1. ...
Schéma hiérarchique des compétences stocké sous la forme de documents structurés
MéthodologieRéférentiel de compétences (2)
C.Coulombe - Sémantron
● Automatiser l’évaluation de compétences à partir de courtes réponses
textuelles en à des questions ouvertes en français;
○ Pour noter ou évaluer les compétences;
○ Pour donner des conseils ou rétroactions utiles aux apprenants;
● Sémantron fonctionnera essentiellement sur la base d’un apprentissage
supervisé à partir d’exemples notés (ou étiquetés) afin de créer des modèles
statistiques capables de prédire une note ou étiquette sur de nouveaux
exemples.
MéthodologieÉvaluation de réponses à des questions ouvertes
C.Coulombe - Sémantron
● Il existe quelques systèmes expérimentaux de correction automatique basés
sur l’apprentissage statistique comme EASE (Enhanced AI Scoring Engine)
un système expérimental de correction automatique uniquement en anglais
destiné à être intégré à Open edX [Balfour, 2013];
● L’idée est d’entraîner un modèle statistique avec un petit nombre de
réponses corrigées par un professeur ou un tuteur humain (typiquement de l’
ordre d’une centaine) pour alimenter un correcteur automatique capable d’
évaluer des milliers d’autres copies.
MéthodologieÉvaluation automatique par l’approche statistique
C.Coulombe - Sémantron
Le problème d’évaluation des réponses à des questions ouvertes peut être
envisagé comme:
● Un problème de classification à deux classes (réponses correctes vs
réponses rejetées);
● Un problème de classification à plusieurs classes (du genre « satisfaisant »,
« incomplet », « contradictoire », « insuffisant » et « sans rapport »)*;
● Un problème de régression (prédiction d’un nombre) en considérant des
étiquettes essentiellement numériques (prédiction d’un ou plusieurs scores).
MéthodologieÉvaluation automatique & modèle prédictif
*Note: Forme privilégiée pour le projet Sémantron.
C.Coulombe - Sémantron
Définir des habiletés puis mesurer des indicateurs [Shermis & Burstein, 2013]
○ comme l’orthographe / la grammaire
○ le vocabulaire / choix des mots / richesse,
○ la qualité / fluidité des phrases, la structure / complexité des phrases,
○ le niveau de détails, l’organisation du texte,
○ le respect des conventions,
○ la qualité du développement narratif,
○ la répétition / redondance, les emprunts / le plagiat,
○ le style, les idées ou thèmes abordés (i.e. le nombre d’idées, leur variété),
originalité (comment la mesurer?), etc.
MéthodologieÉvaluer des compétences en écriture?*
*Note: Surtout valable dans le contexte de la correction d’essais ou de textes plus longs
C.Coulombe - Sémantron
● Une première approche « naïve »
○ Mesurer l’usage du vocabulaire propre à la taxonomie du domaine des
compétences disciplinaires à évaluer;
● Idées plus avancées:
○ Comparaison de fragments de cartes conceptuelles:
■ Extraction de concepts et de relations d’une réponse textuelle;
○ Inférence textuelle* (Textual Entailment):
■ À partir de deux textes, déterminer si le sens du second texte peut être
déduit à partir de celui du premier [Dagan, Glickman & Magnini, 2006];
○ Paraphrasage et réécriture [Androutsopoulos & Malakasiotis, 2010].
MéthodologieÉvaluer des compétences disciplinaires?
*Note: Autre équivalent en français « Implication textuelle »
C.Coulombe - Sémantron
● Préparation des données;
● Ingénierie des attributs;
● Création et entraînement de modèles statistiques;
○ Algorithmes classiques d’apprentissage statistiques;
○ Exploration de l’apprentissage profond (deep learning).
MéthodologieChaîne de traitements intelligents des données
C.Coulombe - Sémantron
Chaîne de traitement intelligent des données
MéthodologieChaîne de traitements intelligents des données
*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
C.Coulombe - Sémantron
Source: http://peekaboo-vision.blogspot.ca/2013/01/machine-learning-cheat-sheet-for-scikit.html
MéthodologieOutils: Python, Pandas, Scikit-learn, NLTK (Natural Language ToolKit),
analyseur dérivé du Correcteur 101, WOLF, Pylearn2, Theano, Lasagne, etc.
C.Coulombe - Sémantron
● Les attributs les plus usuels [Burrows, Gurevych & Stein, 2015];
○ lexicométriques: nombre de caractères, nombre de mots, longueur moyenne
des mots, nombre de phrases, longueur moyenne des phrases, nombre de
mots distincts, nombre de verbes, …
○ statistiques: ngrammes, cooccurrence, TF-IDF*, mesures de similarité,
distance d’édition, métrique BLEU ou ROUGE, fréquence des termes;
○ linguistiques: sac de mots, partie du discours / étiquettes lexicales, étiquettes
syntaxiques, erreurs orthographiques / grammaticales,
○ sémantiques: lemmes, termes, réduction ou ajout de synonymes, analyse
sémantique latente**, algorithme de Lesk
MéthodologieAttributs usuels
*Note: Term Frequency - Inverse Document Frequency **Latent Semantic Analysis (LSA)
C.Coulombe - Sémantron
● Le jeu de données est divisé en 3 groupes*:
○ les données d’entraînement (training set) 60 % des données;
○ données de validation croisée (cross-validation) 20 % des données;
○ données de test (test set) 20 % des données;
● Ainsi, les données de test restent vierges afin d’estimer l’erreur de
généralisation, (i.e. la mesure de performance ultime) du modèle
sélectionné;
● On répète les tests avec chaque modèles plusieurs fois en appliquant un
test d’hypothèse comme le test T de Student à 5% ou à 1%.
MéthodologieCréation et sélection de modèles statistiques
*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
C.Coulombe - Sémantron
Tendances observées pour un modèle statistique
modèle simple modèle complexe
biais élevé variance élevée
sous-apprentissage (underfitting) sur-apprentissage (overfitting)
MéthodologieChaîne de traitements intelligents des données
*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
C.Coulombe - Sémantron
● Économiser la création d’attributs complexes;
● Laisser les algorithmes de réseaux de neurones à plusieurs couches apprendre eux-
mêmes les attributs ou représentations;
● Devenu possible ces dernières années par l’accroissement des capacités de calcul et
les volumes considérables de données;
● Explorer les limites de l’application de l’apprentissage profond;
● Comparer une approche où l’accent a été mis sur l’ingénierie des attributs et une autre
approche qui apprend les attributs;
● Principal problème: la petite taille du corpus;
● Solutions: recueillir suffisamment de données ou contourner le problème =>
augmentation / enrichissement des données;*Note: Ou apprentissage de représentations par réseaux profonds de neurones - En anglais Deep Learning Source: [Bengio, 2009]
MéthodologieApprentissage profond*
C.Coulombe - Sémantron
La validation des résultats du prototype reposera sur plusieurs approches:
● Étiquetage indirect par autoévaluation;
● Étiquetage manuel des données d’entraînement par un premier juge
humain;
● Comparaison Sémantron-juges et inter-juges:
On comparera les prédictions de Sémantron avec les résultats étiquetés par
deux autres juges sur les données de test.
MéthodologieValidation des résultats
C.Coulombe - Sémantron
État d’avancement des travaux (1)● L'usage d'un corpus de taille suffisante en langue française est un point critique
dans la réalisation du projet;
● Intégration d’un type spécial de questions ouvertes à la plateforme Open edX dans
le cadre du projet pilote CLOM-TÉLUQ et Ulibre lancés en octobre 2014;
● Constitution du corpus CLOM-TÉLUQ:
○ 9 questions différentes;
○ Réponses courtes en français (entre 75 et 150 mots)*;
○ 4 762 réponses, avec 400 à 700 réponses par question (moyenne 529);
○ Un corpus CACR typique comporte 9 questions, 1029 réponses et 92 réponses
par question en moyenne [Burrows, Gurevych & Stein, 2015];
● Suffisant pour des algorithmes classiques d’apprentissage statistique.*Note: Un texte est généralement plus long en français qu’en anglais et on parle de 100 mots en anglais.
C.Coulombe - Sémantron
État d’avancement des travaux (2)● En avril - premiers résultats de Sémantron sur un modèle statistique
prédictif, supervisé très « élémentaire ».
● Traitement d'une seule question avec 783 réponses
● Attributs: essentiellement des mots filtrés par TF-IDF*
● Étiquetage: via l'auto-évaluation par les étudiants
● Algorithme: classificateur Bayes naïf
● Score avec validation croisee (20 fois) et intervalle de confiance de 95 pourcent: 79.2 % (+/- 1.10)
● Base de référence: 50.7 % (OneR, i.e. la classe la plus fréquente).● A priori, ça semblait bon, mais….
*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)
C.Coulombe - Sémantron
État d’avancement des travaux (3)● Problème d’équilibre des classes
● En vérifiant mes résultats, je me rends compte d’une « erreur
méthodologique » dans le calcul de ma base de référence (classe
dominante) d’abord évaluée à 51 % car j’incluais des NaN (réponse
incomplète ou réponse vide)
● En réalité les classes sont très mal équilibrées et ma base de référence,
celle de la classe dominante est à 78.9 %
● Donc mon modèle ne faisait pas mieux que la règle OneR !
*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)
C.Coulombe - Sémantron
État d’avancement des travaux (4)● Rééquilibrage du corpus
○ Créer un corpus équilibré au niveau de la répartition des classes. On va
maximiser l'emploi de la classe qui est la moins représentée et
compléter avec des exemplaires de la classe dominante.
● Traitement d'une seule question avec 505 réponses
● Attributs: mots filtrés par TF-IDF*, augmentation des données par des
synonymes
● Étiquetage: via jugement humain
● Algorithme: forêts d’arbres aléatoires (random forests)
● Emploi maximal des données par la mise-de-côté unique (leave-one-out )
● En août 2015 Score avec mise-de-côté unique 90.476 % (+/-2.429)
C.Coulombe - Sémantron
Contribution originale attendue● Premier outil de correction automatique de réponses courtes à des
questions ouvertes en langue française basé sur l’apprentissage statistique
et un modèle cognitif de la compétence*;
● Sémantron tentera d’apporter un support aux apprenants dans l’acquisition
de compétences:
○ au niveau de l’écriture;
○ au niveau de compétences disciplinaires;
● Meilleure compréhension des conditions et limites d’application des
algorithmes d’apprentissage profond (deep learning) en langue naturelle.
● Expérimentation de l’augmentation / enrichissement des données;
● Note: Du moins conçu pour être intégré à une plateforme de CLOM
C.Coulombe - Sémantron
Perspectives● Mise à la disposition du corpus CLOM-TÉLUQ;
● Étendre Sémantron à la correction d’essais, i.e. des textes de plusieurs
paragraphes;
● Sémantron sera intégré à la plateforme Open edX.
C.Coulombe - Sémantron
Annexe - Open edX● Disponible depuis juin 2013, la plateforme Open edX en logiciel libre sous
licence Affero GPL v3 permet de créer et gérer des CLOM;
● Open edX sera utilisée pour la collecte du corpus puis pour l’intégration de l’
évaluation de compétences au moyen de questions ouvertes;
● Une fois le modèle prédictif opérationnel, nous prévoyons intégrer des outils
de correction de questions courtes et d’essais en français à la plateforme
Open edX.
C.Coulombe - Sémantron
Bibliographie[Androutsopoulos & Malakasiotis, 2010] Androutsopoulos, I., & Malakasiotis, P. (2010). A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research, 135–187. En ligne:http://www.jair.org/media/2985/live-2985-5001-jair.pdf[Balfour, 2013] Balfour, S. P. (2013). Assessing writing in MOOCs: Automated essay scoring and calibrated peer review. Research & Practice in Assessment, 8(1), 40–48.En ligne http://www.rpajournal.com/dev/wp-content/uploads/2013/05/SF4.pdf[Bengio, 2009] Bengio, Y. (2009). Learning Deep Architectures for AI. Machine Learning, 2(1), 1–127. En ligne http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf[Burrows, Gurevych & Stein, 2015] Burrows, S., Gurevych, I., & Stein, B. (2015). The Eras and Trends of Automatic Short Answer Grading. International Journal of Artificial Intelligence in Education, 25(1), 60–117.En ligne http://www.uni-weimar.de/medien/webis/publications/papers/stein_2014n.pdf[Coulombe, 2013b] Coulombe C., Vers les CLOM-p - Les CLOM portfolios pour l'agrément des compétences, Journée MATI Montréal 2013, L’innovation dans les modèles, méthodes et outils pour l’apprentissage et le développement des compétences, Montréal, 1er mai 2013. En ligne Diapos de la présentation Vidéo de la présentation
C.Coulombe - Sémantron
Bibliographie (2)[Csikszentmihalyi & Nakamura, 2002] Csikszentmihalyi, M., & Nakamura, J. (2002). The concept of flow. Handbook of Positive Psychology, 89–105. En ligne: http://myweb.stedwards.edu/michaelo/2349/paper1/ConceptOfFlow.pdf[Dagan,Glickman & Magnini, 2006] Dagan, I., Glickman, O., & Magnini, B. (2006). The PASCAL recognising textual entailment challenge. In Machine learning challenges. evaluating predictive uncertainty, visual object classification, and recognising tectual entailment (pp. 177–190). Springer. En ligne http://eprints.pascal-network.org/archive/00001298/01/dagan_et_al_rte05.pdf[Freeman et al, 2014] Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., & Wenderoth, M. P. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23), 8410-8415.http://www.pnas.org/content/111/23/8410.full[Hake, 1998] Hake, R. R. (1998). Interactive-engagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. American journal of Physics, 66(1), 64-74.http://files.eric.ed.gov/fulltext/ED441679.pdf
C.Coulombe - Sémantron
Bibliographie (3)[Hollands & Tirthali, 2014] Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expectations and Reality (p. 211). Teachers College, Columbia University. En ligne http://cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf[Margaryan, Bianco & Littlejohn, 2015] Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77–83. En ligne http://www.sciencedirect.com/science/article/pii/S036013151400178X#appsec1[Morrison, 2012] Morrison, Debbie. The Next Big Disruptor - Competency-based Learning. Blog. Online Learning Insights, June 12, 2012. En lignehttp://onlinelearninginsights.wordpress.com/2012/06/12/the-next-big-disruptor-competency-based-learning/ [Norvig, 2013] Norvig, P. (2013, July 18). How to Make Online Courses Massively Personal: Scientific American. Scientific American, (August 2013 issue). En ligne http://www.scientificamerican.com/article.cfm?id=how-to-make-online-courses-massively-personal-peter-norvig
C.Coulombe - Sémantron
Bibliographie (4)[Paquette, 2007] Paquettte G., An ontology and Software Framework for Competency Modeling and Management, Educational Technology & Society, vol. 10, no 3, juillet 2007, p. 1-21.[Paquette, 2002b] Paquette, G.. Modélisation des connaissances et des compétences. Presses de l’Université du Québec, 2002. Québec, Québec, p. 66 [Raynauld, Gerbé & Téta Nokam, 2012] Raynauld, J., Gerbé, O., & Téta Nokam, N. (2012). Référentiels de compétences (No. Publication 2012-06) (p. 37). Montréal: GTN-Québec. En ligne http://www.gtn-quebec.org/moa/publications/rapport/referentiels-competences/[Reich, 2015] Reich, J. (2015). Rebooting MOOC Research. Science, 347(6217), 34–35. En lignehttp://www.edtechresearcher.com/wp-content/uploads/2012/11/Reich_Rebooting_1214.docx[Shermis & Burstein, 2013] Shermis, M. D., & Burstein, J. (2013). Handbook of automated essay evaluation: Current applications and new directions. New York, USA: Routledge.[Tardif, 2006] Tardif, J. L’évaluation des compétences. Chenelière Éducation, 2006, p.