Problématiques de l’évalution 6 octobre 2015
Transcript of Problématiques de l’évalution 6 octobre 2015
![Page 1: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/1.jpg)
Problématiques de l’évalution
6 octobre 2015
Pascal Detroz, IFRES-ULg
![Page 2: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/2.jpg)
Objectifs de cet exposé
� Réfléchir aux rôles social et individuel de l’évaluateur
� Prendre conscience des qualités et défauts de l’humain en tant qu’évaluateur
� Connaître les principaux facteurs de qualité d’une évaluation
� Apprendre à penser en terme de cycle qualité en évaluation
![Page 3: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/3.jpg)
1. Une définition de l’évaluation
![Page 4: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/4.jpg)
Une définition de l’évaluation
� Evaluer c’est recueillir de l’information sur laquelle sera posée un jugement afin de prendre des décisions (Stufflebeam, 1981)prendre des décisions (Stufflebeam, 1981)
![Page 5: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/5.jpg)
Les fonctions de l’évaluation
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 6: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/6.jpg)
Les modèles de l’évaluation
� L’évaluation comme mesure� études des effets,
� la docimologie, � la docimologie,
� l’édumétrie
� L’évaluation comme gestion� Maitrise par les objectifs
� Les structuralisme
� Cybernétique� Cybernétique
� Bouclage systémique
� L’évaluation comme problématique du sens
![Page 7: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/7.jpg)
Exercice 1
� Par groupe de 2 : Méthode de l’ami jumelé
� Questionnez votre binôme quant à une expérience positive ou une expérience négative (au choix) que vous avez rencontrée expérience négative (au choix) que vous avez rencontrée
� Pour chacune de ces expériences, écrivez le cas en détails. Nous voulons notamment savoir :
� Quel était le contexte ?
� La ou les modalités d’évaluation ?
� Les éléments sur lesquels votre binôme se base pour dire que l’expérience était négative ou positivel’expérience était négative ou positive
� Les éléments qui, dans l’évaluation, vous semblaient positif ou négatif ?
� Le ressenti personnel de votre binôme. Votre ressenti personnel.
![Page 8: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/8.jpg)
3. L’humain est-il un bon évaluateur ?
![Page 9: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/9.jpg)
Une définition de l’évaluation
� Evaluer c’est recueillir de l’information sur laquelle sera posée un jugement afin de prendre des décisions (Stufflebeam, 1981)prendre des décisions (Stufflebeam, 1981)
![Page 10: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/10.jpg)
Biais liés à nos perceptions
![Page 11: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/11.jpg)
Biais liés aux interprétations
� Mis en évidence par la psychologie sociale
Exemple : l’égotisme implicite. Nous accordons plus Exemple : l’égotisme implicite. Nous accordons plus d’importance et nous ressentons plus d’attraction pour les personnes, les lieux et les activités qui contiennent les lettres de notre nom et les chiffres de notre date de naissance (Koole et al., 2001; Pelhal et al., 2002 et 2011; Jones et al.s 2004).
Exemple : The Totalitarian Ego (Greenwald, 1980). Le Exemple : The Totalitarian Ego (Greenwald, 1980). Le besoin d’un concept de soi stable est si intense qu’il agit comme un dictateur qui contrôle l’information et réécrit l’histoire à son avantage personnel.
![Page 12: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/12.jpg)
Biais liés à l’action
![Page 13: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/13.jpg)
Est-on conscient de nos lacunes
� Nous sommes des enseignants ! Nous savons évaluer !
![Page 14: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/14.jpg)
Des biais dans NOS évaluations ?
� Nous sommes des enseignants universitaires ! Nous savons évaluer !
Agazzi (1967). Pour six domaines, si correcteurs notent une série d’examen (sur 20). Le seuil de réussite est à 10. voici les résultats :
6 notes insuffisantes
Avis discordant 6 notes suffisantes
Version latine 0,4 0,5 0,1
Composition Française 0,21 0,7 0
Anglais 0,37 0,47 0,16
0,44 0,36 0,2Mathématique 0,44 0,36 0,2
Philosophie 0,09 0,81 0,1
Physique 0,37 0,5 0,13
![Page 15: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/15.jpg)
4. Le problème de la mesure
![Page 16: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/16.jpg)
L’évaluator
![Page 17: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/17.jpg)
Situation réelle
![Page 18: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/18.jpg)
Quels types d’erreurs
![Page 19: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/19.jpg)
Score à l’examen
![Page 20: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/20.jpg)
Conséquences
Si on avait une mesure de la compétence qui nous permettait dedéterminer la population des « compétents » et celle des« incompétents » (l’appareil magique), le croisement de cette mesureavec la performance observée représentée par le score à l’examennous donnerait quatre profils : les compétents-performants, lescompétents non-performants, les incompétents-performants, lesincompétents-non-performants.
![Page 21: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/21.jpg)
Objectif des examens
![Page 22: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/22.jpg)
5. La mesure de la qualité en évaluation
![Page 23: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/23.jpg)
Le concept de validité (AERA, APA, NCME, 1999)
� Ce concept est défini comme l’adéquation et lapertinence des inférences faites à partir desrésultats d’un testrésultats d’un test
� Cinq sources de preuve doivent être prises encompte dans les études de validité (le contenu,le processus de réponse, la structure interne dutest, la relation avec d’autres variablesmesurées, les conséquences du test)mesurées, les conséquences du test)
� La validité n’est pas inhérente au testdécontextualisé
![Page 24: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/24.jpg)
La qualité en évaluation
D. Leclercq a, lui aussi, défini des critères de qualité d’undispositif d’évaluation dans le domaine pédagogique. C’est ledispositif d’évaluation dans le domaine pédagogique. C’est lemodèle ETICPRAD.
Pour lui, une évaluation doit être :
EcologiqueThéoriqueInformative
ConséquentiellePrédictivePrédictiveReliable
AcceptableDéontologique
Nous reprenons de son PPT quelques exemples illustratifs.
![Page 25: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/25.jpg)
ETICPRAD
E = Ecologique (degré d’authenticité / artificialité, proximité à la réalité, à la complexité).réalité, à la complexité).
EvaluateurEtudiant
Patient simulé
![Page 26: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/26.jpg)
ETICPRAD
E = Ecologique (degré d’authenticité / artificialité, proximité à la réalité, à la complexité)réalité, à la complexité)
JusticiableEtudiant
Professeur(avocat)
![Page 27: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/27.jpg)
ETICPRAD
E = Ecologique (degré d’authenticité / artificialité, proximité à la réalité, à la complexité)réalité, à la complexité)
![Page 28: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/28.jpg)
ETICPRAD
T = Théorique (validité de contenu – de construct)
Le CONSTRUCT
![Page 29: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/29.jpg)
ETICPRAD
T = Théorique (validité de contenu – de construct)
Le CONSTRUCT
![Page 30: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/30.jpg)
ETICPRAD
T = Théorique (validité de contenu – de construct)
Le Contenu + le Construct : la table de spécification
![Page 31: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/31.jpg)
![Page 32: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/32.jpg)
![Page 33: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/33.jpg)
![Page 34: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/34.jpg)
![Page 35: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/35.jpg)
![Page 36: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/36.jpg)
![Page 37: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/37.jpg)
![Page 38: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/38.jpg)
ETICPRAD
I = Informative (diagnostique et compréhensible pour les utilisateurs)
Pour l’enseignant:
![Page 39: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/39.jpg)
I = Informative (diagnostique et compréhensible pour les utilisateurs)
ETICPRAD
Pour l’étudiant:
![Page 40: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/40.jpg)
C = Conséquentielle (suivie d’effets chez les apprenants ou le prof).
ETICPRAD
![Page 41: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/41.jpg)
P = Prédictive statistiquement du futur (réussite ou échec scolaire, professionnel, etc.).
ETICPRAD
professionnel, etc.).
![Page 42: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/42.jpg)
R = Reliable (Fidèle)
ETICPRAD
![Page 43: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/43.jpg)
R = Reliable (Fidèle)
ETICPRAD
Agazzi (1967). Pour six domaines, six correcteurs notent une séried’examens (sur 20). Le seuil de réussite est à 10. Voici les résultats :
![Page 44: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/44.jpg)
A = Acceptable (sur les principes, les coûts, les délais, sur lescharges de travail, pour les encadrants et les étudiants).
ETICPRAD
charges de travail, pour les encadrants et les étudiants).
![Page 45: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/45.jpg)
D = Déontologique (équitable, respectueuse des droits…)
ETICPRAD
![Page 46: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/46.jpg)
ETICPRAD : Evaluateur is a DJ
ETICPRAD
Sommative - critériée
Formative - certificative
Prérequis - Placement
Standardisée ou non
Prétest - postestA distance - en
présentiel
Deuil du renoncement
![Page 47: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/47.jpg)
6. Vers un cycle qualité en évaluation
![Page 48: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/48.jpg)
Le cycle qualité
![Page 49: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/49.jpg)
![Page 50: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/50.jpg)
![Page 51: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/51.jpg)
![Page 52: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/52.jpg)
![Page 53: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/53.jpg)
![Page 54: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/54.jpg)
![Page 55: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/55.jpg)
![Page 56: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/56.jpg)
Création d’une table de spécification :
Un élément central dans la construction d’évaluations de qualité
Pourquoi ? • Evaluer réellement les objectifs d’apprentissage visés par lecours ou le programme de formation en cas d’épreuvesintégrées.
• Renforcer la validité de contenu et de process.
Comment ? • Lister les points de matière qui ont été abordés au cours.• Mettre en évidence des points essentiels qui devront être
évalués.• Lister les catégories de performances qui sont visées par
l’évaluation.l’évaluation.• En déduire les objectifs d’apprentissage/d’évaluation en
croisant, lorsque c’est pertinent, les points de matière etles catégories de performance.
![Page 57: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/57.jpg)
1. Analyse
Titres Sous-titres PE
Introduction
Présentation
L’expertise du L’expertise du SMART
Une approche qualité
4 facteurs-clés
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
Point à évaluerPoint à évaluer
Priorités
Catégories de performance
Taxonomies
Binôme [PExCP]
Etape 2. Design
![Page 58: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/58.jpg)
1. Analyse
Titres Sous-titres PE P
Introduction
Présentation
L’expertise du SMARTSMART
Une approche qualité
4 facteurs-clés
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
Point à évaluer
3
3
Priorités
Catégories de performance
Taxonomies
Binôme [PExCP]
Etape 2. Design
3
3
3
2
![Page 59: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/59.jpg)
1. Analyse
Titres Sous-titres PE P CPCompr. Appli Analyse
Introduction
Présentation
L’expertise du 1CPL’expertise du SMART
1
Une approche qualité
4 facteurs-clés 3
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3
CP
Compréhension Application Analyse
Interpréter des informations. Extrapoler le sens d’un message en saisir la nature et la signification profonde
Utilisation de règles principes ou algorithme pour résoudre un problème
Découper une structure selon ses parties, distinguer les faits des hypothèses, en vue d’en expliquer le Point à évaluer 3
Priorités 3
Catégories de performance
3
Taxonomies 2
Binôme [PExCP] 3
Etape 2. Design
signification profonde d’en expliquer le fonctionnement
![Page 60: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/60.jpg)
1. Analyse
Titres Sous-titres PE P CPCompr. Appli Analyse
Introduction
Présentation
L’expertise du 1 XL’expertise du SMART
1
Une approche qualité
4 facteurs-clés 3
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3
X
X
X XX
XXPoint à évaluer 3
Priorités 3
Catégories de performance
3
Taxonomies 2
Binôme [PExCP] 3
Etape 2. Design
XX
XX
X X
XX X
XX
![Page 61: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/61.jpg)
Etape 1 : AnalyseContent Outline Recalling information taught
or readApplying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus
B Cytoplasm
C. Cell Membrane
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
1. Cell wall vs membrane
2. food manufacture
III. Cell Membrane 2 2 0
A. Living nature of
B. DiffusionB. Diffusion
C. Substances diffused by cells
IV. Division of Cells 4 1 0
A. Phases in Division
B. Chromosomes and DNA
C. Plant vs animal cell division
![Page 62: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/62.jpg)
Exemple : Table de spécification
Sophie Marsden - Service GRH
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 63: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/63.jpg)
![Page 64: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/64.jpg)
Le cycle qualité
![Page 65: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/65.jpg)
Etape 2 : Design
Choix des modalités et options de questionnement
� Choisir les modalités en s’appuyant sur les éléments de� Choisir les modalités en s’appuyant sur les éléments dela table de spécification
� Multiplier les méthodes d’évaluation
� Evaluer à l’aide de grilles les performances les pluscomplexes
� L’oral prend du temps, favorise l’erreur aléatoire, est� L’oral prend du temps, favorise l’erreur aléatoire, estsouvent faible en terme de validité de contenu, rend difficilela traçabilité
� L’oral permet l’évaluation de compétences langagières,peut être diagnostique et formatif, favorise la validité deprocessus de réponse
![Page 66: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/66.jpg)
Etape 2 : Le design de l’évaluation
Chaque type de question a ses avantages et ses inconvénients. Par exemple, les QCM permettent de poser de nombreuses questions en un temps limité, mais ne mesurent pas les performances les plus complexes.
Le choix entre les modalités et options de questionnement doit tenir compte des :
•compte des :
• objectifs d’apprentissages visés (et uniquement de ceux-ci);
• importances relatives des objectifs d’apprentissages visés (cfr table de spécification);
• décisions qui doivent être nourries par le processus d’évaluation;• principes de faisabilité et de pragmatisme.
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 67: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/67.jpg)
Le cycle qualité
![Page 68: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/68.jpg)
Etape 3 : Item
Etape de création du dispositif d’évaluation
� Poser des questions en liens avec la table de� Poser des questions en liens avec la table despécification
� Soigner la rédaction des questions et des attendus
� Standardiser les méthodes d’évaluation
� Vers un dispositif de type Ecos
� Réfléchir à la traçabilité du dispositif
![Page 69: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/69.jpg)
![Page 70: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/70.jpg)
3. Questions
Titres Sous-titres PE P CPCompr. Appli Analyse
QCM-DC-SGI-LO QCM-DC-SGI-LO
QCM-DC-SGI-LO
Introduction
PrésentationPrésentation
L’expertise du SMART
1 X
Une approche qualité
4 facteurs-clés 3 X
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de 3 X X X
Q
Table de spécification
3 X X X
Point à évaluer
3 X X
Priorités 3 X X
Catégories de performance
3 X X
Taxonomies 2 X X
Q
Q
Q
Q
![Page 71: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/71.jpg)
Le cycle qualité
![Page 72: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/72.jpg)
Etape 4 : Information
Buts : communiquer aux étudiants...
� les informations sur le test (quand, comment, avec� les informations sur le test (quand, comment, avecquelles modalités d’évaluation, sous quelles conditions,...)
� ce que comprend le test et sur quoi il se concentreparticulièrement
� des outils leur permettant de s’entraîner à fournir lesperformances attenduesperformances attendues
� des moyens de gérer leur anxiété
� certaines compétences pour gérer les modalités detesting
![Page 73: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/73.jpg)
Etape 5 : Testing
Veiller à
Pemettre à l’étudiant de démontrer son plein potentielPemettre à l’étudiant de démontrer son plein potentielen
� tenant compte des rapports de force
� protégeant les étudiants de nous-mêmes
� gardant une attitude professionnelle
� standardisant au mieux les procédures d’évaluation
![Page 74: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/74.jpg)
![Page 75: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/75.jpg)
Etape 6 : correction
Travailler à l’aide de grille d’évaluation pour sérier lesTravailler à l’aide de grille d’évaluation pour sérier lesinformations, les mesurer, les pondérer, mais aussi pourassurer la traçabilité du jugement et de la décision.
![Page 76: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/76.jpg)
Etape 7 : Feedback
Donner un feedback diagnostique et complet auxDonner un feedback diagnostique et complet auxétudiants sur leurs performances
![Page 77: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/77.jpg)
![Page 78: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/78.jpg)
Etape 7: feedback et table de spécification
On peut donner un feedback sur un item
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
item
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 79: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/79.jpg)
On peut donner un feedback relatif à un objectif d’apprentissage spécifique
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
d’apprentissage spécifique
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 80: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/80.jpg)
On peut donner un feedback relatif à un objectif d’apprentissage général
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
d’apprentissage général
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 81: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/81.jpg)
On peut donner un feedback relatif à un élément de matière spécifique
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
de matière spécifique
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 82: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/82.jpg)
On peut donner un feedback relatif à un élément de matière spécifique
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
de matière spécifique
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 83: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/83.jpg)
On peut donner un feedback relatif à un élément de matière général
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
de matière général
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 84: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/84.jpg)
On peut donner un feedback relatif à un niveau taxonomique
Etape 7: feedback et table de spécification
Content Outline Recalling information taught or read
Applying knowledge in situations very similar to those taught
Applying knowledge in a new or novel context
I. Basic Parts of Cell 1 1 1
A.Nucleus 1 item (label parts) of cell drawing
B Cytoplasm 1 item (short-answer)
C. Cell Membrane 1 item (label part of cell photo)
II. Plant vs Animal Cells 2 0 0
A. Similarities
B. Differences
taxonomique
B. Differences
1. Cell wall vs membrane 1 item (short-answer)
2. food manufacture 1 item (short-answer)
III. Cell Membrane 2 2 0
A. Living nature of 1 item (short-answer) 1 item (multiple choice)
B. Diffusion 1 item (multiple choice)
C. Substances diffused by cells 1 item (short-answer)
IV. Division of Cells 4 1 0
A. Phases in Division 2 item (short-answer)
B. Chromosomes and DNA
(c) SMART-IFRES ULg Pascal Detroz et Vinciane Crahay
![Page 85: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/85.jpg)
Etape 8 : Rétroaction
Vers une spirale qualitéVers une spirale qualité
![Page 86: Problématiques de l’évalution 6 octobre 2015](https://reader031.fdocuments.net/reader031/viewer/2022012016/615b07799bfd263c873d772e/html5/thumbnails/86.jpg)
6. Conclusion