Post on 10-Feb-2021
L’utilisation des compétences pour guider l’ingénierie et la personnalisation des ENA
85e Congrès de l’ACFAS, 8 - 12 mai 2017 Colloque 619 - Vers une nouvelle ingénierie pédagogique pour les ENA
Rim Bejaoui, Chercheuse postdoctorale au Laboratoire en ingénierie cognitive et éducative (LICÉ), Centre de recherche LICEF (TÉLUQ)
Plan
1. Introduction2. Représentation des compétences à l’aide
des ontologies3. Analyse comparative de standards de
définition des compétences4. Évaluation des compétences5. Conclusion
2
1.Introduction
Les compétences : composante centrale dans la gestion des RH et la conception de programmes académiques
3
L’approche par compétence en éducation
◎ Années 80 (au Québec)
◎ Met l'accent sur des résultats d'apprentissage tangibles et démontrables (CAEL, 2017; Krause, Dias et Schedler, 2015)
◎ Avantages :○ Plus d’engagement de la part de l'apprenant
○ Développement d’habiletés nécessaires dans la pratique
○ Meilleure observation et rétroaction sur l’apprentissage
○ Accréditation plus précise et plus utile
4
Organisation ACycle d'apprentissage entrepreneurial guidé par les compétences(Sicilia, 2005)
KM
Entrepôts & Fournisseurs
d’objets d’apprentissage
(OA)
LMS
Contexte d’affaires
Activités d’apprentissage
Sélection /Composition d’OA
Évaluation de la performance
Analyse des écarts
Référentiel de compétences
Besoins stratégiques
Compétences m.à.j.
Compétences disponibles
Ciblage
Besoins Nouveaux produits/ services
5
Pourquoi les compétences sont elles importantes ?
6
◎ Le traitement automatisé des compétences est un élément crucial pour permettre leur partage par les systèmes informatiques :○ Gestion des ressources pédagogiques○ Gestion des listes du personnel et des apprenants ○ Gestion des CV/offres d’emploi/stages○ Accréditation/certification
2.Représentation des compétences à l’aide des ontologies
7
Représentation des compétences à l’aide des ontologies
◎ Ontologies○ Modèle formel de représentation des
connaissances
○ Utilisation de règles d’inférence ➪ acquisition de nouvelles connaissances/concepts, relations
○ En éducation:◉ Description de domaines de connaissances, objets
d'apprentissage (OA), propriétés de l'apprenant, relations entre l’apprenant et son contexte, …
◉ Amélioration de l'interopérabilité et de l'échange de données dans les systèmes d’apprentissage adaptatifs
8
“Capacité d’un individu, ou plus généralement d’une ressource, à exercer une habileté générique (sur le plan cognitif, affectif, social ou psychomoteur) avec un certain niveau de performance, par rapport à une ou plusieurs connaissances.
[Paquette, 2007]
Une compétence est la ...
9
Ontologie des compétences de Paquette (2007) (1 sur 3)
10
Ontologie des compétences de Paquette (2007) (2 sur 3)
11
Ontologie des compétences de Paquette (2007) (3 sur 3)
12
Ontologie des compétences de Paquette (2007)
◎ Énoncé de compétence ⇨ décrit le plus précisément possible la compétence○ Connaissance principale, verbe de l’habileté et performance
attendue, en utilisant les termes connus de l’organisation
◎ Exemple : ○ « Analyser les textes de loi applicables aux situations
juridiques, avec ou sans aide, selon la complexité de la situation ».
13
Ontologie des compétences de Paquette (2007)
◎ Intégration de l’ontologie dans ○ TELOS (système de recommandation, éditeur de
compétences, e-portfolio), ADISA, gabarits de MISA
◎ Extension par Rezgui et al. (2014)○ Utilisation des espaces de noms (Dublin Core, Skos
Core)
○ Intégration avec le standard HR-XML Competencies et une ontologie d’e-portfolio.
14
Ontologie des compétences de Paquette (2007)
◎ Énoncés de compétences reliés à des ontologies de domaine ○ Permet une description formelle de la partie
“connaissance” de la compétence
○ Fournit des heuristiques de comparaison de proximité sémantique des compétences (Paquette et Marino 2012)
◎ Absence des évidences et du degré de confiance associé aux compétence et aux évidences
◎ Ne prend pas en compte le processus d’évaluation d’une compétence
15
3.Analyse comparative des standards de définition des compétences● Spécification IMS RDCEO (IMS RDCEO, 2002)● Schéma HR-XML Competencies (Bloom et al., 2004)● Vocabulaire ASN (Achievement Standards Network Core RDF) (ASN, 2002)● Projet de norme ISO IEC Competency Models
(expressed in MLR)
16
Spécification IMS RDCEO (IMS Reusable Definition of Competency or Educational Objective) (IMS RDCEO, 2002)
◎ Reprise dans le standard IEEE RCD (Reusable Competency Definitions) (IEEE RCD, 2004)
◎ Minimaliste et extensible ([M] : Mandatory, [O] : Optional)○ Identifiant [M]○ Titre [M]○ Description [O]○ Définition [O]○ Métadonnées [O]
17
Ontologie RDF de la spécification IMS RDCEO
18
Spécification IMS RDCEO (IMS RDCEO, 2002)
◎ Pas d'indication sur comment évaluer ou comparer les compétences
◎ Permet l’ajout de métadonnées◎ La plupart des éléments du modèle de
données sont de type String⇨ Interopérabilité limitée
◎ Omet le “contexte” et le “niveau de performance”○
19
Schéma HR-XML Competencies (Bloom et al., 2004)
◎ Extension des standards IMS RDCEO et IEEE RCD○ Propriété « subsume » : une compétence peut inclure
d'autres compétences○ Élément « CompetencyWeight » : représente le niveau
de performance associé à la compétence ○ Élément « CompetencyEvidence » : démontre
l’acquisition d’une compétence par un individu (ex. note dans un test, certificat, etc.)
○ Élément « TaxonomyId » : références vers des taxonomies de compétences externes
20
Ontologie RDF du schéma HR-XML Competencies
21
Ontologie RDF du schéma HR-XML Competencies (Suite)
22
23
Schéma HR-XML Competencies (Bloom et al., 2004)
◎ Classement et évaluation des compétences○ «subsume», «CompetencyWeight»,
«CompetencyEvidence», «TaxonomId»
◎ Simplification excessive du terme compétence
◎ Ne permet pas la comparaison sémantique
Vocabulaire ASN (Achievement Standards Network Core RDF) (ASN, 2002)
◎ Espace de noms, fournit des URI vers des termes utiles autour des compétences
◎ 2 types de relations :○ Structurelles
(ex. isChildOf, hasChild)
○ Sémantiques (ex. CrossSubjectReference)
◎ 8 classes et 37 propriétés
Modèle conceptuel du vocabulaire ASN (ASN, 2012)
24
Ontologie RDF du Vocabulaire ASN
25
Vocabulaire ASN (ASN, 2012)
◎ Fortement axé sur les énoncés en langage naturel
◎ Intègre plusieurs niveaux d’alignement entre énoncés de compétences○ ASN: Map (minorAlignement, majorAlignement,
prerequisiteAlignment, exactAlignement, …)
◎ Le référencement et la comparaison de compétences en langage naturel restent difficiles
26
Norme ISO IEC Competency Models (expressed in MLR)
◎ Représentation au format MLR (ISO-CEI 19788-1) de la structure et des métadonnées utilisées pour décrire : ○ Une compétence (Competency semantic
information model: ISO- IEC 20006-2: 2015)
○ Le niveau de performance (Proficiency information model: ISO-CEI 20006-1: 2014)
○ Les relations des 2 modèles.
27
Ontologie RDF de la norme ISO IEC Competency Models
28
Proficiency information model (ISO-IEC 20006-2:2015
Competency semantic information model (ISO-IEC 20006-1:2011)
Norme ISO IEC Competency Models (expressed in MLR)
◎ Types des propriétés des classes mal définis ou manquants○ La plupart sont de type MLR String
◎ Pas d'orientations pour la comparaison sémantique entre compétences
◎ Spécification du “contexte” (Scenario_unit)○ Ex. Évaluation de la compétence : AssessmentProcess
(MLR string)
29
Comparaison : Ontologie de Paquette vs. IMS RDCEO vs. HR-XML Competencies vs. Vocabulaire ASN vs. ISO IEC Competency Models (Support : “⬛” = total, “⬜” = partiel, “ ” = absent)
CritèreOntologie de
PaquetteIMS RDCEO
HR-XML Competencies
Vocabulaire ASN
ISO IEC Competency
Models
Partie “Connaissance”
⬛ ⬜ ⬜ ⬜
Partie “Habileté”
⬛ ⬜ ⬜ ⬜
Partie “Performance”
⬛ ⬜ ⬜ ⬜
Évidence ⬛
Degré de confiance
Comparaison sémantique
⬛ ⬜ ⬜
Évaluation ⬜30
4.Évaluation des compétences
31
Évaluation des compétences
◎ ≠ Approche béhavioriste○ Objectif d’apprentissage : ✓atteint ou ╳ non atteint
◎ Notion d'acquisition graduelle de compétences
➤ Hypothetical Growth Curves for a Single Trainee for different Entrustable Professional Activities (EPAs) (Norman et al., 2014)
32
Évaluation des compétences
◎ Les apprenants démontrent leur maîtrise de nouvelles compétences○ Tâches liées à des problèmes du monde réel (ex.
simulations, projets de groupe, ...).
○ Vérification du niveau d'habileté, niveau de performance
◎ Spécification HR-XML Assessments ○ 3 Schémas (Demande d’évaluation, Catalogue d’
évaluation, Rapport d’évaluation)
◎
33
Spécification HR-XML Assessments
Demande d'évaluation
(Assessment Order)
Informations pour exécuter un test de recrutement ou
une évaluation du rendement
Catalogue d'évaluation
(Assessment Catalog)
Rapport d'évaluation
(Assessment Report)
Instruments d’évaluation disponibles, regroupés en
‘’paquets’’
Scores et autres détails pour répondre à une demande
d'évaluation
34
6.Conclusion et travaux futurs
35
Conclusion
◎ Définition/représentation/évaluation des compétences○ Effort de standardisation en cours, mais manque
d’études comparant les différentes propositions
◎ Diversité des sources d’information pour vérifier la validité des compétences○ Prise en compte de différents points de vue
◉ Autoévaluation, évaluations par les pairs, évaluation à correction automatisée, ...
36
Conclusion (suite)
◎ Personnalisation des scénarios pédagogiques○ Ordonnancement d'OA (Dharshini et al., 2015 ; de-Marcos et al., 2014)○ Génération d’évaluations personnalisées (Cheng et al., 2009 ;
Wan et Niu, 2016)
○ Assistance personnalisée en fonction des compétences
◎ Validation des scénarios pédagogiques dirigée par les compétences (Contamines, 2008 ; Contamines et al., 2009)
37
Travaux futurs
◎ Extension/actualisation de l’ontologie des compétence de Paquette (2007) ○ Traduction au format RDF/RDFS, utilisation des
espaces de noms ○ Évidence et degré de confiance compétence/évidence○ Évaluation de compétence
◉ Agent évaluateur, type d’évaluation, type d’instrument d’évaluation, critères d’évaluation, pondération des critères, etc.
◎ Intégration de l’ontologie à une nouvelle méthode d’IP d’ENA
38
RéférencesASN. (2012). Achievement Standards Network Core RDF. Repéré à http://standards.asn.desire2learn.com/index.php?title=ASN_Vocabulary
Bloom, N., Bork, D., Kiel, P., Scott, D., Edwards, J. D., Cohn, D., … Dolan, K. (2004). HR-XML Competencies (Measurable Characteristics) Recommendation. Chuck Allen, HR-XML. Repéré à http://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.html
CAEL. (2017). Competency-Based Education. Repéré à http://www.cael.org/higher-education/competency-based-education
Cheng, S.-C., Lin, Y.-T. et Huang, Y.-M. (2009). Dynamic question generation system for web-based testing using particle swarm optimization. Expert Systems with Applications, 36(1), 616‑624. doi:10.1016/j.eswa.2007.09.064
Contamines, J. (2008, 28 août). Cadre de référence pour la validation dirigée par les compétences des agrégats d’objets d’apprentissage. DIC 9411 - Projet de thèse, TELUQ, Montréal.
Contamines, J., Paquette, G. et Hotte, R. (2009). LÉO, assistant logiciel pour une scénarisation pédagogique dirigée par les compétences. Revue internationale des technologies en pédagogie universitaire, 6(2-3), 26–33.
de-Marcos, L., Domínguez, A., Saenz-de-Navarrete, J. et Pagés, C. (2014). An empirical study comparing gamification and social networking on e-learning. Computers & Education, 75, 82‑91. doi:10.1016/j.compedu.2014.01.012
Dharshini, A. P., Chandrakumarmangalam, S. et Arthi, G. (2015). Ant colony optimization for competency based learning objects sequencing in e-learning. Applied Mathematics and Computation, 263, 332–341.
39
http://standards.asn.desire2learn.com/index.php?title=ASN_Vocabularyhttp://standards.asn.desire2learn.com/index.php?title=ASN_Vocabularyhttp://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.htmlhttp://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.htmlhttp://www.cael.org/higher-education/competency-based-educationhttp://www.cael.org/higher-education/competency-based-education
RéférencesIEEE RCD. (2004). IEEE Draft Standard for Learning Technology - Standard for Reusable Competency Definitions (p. 32 pages). Three Park Avenue New York, NY 10016-5997, USA : Institute of Electrical and Electronics Engineers, Inc. Repéré à http://grouper.ieee.org/groups/ltsc/wg20/files/IEEE_1484.20.WD_01_rough.pdf
IMS RDCEO. (2002). IMS Reusable Definition of Competency or Educational Objective Specification. IMS Global Learning Consortium Inc. Repéré à https://www.imsglobal.org/content/rdceo-v1
Krause, J., Dias, L. P. et Schedler, C. (2015). Competency-based education: A framework for measuring quality courses. Online Journal of Distance Learning Administration, 18(1), 1–9.
Norman, G., Norcini, J. et Bordage, G. (2014). Competency-Based Education: Milestones or Millstones 1?. The Accreditation Council for Graduate Medical Education Suite 2000, 515 North State Street, Chicago, IL 60654. Repéré à http://www.jgme.org/doi/full/10.4300/JGME-D-13-00445.1
Paquette, G. (2007). An ontology and a software framework for competency modeling and management. Educational Technology & Society, 10(3), 1–21.
Rezgui, K., Mhiri, H. et Ghédira, K. (2014). An ontology-based approach to competency modeling and management in learning networks. Dans Agent and Multi-Agent Systems: Technologies and Applications (p. 257–266). Springer. Repéré à http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26
Sicilia, M.-A. (2005). Ontology-based competency management: infrastructures for the knowledge intensive learning organization. Dans Intelligent learning infrastructure for knowledge intensive organizations: A semantic Web Perspective (p. 302–324). IGI Global. Repéré à http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420
Wan, S. et Niu, Z. (2016). A learner oriented learning recommendation approach based on mixed concept mapping and immune algorithm. Knowledge-Based Systems, 103, 28‑40. doi:10.1016/j.knosys.2016.03.022
40
http://grouper.ieee.org/groups/ltsc/wg20/files/IEEE_1484.20.WD_01_rough.pdfhttps://www.imsglobal.org/content/rdceo-v1http://www.jgme.org/doi/full/10.4300/JGME-D-13-00445.1http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420
Merci !Des questions ?
Contact :◎ www.linkedin.com/in/rim-bejaoui◎ rim.bejaoui@cogis-consulting.com◎ bejaoui.rim@univ.teluq.ca
41
http://www.linkedin.com/in/rim-bejaouihttp://www.linkedin.com/in/rim-bejaouimailto:rim.bejaoui@cogis-consulting.commailto:rim.bejaoui@cogis-consulting.commailto:bejaoui.rim@univ.teluq.camailto:bejaoui.rim@univ.teluq.ca