L’équipe d’évaluation
description
Transcript of L’équipe d’évaluation
Consortium de recherche et d'information sur la réussite étudiante dans l'enseignement supérieur
L’évaluation de programmes de prévention de l’échec scolaire au
secondaire: leçons et défis
Michel Janosz - CRIRES Université de Montréal
14 Février 2003
L’équipe d’évaluation
Des chercheurs experts (M. Janosz, P. Abrahmi, J. Bélanger, R. Bertrand, F. Bowen, S. Cartier, M.-A. Deniger, R. Deslandes, M. Perron) provenant de différents champs de spécialisation
Des coordonnatrices (M. Lacroix, C. Quiéroga, G.Roy, G. Légaré, C. Gendron, A. Larose)
Des étudiantes apprenant leur métier (assistantes de recherche)
Prévention de l’échec scolaire en milieux défavorisés : de récentes expériences d’évaluation de programmes
Programme d’Action Concertée sur l’abandon scolaire 1998-2001 (FCAR)
Évaluation de la Stratégie d’Intervention Agir Autrement (SIAA) 2002-2007 (MEQ)
Objectifs communs
Évaluer la qualité d’implantation des interventions
Évaluer les effets : atteinte des objectifs et ampleur des effets
Identifier les processus (facteurs médiateurs et modérateurs) responsables des effets observés
Des méthodologies similaires
Étude d’implantation : – Méthodologies quantitatives (questionnaires)
et qualitatives (entrevue de groupe, analyse documentaire, observations directes ?)
Étude des effets : – Méthodologies quantitatives (devis quasi-
expérimental, longitudinal, analyses à mesure répétée) et qualitatives (analyse de contenu et histoires de cas)
Opérationnalisation de la réussite scolaire
Perspective multidimensionnelle :– Instruction /Qualification :
• rendement, persévérance, décrochage, stratégies d’apprentissage…
– Socialisation : • motivation, attitudes face à la scolarisation, indiscipline,
adaptation psychosociale (conduites déviantes, problèmes intériorisés)
– Variables médiatrices/modératrices : • Qualité de la relation avec les enseignants, qualité des
pratiques pédagogiques, influence des pairs déviants, engagement et soutien parental, climat scolaire..
Caractéristiques individuelles
Sexe Âge
Expérience scolaire passée
Intégration scolaire et sociale de
l’élève
Performance
Stratégiesd’apprentissage
Motivation Relations sociales(pairs, personnel enseignant, autres adultes)
Habiletés sociales
Adaptationpsychosociale
Environnementssocioéducatifs
Communauté
École
Famille
Réussite scolaire
Passage d’un cycle à l’autre
Intégration socioprofessionnelle ?
Persévérance
Performance
Diplômation
Contexte sociodémographiqueet culturel
Urbanicité / ruralitéConditions sociales et économiques
Structure familialeDiversité ethnique et culturelle
Figure synthèse des dimensions considérées pour l’évaluation de la Stratégie d’Intervention Agir Autrement
Dimensions déterminantes mais qui échappent à l’influence des écoles secondaires
Dimensions prédictives de la réussite scolaire susceptibles d’être modifiées par les interventions ou d’expliquer les résultats observés
Résultats attendus
18/09/02 DOCUMENT DE TRAVAIL Unité de coordination / Équipe de recherche évaluative SIAA Michel Janosz
?
?
?
Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir Autrement
DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA
CONTEXTE SOCIODƒMOGRAPHIQUE ENVIRONNEMENTS SOCIOƒDUCATIFS RƒUSSITE SCOLAIREET CULTUREL
Environnement urbain / rural ƒCOLE Dimension lie ˆ la qualificationConditions sociales et conomiques
Diversit ethnique et culturelle Climat Accroissement du taux de russite aux examensStructure familiale Climat relationnel
Climat de scurit Accroissement du taux de passage au cycle suivantClimat de justice ˆ l'intrieur du laps de temps prvu
CARACTƒRISTIQUES INDIVIDUELLES Climat ducatifClimat d'appartenance Accroissement du taux de dipl™mation
Sexe Pratiques ducatives Rduction du taux de dcrochageåge Encadrement cole / classe
Exprience scolaire passe Soutien aux lves ˆ risque Accroissement du taux d'lves qui poursuivent Leadership et gestion de la direction leurs tudes aprs 17 ans
Activits parascolairesCollaboration cole-famille
Collaboration cole-communautAUTRES DIMENSIONS DE LA RƒUSSITE
Perception de problmesAbsentisme
Indiscipline Amlioration de l'intgration socioprofessionnelleViolence / drogues
Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir autrement
DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA
ENVIRONNEMENTS SOCIOƒDUCATIFS
ƒCOLE (suite)
Exprience scolaire du personnelMotivation / Satisfaction professionnelle
Relations avec lves, communication avec les parentsRelations entres les membres du personnel
Mobilit, roulement, recrutementSoutien et dveloppement professionnel
FAMILLE
Pratiques ducativesSoutien, encouragement, valorisation
Supervision, encadrementCommunication et attachement enfants-parents
Collaboration famille-cole
COMMUNAUTƒRelations avec les organismes sociosanitaires
Relations avec les organismes communautairesRelations avec les organismes culturels et conomiques
Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir autrement
DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA
INTƒGRATION SCOLAIRE ET SOCIALE DE L'ƒLéVE
Intgration scolairePerformance
PersvranceStratgies d'apprentissages
Motivation, Engagement, Sentiment d'appartenanceInvestissement parascolaire
Attitudes envers le dcrochage
Intgration socialeHabilets sociales
IndisciplineRelations entre pairs
Relations avec le personnel enseignant etles autres adultes
Adaptation psychosocialeDlinquance, drogue
Anxit, dpression
Intgration socioprofessionnelle
Action concertée - rappel des résultats
Résultats immédiats (court terme 6 mois)
Un impact saisissable dès l’entrée au programme (meilleur rendement, meilleure motivation, apaisement si entrée en situation de crise)
Une capacité d’héberger et de protéger les élèves particulièrement observable chez les jeunes soutenus par leurs parents
Action concertée - Quelques leçons méthodologiques
Intégrité des programmes (implantation), objectifs clairs et contrôle des chercheurs.
Grosseur de l’échantillon, puissance statistique, mesure de l’ampleur des effets (effect size)
Importance des mesures répétées et longitudinales (puissance stat., et pérennité des effets
Coût-bénéfice de la triangulation des mesures (le problème de mesures observationnelles; autorévélées)
SIAAPrésentation
La Stratégie d’intervention Agir Autrement vise à financer, sur 5 ans et jusqu’à concurrence de 125 $, 191 écoles secondaires de milieux défavorisés
Le groupe d’évaluation de la SIAA est chargé de conduire deux grands volets d’enquête, un portant sur la qualité d’implantation de la Stratégie, l’autre sur les effets de l’intervention
Le groupe d’évaluation est également chargé de contribuer à différents moments de l’implantation de la Stratégie (état de situation, diffusion des pratiques efficaces, etc.)
SIAAÉchantillon 70 écoles ciblées et 20 écoles de comparaison Plus de 50 000 élèves et plus de 5000 membres du
personnel 2 temps de mesures de 2 heures à chaque fois
pendant 4 ans + Opération relance auprès des décrocheurs .
Composition d’une cohorte de 1400 élèves faisant l’objet d’une attention toute particulière : mesures supplémentaires, entretiens qualitatifs auprès des élèves et de leurs parents (une centaine au total), observations en classe, etc.
SIAA
Défis de l’évaluation de l’implantation
La SIAA est plus prescriptive que directive
Emphase mise sur l’action locale et sur le contrôle local
Absence de contrôle de l’intervention et ses impacts sur l’évaluation de l’implantation
Opposition entre une «logique de diffusion» et une «logique de traduction»
SIAADéfis de l’évaluation des effets
Absence de contrôle sur les programmes et les objectifs d’intervention (effets)
Devis de recherche : quasi-expérimental faible (groupe de comparaison non équivalent ou absence de contrôle de l’effet historique)
L’obtention des consentements des parents des mineurs et la mobilisation des écoles
Problème de standardisation des mesures du rendement scolaire
Absence de neutralité des chercheurs (engagement à offrir des
rétroactions annuelles sur un ensemble d’indicateurs)
SIAADéfis de l’évaluation des effets
Gestion de la collecte de données à travers la province
Retour rapide de résultats aux écoles
SIAA
Conclusion La bonne nouvelle, c’est qu’on a eu le contrat
d’évaluation (capacité de fonder les pratiques efficaces; de mesurer de près l’effet des programmes sur les différents types de jeunes, échantillon unique, etc.)
La mauvaise nouvelle, c’est qu’on a eu le contrat (démesure des attentes, des possibles, de la gestion, de la synthèse, etc.)