Validité et fiabilité des questionnaires d'évaluation de ...
Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de...
-
Upload
papillion-salle -
Category
Documents
-
view
103 -
download
1
Transcript of Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de...
![Page 1: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/1.jpg)
CaDEA Atelier 3 Input
Brad CousinsUniversity of Ottawa
October 2010
![Page 2: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/2.jpg)
• Options de conception d’évaluation• Assurance de qualité de donné
– validité/crédibilité– fiabilité
• développement et validation des instruments• Stratégies pour le collection de donné
Sommaire
![Page 3: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/3.jpg)
Choisis de conception d’évaluation
• Groupes de comparaison?– Oui, non, hybride– Boîte noir, boîte gris, boîte verre
• Donné longitudinal collecté?– Oui, non, hybride
• Méthodes mélangé • Quant., qual., simultanées, séquentiel
![Page 4: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/4.jpg)
Conceptions d’évaluation alternatives
• One shot, post only– X O1
• Comparative post only– X O1– O2
• Randomized control trial– R X O1– R O2
![Page 5: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/5.jpg)
Conceptions d’évaluation alternatives
• Time series design– O1 O2 O3 O4 X O5 O6 O7 O8
• Pre-post comparative group design– O1 X O3– O2 O4
• Delayed treatment group design– O1 X O3 O5– O2 O4 X O6
![Page 6: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/6.jpg)
Concepts majeurVALIDITÉ/CREDIBILITÉ• Pointes clés
– Dégrées sur un continuum; – Décrive les résultats ou inférences; PAS l’instrument;– Dépendent sur l’instrument et le processus;– Implique évidence et jugement;
• Validité interne /crédibilité– Attribution: On est confiant que les résultats observé sont
attribuable au intervention?
![Page 7: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/7.jpg)
Menaces au validité interne• Changements chez participants actuel mais pas
relaté à la programme– Maturation– Historie
• Changements apparent dépendent ce qui était observé– Sélection– Attrition– Régression
• Changements relaté au méthodes d’obtenir les observations– Testing– Instrumentation
![Page 8: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/8.jpg)
To what degree are the results stable, and not due to chance or error?
RELIABILITY and Surveys/QuestionnairesRELIABILITY and Surveys/Questionnaires
• Standardize data collection
Instructions, time, environment
• Repeated measure (aka test-retest)
Eyeball, proportion of agreement, Pearson’s correlation
• Equivalent forms (aka parallel forms)
• Internal Consistency
Item-correlation, split-half, Cronbach’s alpha
Colton & Covert (2007), Fraenkel & Wallen (2003), Gravetter & Wallnau (2002)
![Page 9: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/9.jpg)
Développement des Instruments
• Principes générale – Commence avec instruments existant– Assure validité: face, contenu, construit (construct) – Assure fiabilité (éliminât ambigüité)– Considère exigences des taches – Mesures extrusive contra intrusive– Soit guidé par un cadre conceptuel– Demande information démographique au bout de
l’instrument– Fasse un teste pilot
![Page 10: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/10.jpg)
Développement de Questionnaire• Échelles: Nominal, ordinal, intervalle• Réponse sélecté
– Choisis multiple (tests)– Option Fixé :
• Coche tout qui s’applique• Coche UNE seule option
– Type Likert échelles indice (rating)• Fréquence (observation): N R S F A• Accordement (opinion): SD D A SA
![Page 11: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/11.jpg)
Développement de Questionnaire• Réponse sélecté (cont.)
– Préférences à classer en ordre (éviter)– Comparaison de pares
• Réponse construit – Commentaires ouverte
• Structuré• Pas structuré
– Si ‘autre’ (spécifié)
![Page 12: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/12.jpg)
Développement de Questionnaire• Formats de collection de donné
– Hardcopy – data entry format– Hardcopy – scan-able format– Internet format
• Sur spécifie (over specify) des instructions• Utilisation judicieuse de gras / italiques et variation
des caractères• Options de réponse au côté droit• Agrafant : brochure > en haute gauche > margine
gauche• Détermination judicieuse de longueur (8 p. max)
![Page 13: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/13.jpg)
Interview / Focus Group Instrument Development
• Considération des buts/ les attentes• Fasse l’espace pour les questions à permettre
réponse écrivant• Questions vs ‘prompts’ • Utilisation de quantification
![Page 14: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/14.jpg)
Collection de Donné Considérations déontologiques
– Conseil de révisions déontologiques procédures et normes
– Lettres de consent informé• But de recherche • Comment. Pourquoi sélecté• Demandes / Droits de refuser• Confidentiel vs. anonyme• Information de contact chez évaluateur
– Questions et tensions
![Page 15: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/15.jpg)
Data collection
• Tuyau d’entrevue – ‘Small talk’ – déterminer le tonalité– Enregistrement audio – permission– ‘Field notes’: Développe les habilités ‘short-
hand’ ou utilisation de symbolisme – Permette quelque déviation mais garde le piste.– Minimise redondance
![Page 16: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/16.jpg)
L’échantillon
• Quantitative pour le représentation– proportionnâtes au population– Au hasard
• Qualitative à maximiser variation– L’échantillon ‘purposive’: bas sue le connaissance
disponible de cas
![Page 17: Brad Cousins University of Ottawa October 2010. Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement.](https://reader036.fdocuments.net/reader036/viewer/2022082918/551d9d94497959293b8cb23d/html5/thumbnails/17.jpg)
Useful References
Colton, D. & Covert, R. W. (2007). Designing and constructing instruments for social research and evaluation. San Fransisco: John Wiley and Sons, Inc.
Cresswell, J. W. & Miller, D. L. (2000). Determining validity in qualtitative inquiry. Theory into practice, 39(3), 124-130.
Fraekel, J.R. & Wallen, N.E. (2003). How to Design and Evaluate Research in Education. New York: McGraw-Hill.
McMillan, J. H. (2004). 4th Ed. Educational Research. Toronto: Pearson, Bacon and Allen, pp. 172-174.
Shultz, K.S. & Whitney, D.J. (2005). Measurement Theory in Action: Case Studies and Exercises. Thousand Oaks, CA: SAGE Publications.