évaluation en promotion de la santé
-
Upload
aymery-constant -
Category
Education
-
view
207 -
download
2
Transcript of évaluation en promotion de la santé
Evaluer en promotion de la santé
Aymery Constant
Maitre de conférences
EHESP
Prevention et promotion de la santé
Début XX°: Bond de l’espérance de vie, bien avant les
progrès de la médecine
Aujourd’hui encore, la plupart des causes de mortalité
prématurées sont évitables
Les actions de promotion de santé et de prévention
sont donc pertinentes pour…
….augmenter l’espérance de vie en bonne
santé, le bien-être, la productivité, et éviter blessures, et
maladies…
EHESP
2
Quelques exemples…
EHESP
4
EHESP
5
EHESP
6
EHESP
7
EHESP
8
Un très bon slogan, très bien mémorisé (1984)
….mais quel effet sur la consommation
d’alcool?
EHESP
9
Susciter la peur
EHESP
10
Susciter la peur
Quelle logique sous tend ces actions?
EHESP
11
Une logique de slogan
Pendant des décennies, les actions de promotion de la
santé et de prévention ont été assimilées à des
campagnes publicitaires
Peu ou pas d’évaluation; évaluation sous forme
d’enquêtes de satisfaction; de mémorisation des
messages; de « taux de pénétration » des
campagnes d’information…etc .
Effet « plafond » de ce type de campagne atteint
EHESP
12
EHESP
13
+
Les couples hétérosexuels
monogames stables (et à
haut revenus, visiblement)
sont-ils la cible prioritaire
pour les campagnes
d’information sur le
préservatif ?
Ratage de cible
EHESP
14
Potentiel d’identification: nul
EHESP
15
Ratage de communication sur les déterminants
(la honte à ceux qui ont des difficultés)
Quelles sont les points communs de
ces campagnes d’information ?
EHESP
16
Situation en France
Des indicateurs inquiétants…mais réversibles !
• Un des taux de mortalité prématuré les plus élevés d’Europe de
l’Ouest
• Taux de suicide le plus élevé d’Europe de l’Ouest
• Espérance de vie en bonne santé inférieure aux pays voisins
• Consommation d’alcool très élevée
• Consommation d’alcool et de cannabis la plus élevée chez les
adolescents en Europe
• Consommation de psychotropes la plus élevée au monde
Seule l’entrée des pays de l’est dans Union Européenne a
permis à la France de « descendre » dans les classements
EHESP
17
Les principes fondamentaux de l’évaluation
19
L’efficacité, un mot tabou en prévention et promotion de la santé ?
20
Urbanisation
croissante
Pauvreté
grandissante Vieillissement
Des populations
dépendance
Détérioration de
l'environnement
Erosion de la volonté
générale d'aide
Exigences
des beneficiaires
Restrictions
budgetaires Actions de santé
Scepticisme des
commanditaires
Extension
modèle
anglo-saxon (et évaluation)
Incertitudes
institutionnelles Déficits liés aux dépenses de santé
Raisons pour des actions efficaces
21
Et du point de vue de l’usager ?
EHESP
22
Les bénéfices de l’évaluation
23
t1
Conception
etc...
t3
Conception
Planification
Réalisation
Evaluation
Conception
Planification
Réalisation
Evaluation
t2
Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences
24
Inconvénients de l’évaluation?
Les étapes de la démarche d’évaluation
EHESP
26
27
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
Planification
28
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Pop cible effective
Actions Effectives
Objectifs atteints Autres effets
Actions Prévues
Pop cible prévue
Planification Réalisation
29
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
Evaluation du projet et de sa planification
Validité du diagnostic initial
Pertinence des objectifs et de la
conception des actions
Pertinence du choix de la pop cible
Pertinence de la planification
Organisation
Faisabilité
Etude des coûts
Etc…
30
Ressources Effectives
Pop cible effective
Actions Effectives
Objectifs atteints Autres effets
Evaluation de la Mise en oeuvre
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
31
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Activités Effectives
Objectifs atteints Autres effets
Activités Prévues
Pop cible prévue
Pop cible effective
Evaluation de processus
Evaluation des résultats
32
Le "moment" d'une évaluation
Diagnostic
Planification
Démarrage
Réalisation (Phase 1)
Réalisation (Phase 2)
....
Fin du projet
Poursuite des effets
Les
moments de
la vie d'un projet, d'un programme
ou d'une politique
Etudes de faisabilité (évaluation ex-ante)
Evaluation en cours
Evaluation à mi-parcours
Evaluation finale
Evaluation retrospective
Les
moments
de
l'évaluation
33
Selon les "moments" de l'évaluation, les buts diffèrent
Avant Pendant À la fin Avant et après
Vérifier la
conception
et la
planification
Améliorer
la mise en
œuvre
Rendre des
comptes
Déterminer
l’impact
Programme
Début
L’évaluation n’a de sens que…
- Si elle a été planifiée et conçue en même temps que le projet
(le projet est lui-même conçu en intégrant l’évaluation)
- Si elle a débuté avant l’action, continue pendant l’action et se
poursuit après
- Si l’action est évaluable (les indicateurs de qualité du projet,
de processus et de résultat sont collectés et disponibles)
EHESP
34
EHESP
35
Wholey (1970) a proposé quatre conditions préalables à
l’évaluation:
1. La logique d’intervention est claire, connue et partagée de
tous;
2. Les relations causales et la logique de l’intervention sont
plausibles (fondement théorique) et les activités planifiées
devraient permettre d’atteindre les effets attendus (elles ont
déjà fait leurs preuves);
3. Les données nécessaires pour réaliser l’évaluation sont
disponibles ou accessibles (collecte planifiée dans le
projet)
4. L’utilité de réaliser l’évaluation est reconnue par les
utilisateurs potentiels des résultats (peut aider à la mise en
œuvre et à améliorer les effets de l’action).
Utile
Les qualités d'une évaluation
Crédible
Utile
Pertinente Accessible (digne de confiance)
Les qualités d'une évaluation
Crédible
Qualité et transparence des méthodes employées, compétence des évaluateurs
Utile
Pertinente
Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique
Accessible
Qualité des mesures et des relations causales établies
Caractère reproductible des conclusions (un autre évaluateur
aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations
(digne de confiance)
Les qualités d'une évaluation
Crédible
Utile
Pertinente
Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique
Accessible (digne de confiance)
Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes
Les qualités d'une évaluation
Crédible
Utile
Pertinente
Communication des résultats
Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements
Accessible
,
(digne de confiance)
Qualité du rapport : organisation, taille, style (clarté, concision)
Les qualités d'une évaluation
Quelles compétences pour un évaluateur ?
Questions évaluatives
• Savoir quelles questions poser aux différentes
étapes du projet/action (avant, pendant, après)
• Savoir comment y répondre (méthodes, outils..)
• Analyser les étapes du projet/action en fonction
de ces éléments
• Utiliser ces informations pour émettre des
recommandations en vue d’améliorer l’action
EHESP
42
À la fin de l’action
• Qu’est ce qui a fonctionné comme prévu ?
• Qu’est ce qui n’a pas fonctionné comme prévu et
pourquoi ?
• Les résultats sont-ils conformes aux prévisions?
• Quels événements imprévus et pourquoi ?
• Utiliser ces informations pour émettre des
recommandations en vue d’améliorer l’action
EHESP
43
44
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Activités Effectives
Objectifs atteints Autres effets ?
Activités Prévues
Pop cible prévue
Pop cible effective
45
Diagnostic Exemple:
L’analyse de la situation est-elle pertinente,
claire, fondées sur les données
épidémiologiques disponibles et actualisées ?
46
Objectifs - généraux
- spécifiques
Exemple:
Les objectifs sont-ils clairs; quantifiables;
réalistes; pertinents au regards de la
situation et des actions en promotion de la
santé ?
47
Activités Prévues
Pop cible prévue
Exemple:
Les activités prévues sont-elles efficaces
pour atteindre les objectifs ? Sont-elles
adaptées à la population-cible ?
48
Ressources Prévues
Ressources Effectives
Exemple:
Les ressources effectives correspondent
elles aux ressources prévues? Sont-elles
attribuées selon le plan initial ?
49
Activités Effectives
Pop cible effective
Exemple:
Les actions se sont-elles déroulées
comme prévu ? Les participants
ont-ils été satisfaits ?
50
Activités Effectives
Objectifs atteints Autres effets ?
Pop cible effective
Exemple:
A –on observé un changement chez
les participants ?
Ce changement correspond t-il aux
objectifs ?
Approche systématique: le Preffi 2.0
EHESP
52
L’approche systématique
Une approche systématique implique des étapes menant à des
choix.
Permet d’établir des décisions conscientes, et réfléchies
aboutissant à un projet cohérent et basé sur le bon sens.
Une approche systématique est particulièrement importante pour
faire les choix théoriques les plus justes.
En même temps, ces derniers sont limités par des contraintes
pratiques telles que le financement, le recrutement et le temps.
Ces ressources et la manière de les prendre en compte
influencent de manière importante le succès d'un programme.
EHESP
53
Avantages
Une approche systématique augmente les chances de succès en
permettant d’éviter certaines erreurs (Kok, 1992) comme :
• Traiter un problème inexistant, mettre en place une action de
grande envergure pour un problème exceptionnel ou touchant un
groupe spécifique qui fait déjà l’objet d’interventions adaptées
(mauvaise analyse du problème)
• Se concentrer sur des comportements ou des facteurs
environnementaux dont la relation avec le problème est
incertaine. (mauvaise analyse des déterminants)
• Concevoir l'intervention à partir d’une analyse incorrecte des
motivations du comportement. Par exemple, on suppose
souvent à tort que la connaissance par le public des effets
dangereux sur la santé d’une pratique suffit pour changer ce
comportement ;
EHESP
54
Permet d’éviter de…
• Concevoir une action inadéquate. Par exemple, diffuser un
dépliant sur un programme d'échange de seringues pour des
toxicomanes alors que les seringues nécessaires ne seront
disponibles que six mois plus tard (mauvaise analyse de la mise en
œuvre)
• Concevoir une action dont l'introduction (à grande échelle)
s'expose à une résistance. Citons l'exemple de la brochure
hollandaise sur le sida prévue pour les enfants scolarisés et
rejetée par les écoles de confession chrétienne (mauvaise
analyse de la population-cible)
EHESP
55
Avantages du Preffi
• Permettre de se lancer dans un processus d’évaluation à
toutes les étapes de l’action, même sans disposer d’une
expérience de 20 ans (avantage de l’outil didactique)
• Produire des évaluations structurées et standardisées,
facilement lisibles pour des non spécialistes;
• Permettre de comparer différentes évaluations d’une même
action (convergence inter-évaluateurs); ou de plusieurs
actions différentes
EHESP
56
Limites
• Structure pouvant paraitre rigide et peu adaptable;
items/questions non pertinentes
• Fournit des lignes directrices qui peuvent et doivent être
modifiées en fonction de la situation, des problèmes
rencontrés, des évaluateurs etc.
• Les échanges avec les acteurs de l’action et de
l’évaluation doivent être le plus fréquent possibles, sur
la base des informations fournies par cet outil
• Guide la réflexion individuelle et collective, mais ne la
remplace pas
EHESP
57
58
Des objets de taille variable
Action/mesure
Action/mesure
Projet Projet
Programme
Politique
Action/mesure
Action/mesure
Action/mesure
Action/mesure
Projets, programmes, politiques
L'évaluation porte sur des objets de taille variable
EHESP
59
Dimensions évaluées dans le Preffi
EHESP
60
Projet centré sur l’élaboration de stratégies politiques
de santé
Evaluation en fonction de l’objet à analyser
EHESP
61
Projet de mise en œuvre
Evaluation en fonction de l’objet à analyser
EHESP
62
Projet communautaire
Evaluation en fonction de l’objet à analyser
EHESP
63
Projet de diagnostic
Evaluation en fonction de l’objet à analyser
EHESP
64
Evaluation de processus et de résultats
Evaluation en fonction de l’objet à analyser
65
Evaluation d’un programme/action de
santé
Approximativement nous retenons :
- 10% de ce que nous lisons
- 20% de ce que nous entendons
- 30% de ce que nous voyons
- 50% de ce que nous voyons et entendons
- 80% de ce que nous disons
- 90% de ce que nous mettons en pratique
Exercice : conduire les différentes étapes d’un
processus d’évaluation à l’aide d’un outil standardisé
Le diagnostic a t-il été correctement effectué ?
Question évaluative 1
Diagnostic: Evaluer le problème
Un projet pertinent doit cibler un problème de santé ayant des
conséquences significative sur la santé des gens (espérance de
vie, qualité de vie, espérance de vie en bonne santé, bien être..)
Différent aspects sont à prendre en compte:
Incidence / prévalence, mortalité prématurée
fardeau de la maladie / qualité de vie,
expérience et signification de la maladie
Déterminants (biologiques, sociaux, psychologiques, comportementaux…)
Spécificité géographique ou temporelle
Cout de la Prise en charge
Coût humain; cout financier; cout en terme de productivité, de
développement
Année de vie perdues (DALYS)
EHESP
67
68
Où chercher les données?
Sources possibles
L’OMS (http://www.who.int/publications/fr/)
Le Bulletin Epidémiologique Hebdomadaire (http://www.invs.sante.fr/beh/)
L’OCDE (http://www.oecd.org/fr/statistiques/)
L’Union Européenne
(http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home)
L‘INSERM (http://www.inserm.fr/thematiques/sante-publique/rapports-
publies)
Les organismes spécialisés comme l’OFDT ou l’ONISR
(http://www.securite-routiere.gouv.fr/medias-
outils/documentation/bibliographie)
(http://www.ofdt.fr/ofdtdev/live/publi.html)
Principales causes de décès en 2009
Hommes Femmes Total
en effectif en % en effectif en % en effectif en %
Maladies
infectieuses et
parasitaires (1)
5 268 2 5 531 2 10 799 2
Tumeurs 93 134 34 66 310 25 159 444 30
Tumeurs du larynx,
trachée, bronches
et poumon
23 453 9 7 429 3 30 882 6
Tumeurs du côlon 6 530 2 5 990 2 12 520 2
Tumeurs du rectum
et de l’anus 2 482 1 2 040 1 4 522 1
Tumeurs du sein 200 ns 11 588 4 11 788 2
Troubles mentaux
et du
comportement
7 482 3 10 059 4 17 541 3
Maladie de
l’appareil
circulatoire
66 833 25 77 510 29 144 343 27
Maladies
cérébrovasculaires 13 266 5 18 720 7 31 986 6
Cardiopathies
ischémiques 20 774 8 15 765 6 36 539 7
Maladies de
l’appareil
respiratoire
17 654 6 16 207 6 33 861 6
Maladies de
l’appareil digestif 12 543 5 10 888 4 23 431 4
Causes externes 22 620 8 14 748 6 37 368 7
Accidents de
transport 3 262 1 1 044 ns 4 306 1
Suicides 7 739 3 2 725 1 10 464 2
Autres causes 45 697 17 60 277 23 105 974 20
Total 272 253 100 263 113 100 535 366
Diagnostic: Evaluer le contexte
Un projet pertinent doit prendre en compte le contexte local
Le contexte regroupe plusieurs aspects : géographique, social, culturel,
environnemental, historique, politique, conduites….législatif,
réglementaire.
l’ancrage dans un territoire et dans une problématique locale sont
des caractéristiques intrinsèques des actions de santé.
Le diagnostic va permettre d’analyser la situation sur le territoire,
il est recommandé d’associer des acteurs locaux à cette phase de
diagnostic afin d’élargir le champ des points de vues, de vérifier la
pertinence de notre démarche et d’impliquer le plus grand nombre de
personnes possible dans le dialogue territorial.
EHESP
71
EHESP
72
Questions possibles
Est-ce que nous avons identifié dans quelle zone géographique se déroule notre
projet ?
• Dans quel type d’environnement (urbain, rural, semi-rural, cité…) ?
• En quoi peut-on s’appuyer sur les ressources locales ?
• Est-ce que nous avons réalisé un diagnostic de départ ? Quelles habitudes,
attitudes des participants envers la santé ?
• Quelle connaissance des participants de leur santé, des problèmes de santé ?
• Est-ce qu’il y a une politique de santé sur le territoire ?
• Est-ce que notre projet est ancré sur le territoire ?
Est-il construit à partir d’une problématique locale ?
• Est-ce que notre projet est relié à des problématiques globales ?
• Est-ce que notre discours est approprié à ce que peuvent observer les
participants par eux-mêmes?
• Est-ce que notre projet respecte les réglementations
en vigueur ?
Diagnostic: Evaluer le public
EHESP
73
Le projet doit partir d’un repérage des besoins et caractéristiques
du public-cible
L’implication des participants est un des aspects fondamentaux de
toute actions de santé, c’est pourquoi la prise en compte de leurs
caractéristiques est un critère de qualité.
l’âge des participants, leur effectif, leurs caractéristiques sociales et
culturelles, leurs capacités, leur culture, leurs acquis, leurs
représentations…
Enjeux
Repérer au préalable les caractéristiques des futurs participants
pour élaborer une action de santé appropriée et favorisant leur
implication.
EHESP
74
Questions possibles
Est-ce que nous avons pris en compte l’âge des participants ? Leurs
capacités ? Leur niveau de connaissances ? Leurs motivations ? Leur
effectif ? Leurs « caractéristiques » sociales et culturelles ?
• Quelles sont les capacités cognitives, psychiques et de mobilité des
participants ?
• Est-ce que le projet tel qu’il est pensé correspond au rythme de vie des
participants ?
• Est-ce que notre projet s’est construit à partir des besoins ou envies des
participants ?
• Est-ce que la problématique les concerne réellement ?
• Est-ce que les participants sont associés à l’élaboration du projet ?
• Est-ce que nous avons défini la place, le rôle des participants dans le
projet ?
Les Objectifs ont-ils clairement été définis ?
Question évaluative 2
76
Les objectifs
La première question est de savoir pourquoi on veut mettre
en place une action de santé, c'est-à-dire à quelle fin on
veut mener une évaluation => les objectifs
Ceux-ci doivent être réalistes, précis et quantifiables
L’objectif prioritaire demeure le même: Améliorer la santé
(au sens large du terme) des usagers
Les objectifs
Objectif général
Enoncé, en termes plus ou moins et précis, de ce vers quoi tend
l’action de santé. Cet énoncé, qui définit les résultats de l‘action,
représente l'orientation générale d'un programme. (L'objectif
général constitue un premier degré de précision du but dont il
découle.)
Exemples
Améliorer les comportements de santé chez les étudiants en première
année
Diminuer la mortalité routière chez les jeunes adultes
Augmenter l’activité physique chez des salariés sédentaires en entreprise
EHESP
77
Objectif spécifique
Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un
objectif général en autant d'énoncés nécessaires pour que
quatre exigences soient satisfaites:
• Décrit un changement attendu chez les bénéficiaires
• Univoque: précis et une seule signification. Pas d’expressions nébuleuses ou
sujettes à une interprétation libre. L'objectif doit exprimer clairement le résultat à
atteindre (éventuellement de manière chiffrée)
• Résultat, comportement…observable ou mesurable: décrire un résultat
spécifique. Et non pas une catégorie de comportements comme le suggèrent les
mots "comprendre« , « sensibiliser », "savoir". Ainsi, des objectifs comme "voir la
valeur de la nutrition" ou « comprendre l’importance de la santé » ne sont pas
spécifiques.
• Précise les conditions dans lequel le résultat sera observé: chez qui, à
quel moment, à quel endroit etc.
EHESP
78
Les objectifs
• Exemples d’objectifs spécifiques
• Diminuer de 10% le nombre de cigarettes consommées chez les
étudiants en première année au cours des six prochains mois
• Augmenter le nombre de fruits frais consommés au sein des
foyers participants au cours des deux prochains mois
• Réduire de 20% le nombre d’accidents de la route chez les jeunes
du département au cours de l’année prochaine.
• Augmenter le taux de connaissance sur le repérage des patients à
risque suicidaire chez les médecins généralistes du réseau ville-
hôpital à l’issue de la formation (pas de donnée de départ)
NB: les termes favoriser, faciliter, sensibiliser, promouvoir etc. sont à
éviter autant que possible pour les objectifs spécifiques
EHESP
79
Les objectifs
La Pertinence des objectifs
EHESP
80
La pertinence est un critère qui interroge le rapport entre les
objectifs définis et les finalités de l’action.
Enjeux
Il est important de bien évaluer la pertinence des objectifs de l’action
lors de l’élaboration du projet car elle est à la base d’un projet réussi.
Si les objectifs ne sont pas pertinents et clairs,
1) L’action sera hasardeuse
2) Il sera impossible de définir des indicateurs
3) … ni de faire une évaluation
4) …ni de connaitre les effets de l’action
EHESP
81
EHESP
82
EHESP
83
La Pertinence des objectifs
EHESP
84
Quelle est la population visée ?
Sera-t-il possible de mesurer ces indicateurs ?
Quel est le contexte dans lequel ces objectifs seraient mesurables ?
La population générale
Non, trop compliqué
Etudes cliniques hospitalières, utilisation de « seuils » cliniques
Quel conclusion ?
Ne pas confondre promotion de la santé et soins médicaux
EHESP
85
EHESP
86
Questions possibles:
Est-ce que le projet possède des objectifs précis?
Est-ce que le projet possède des objectifs réalistes ?
Est-ce que le projet possède des objectifs pertinents ?
Pour les actions ciblant les individus
• Est-ce que nous avons identifié des objectifs en termes de conduite ?
Est-ce que nous avons identifié des objectifs en termes de savoir ?
• Est-ce que nous avons identifié des objectifs en termes de savoir-faire ?
• Est-ce que nous avons identifié des objectifs en termes de savoir-être ?
• Est-ce que nous avons identifié des objectifs en termes de ressentis ?
Pour les actions ciblant les organisations
• Est-ce que nous avons identifié des objectifs de gouvernance ?
Est-ce que nous avons identifié des objectifs de mise en œuvre ?
• Est-ce que les activités que nous allons mettre en œuvre peuvent nous permettre
d’atteindre nos objectifs ?
87
Exercice sur document
Cernez les éléments suivants :
But du projet
Porteur de projet
Public cible
Objectifs général
Objectifs spécifiques
Évaluation à l’aide du Preffi et des éléments discutés en cours
Sur quelles bases a été sélectionnée l’intervention?
Question évaluative 3
La sélection de l’intervention
EHESP
89
Il est important pour la réalisation du projet, que l’intervention
sélection ait démontré son efficacité sur le problème de santé
par ailleurs.
Certains critères de sélection sont à examiner:
Universalité : une intervention ayant montré des effets positifs dans
une région du monde doit pouvoir être transposée dans un pays
similaire (US= France= Allemagne=…)
Reproductibilité : Toute action de santé rigoureuse doit être
reproductible à l’identique (la procédure est décrite dans la
publication: matériel, population, calendrier…)
Efficacité: ses effets ont été quantifié précisément au cours d’une
procédure d’évaluation rigoureuse (recherche)
Sélectionner une intervention
La stratégie à adopter doit être sélectionnée en fonction de sa
faisabilité; de son efficacité à réduire le problème; de sa
pertinence par rapport au terrain; de son coût; du rapport
cout/bénéfice…
Des preuves scientifiques existent dans la littérature sur ces
paramètres (evidence-based)
Cette sélection va déterminer les besoins logistiques, financiers,
intellectuel etc…nécessaires à l’intervention
Sélectionner une intervention
Un rapport de 1979 du ministère américain de la santé estimait à:
50% la fraction de mortalité prématurée attribuables aux comportements
contre 20% pour les facteurs environnementaux,
20% pour les facteurs biologiques individuels
et 10% pour les insuffisances dans la prise en charge.
Des estimations similaires ont été mises en évidence au niveau international
Types d’interventions possibles…
Education du public: médias locaux ou nationaux, prévention par les
pairs…
Education précoce: intervention auprès des enfants (écoliers…)
Formation/sensibilisation des professionnels de la santé: médecins,
infirmières scolaires, travailleurs sociaux….
Programmes communautaires: par ex Gatekeepers (« sentinelles »)
Interventions Législatives: obligation d’adopter un comportement de
sécurité, interdiction des comportements à risque, restrictions…
Modifications environnementales: barrière de sécurité, alarmes,
constructions adaptées à la prévention; pistes cyclables; nudges
Les 7 étapes de la promotion de la santé
fondée sur les preuves
EHESP
94
EHESP
95
Synthèses de la littérature
EHESP
96
EHESP
97
EHESP
98
Rapports institutionnels
EHESP
99
EHESP
100
EHESP
101
Rapports d’experts terrain et recherche
EHESP
102
Rapports d’experts terrain et recherche
La sélection de l’intervention
EHESP
103
L’utilisation des données probantes est la meilleure
manière de sélectionner une intervention qui a des
chances d’être efficace
Permet de sélectionner l’intervention la plus pertinente en
l’état actuel des connaissances et jusqu’à preuve du
contraire (approche scientifique)
En revanche, il n’existe aucune garantie de résultat
quant à cette efficacité (et donc à l’atteinte des
objectifs) dans le contexte local d’intervention
D’autres paramètres sont à l’œuvre (contextuels,
environnementaux, mise en œuvre, adaptation à la
population-cible, au territoire etc.)
104
Exercice sur document
Cernez les éléments suivants :
Action ou intervention prévue
Déterminant sur lequel elle est sensée agir
Modalités de sélection (pourquoi elle plutôt qu’un autre)
Modalités de mise en œuvre
Adaptation au public-cible
Évaluation à l’aide du Preffi et des éléments discutés en cours
La mise en œuvre correspond t-elle aux prévisions ?
Question évaluative 4
106
Des
moyens
sont mobilisés
(intrants)
… pour
réaliser des
activités..
… dont les
produits
Cet enchaînement repose sur une
suite de relations logiques (si...
alors) dites "de cause à effet"
et un
impact sur
la santé
…doivent
produire des
résultats…
Évaluation
Suivi et évaluation de la chaîne des étapes d'une action
107
Moyens
humains,
matériels,
financiers
Activités :
construire,
former,
organiser,
soigner,
écrire, ...
personnel
formé,
procédures
mises en
place,
matériels
conçus textes
de loi
préparés
Baisse des
conduites
à risque,
Recours aux
soins,
Détection
précoce
Conduites
améliorées,
Diminution des
maladies;
Mortalité
prématurée
réduite,
Dépendance
diminuée
Intrants Activités Produits Résultats Impact
Des
moyens
sont mobilisés
(intrants)
… pour
réaliser des
activités...
dont les
produits..
.
doivent
produire
des
résultats..
.
et un
impact sur
la santé
La structure logique d'un projet ou d'un programme
NB: l’impact à long terme (cancer; maladies chroniques..)
n’est ni mesurable ni pertinent pour les actions de PPS locales
EHESP
108
EHESP
109
110
Evaluation de processus
Un processus continu de collecte et d'analyse
d'informations pour apprécier comment un
projet (un programme, une action, ou une
politique) est mis en œuvre, en comparant les
performances effectives avec les performances
attendues
111
1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement
Analyse documentaire
Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension
Comment répondre à cette question ?
Analyse documentaire, lecture des dossiers d'archive
Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité
Exemple de question :
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
112
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais
Etablissement d'un chronogramme rétrospectif
Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions
Construction de l'argumentaire
C'est la démarche que je me propose de suivre pour répondre à cette question
113
Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments
Techniques
- Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion
Outils/instruments - Guides d'entretien - Chronogrammes
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
Quels dispositifs d’évaluation ont été prévus ?
Question évaluative 5
115
L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires
Evaluation de processus
Mesure continue du rendement
Utile au pilotage
Evaluation de résultat
Mesure des effets
EHESP
116
Processus/résultats
117
Evaluation de résultat
Une mesure, aussi systématique et objective
que possible, des résultats d'un projet, d'un
programme ou d'une politique, en vue de
déterminer sa pertinence, et sa cohérence,
l'efficience de sa mise en œuvre, son efficacité
et son impact ainsi que la pérennité des effets
obtenus
118
Comment s'assurer que l'impact est dû au programme ?
Les questions auxquelles il faut répondre :
– Est-ce que le programme « capitaine de soirée » a fait diminuer le nombre d’accidents de la route dans le secteur, ou bien ces accidents auraient-ils diminué de toute façon ?
– Est-ce que la fourniture de brochures a contribué à l'amélioration du port du casque à vélo ou bien est-ce que cette amélioration est due à d'autres facteurs ?
– Est-ce que le l’action éducative a amélioré le niveau de connaissances ou bien cela est-il dû à d'autres causes ?
119
Deux problèmes sont à résoudre :
1) Dans quelle mesure peut-on identifier un effet (la
conduite à risque diminue, ...)
2) Dans quelle mesure cet effet est-il attribuable à
l’action (et non pas à une autre cause).
Pour tenter de répondre, du mieux possible, à ces deux
questions, des méthodes qui sont spécifiques à
l'évaluation sont utilisées
Méthodes d'évaluation de résultats
120
Comment les résultats ont-ils été analysés?
Question évaluative 6
121
Question clé de l'évaluateur :
Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ?
Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles
Méthodes d'évaluation de résultats
122
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Étude écologique: Avant - après
Score: Niveau des connaissances sur les aliments sains et ceux à éviter
123
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Avant - après
124
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Avant - après
Tendance temporelle
sans le programme
Tendance temporelle
avec le programme effet
EHESP
125
Étude écologique: Avant - après
EHESP
126
Étude écologique: Avant - après
EHESP
127
128
Causes possibles
Groupes observés
Résultats de l'observation (effets)
Toutes les autres
influences
Le projet ou
la politique
Groupe
de contrôle
Groupe
expérimental
Résultats au niveau du groupe
de contrôle Résultats au niveau du
groupe expérimental
Résultats nets (attribuables
au projet ou à la politique)
L’expérimentation idéale (mais peu réaliste)
129
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
130
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Le niveau de connaissances est resté
inchangé, la programme n’a eu
aucun effet
131
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Le niveau des connaissances a
augmenté, mais pas grâce au
programme !
132
Temps
Programme
Bénéficiaires (tous bac + 5)
30
Groupe de contrôle (tous sans diplomes)
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Quel part de l’effet est lié au
programme ?
133
En pratique, les études randomisées sont réservées à la
recherche et ne peuvent pas être utilisées dans les
actions de terrain (éthique, faisabilité…)
MAIS
Il est toujours possible de comparer les indicateurs de
santé (si disponibles) entre l’endroit (territoire,
établissement, population..) où l’action a eu lieu et un
endroit similaire où se posent les même problèmes de
santé (comparaison ici-ailleurs)
Ex: mesure l’absenteisme des élèves dans le lycée où
l’action de prévention de la grippe a eu lieu vs. le lycée
voisin
Méthodes d'évaluation de résultat
134
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude transversalle
Objectif atteint, mais
impossible d’estimer
l’influence du programme
Les scores étaient peut-être
identiques avant le
programme
135
Temps
Programme
30
10
17
Niv
eau d
es
connais
sance
s Etude cas-témoin
Cas: bon niveau
témoin: faible
niveau
% qui a suivi
l’action
% qui a suivi
l’action
EHESP
136
Estimation de l’effet
Groupes % réponses
correctes
signification
Intervention 41% P<0.05
Témoin 11%
Groupes % réponses
correctes
signification
Intervention 13% P>0.05
Témoin 11%
EHESP
137
Estimation de l’effet
Groupe Odd Ratio IC [95%]
Intervention 4.3 [ 2.7 – 5.9]
Témoin (ref) 1
Groupe Odd Ratio IC [95%]
Intervention 4.3 [ 0.5 – 5.9]
Témoin (ref) 1
Sélection de la procédure
EHESP
138
Hiérarchie des preuves quantitatives: indique les types d'études qui
sont les plus fiables, c'est-à-dire qui comportent le moins de biais.
Aucune étude sur des humains et conçue par des humains ne
pourra jamais être totalement exempte de biais, mais plus vous
descendez dans la hiérarchie, plus il y a de risques
Examens systématiques d'essais contrôlés randomisés
Essais contrôlés randomisés
Examens systématiques d'essais non randomisés ou d'études de cohorte
Études de cohorte
Études cas-témoin
Séries de cas
Rapports de cas
Idées, éditoriaux, opinions
Recherche sur les animaux
Types d’étude
Validité
Coût
*Etude de cas
*Etude écologique
*Étude tranversalle
*Cas-controle
*Cohorte
*Étude randomisée
Types d’étude
EHESP
140
Définition Intérêt Limite Etude transversale Enquête établissant au même
moment l’état de santé et la
présence de facteurs de risque
Aisée à mettre en œuvre.
Résultats rapidement
disponibles.
Permet d’estimer la
prévalence (fréquence)
d’une exposition / d’un état
de santé
Faible niveau de preuve
quant au caractère causal
des associations
identifiées.
Etude cas-témoins Comparaison de cas (ex :
personnes ayant chuté) à des
témoins (n’ayant pas chuté) et
comparaison de leurs expositions
passées à des facteurs de risque
(ex : prise de médicament)
Relativement aisée à
mettre en œuvre
Résultats rapidement
disponibles, y compris
pour des affections rares
Niveau de preuve
supérieur à celui des
études transversales
Sujette à divers biais
pouvant entraîner des
résultats erronés
(caractère rétrospectif,
biais de mémoire…)
Etude de cohorte Suivi prospectif de personnes
exposées (ex : prenant un
médicament) à des personnes non-
exposées et comparaison de la
fréquence d’apparition du
phénomène (ex : chute)
Permet de mesurer
l’incidence
Permet d’étudier les effets
d’expositions rares
Niveau de preuve
supérieur à celui des
enquêtes cas-témoins
Coûteuse, longue
Difficulté à assurer le suivi
des participants sur le long
terme.
Non-exempte de biais
141
Comment ont été constuit les indicateurs ?
Question évaluative
Indicateurs
Hiérarchie des objectifs
Définition claire et précise d'un objectif
Indicateur objectivement vérifiable
Clarification des résultats attendus
Quel niveau sera jugé satisfaisant: • quantité • qualité • temps
Moyens de vérification
Source et type de preuve nécessaires pour établir l'état de l'indicateur
Le travail sur les
indicateurs
oblige à préciser
et clarifier les
objectifs
La disponibilité
de données
valides et fiables
limite l'utilité
d'un indicateur
Définition des indicateurs de résultats
La logique
horizontale
Planification
143
Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation)
Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet :
- Montre comment le succès sera reconnu
- Oblige à clarifier ce qu'on entend par objectif
- Fournit une base objective pour l'évaluation
144
Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation:
• Entretiens
• Groupes de discussion (focus group)
• Recherche documentaire
• Revue des dossiers d'archive
• Enquête par questionnaire
• Etude de cas
• Tests de connaissances ou d'aptitudes
• Enquête d'opinion
• Analyse de contenu
• ...
Entretiens en groupe
individuels
Questionnaires
Auto questionnaire
Hétéro questionnaire
Focus group
par la
personne
par un
tiers
Grille d’entretien
Observation
directe
indirecte documentaire
analyse
conversationnelle
Grille d’observation
L’observation
Il existe différentes procédures d’observation :
l’observation systématique
– grille d’observation standardisée utilisée de manière
systématique
– Pas d’implication personnelle
– Degré de réactivité des sujets
l’observation participante
– Implication active
– Degré de participation variable
– Grille d’observation
l’observation libre
– Pas de grille (à éviter pour les évaluations)
Les grilles d’observation
- Construites à la fois à partir d’un modèle théorique et
à partir de l’observation de comportements
_ Exemple d’une grille d’observation : grille
d’observation des enseignants
1 2 3 4 5
Terne, triste Sait stimuler
Effacé Séduisant
Peu sûr de lui Confiant
Désorganisé Méthodique
EHESP
148
EHESP
149
EHESP
150
Si pertinent:
Grille d’observation
validée
scientifiquement
Avantages de l’observation
Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une représentation éventuellement déformée au travers des représentations que les gens s’en font
Limites
• Très couteux en temps, énergie, préparation,…
• L’observation doit avoir lieu dans un endroit et une
période de temps définis et bornés
• Dans toute procédure d’observation, les personnes
observées ont tendance à modifier leur
comportement
L’entretien
Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des perceptions
Les questions peuvent être :
ouvertes
semi-ouvertes
fermées
EHESP
153
EHESP
154
Sécurité de l’Information Hospitalière
EHESP
155
EHESP
156
Projet « suricates »
Abdel Baba-Moussa et Catalin Nache, Santé Publique 4/2010 (Vol. 22), p. 449-459.
structuré Semi-structuré Libre
Discours qui suit l’ordre
des questions posées
Discours « par paquets »,
dont l’ordre peut être plus
ou moins déterminé
Discours continu
Questions préparées à
l’avance et posées dans
un ordre bien précis
Information partielle et
raccourcie
Quelques points de
repère pour l’interviewer
Information de bonne
qualité, orientée vers le
but poursuivi
Aucune question
préparée à l’avance
Information de très bonne
qualité, mais pas
nécessairement
pertinente
Information recueillie
rapidement ou très
rapidement
Information recueillie dans
un laps de temps
raisonnable
Durée de recueil
d’informations non
prévisible
Les différents types d’entretiens
La préparation
Préciser les questions générales et spécifiques
Faire une première rédaction des questions
Organiser la séquence des questions
Adapter le processus de l’interview aux objectifs visés
(transitions entre thèmes)
Préparer l’introduction et les conclusions
Préparer le système de notation des réponses
Tester le protocole de l’entretien
Avantages
• un plus haut pourcentage de réponses peut être obtenu
• les personnes réellement sélectionnées peuvent être atteintes
• tout type de population peut être atteint
• on est mieux informé sur les caractéristiques de ceux qui ne répondent pas
• les réponses sont spontanées
• les réponses sont nuancées
• Permet d’explorer le ressenti, les sentiments, les impressions, les opinions, les attitudes
• L’enquête peut porter sur des sujets plus délicats et personnels
Inconvénients
• L’apprentissage est indispensable pour bien
manipuler la technique de l’entretien semi-directif.
• C’est un outil qui demande du temps (temps
d’entretien, temps de dépouillement, temps
d’analyse)
• Méthode très coûteuse
• Réactivité maximale
• L’enregistrement papier des réponses peut être
difficile
• L’attitude de l’interviewer peut affecter la validité des
réponses
EHESP
161
Entretien de groupe composé de personnes concernées par une
politique de santé ou une intervention.
Obtenir des informations relatives à leurs opinions, attitudes et
expériences ou attentes vis-à-vis de cette politique ou de cette
intervention.
Utilisée en évaluation de projets ou de programmes, en particulier
pour les études de terrain auprès des bénéficiaires et des acteurs
intermédiaires.
Focus group
EHESP
162
Usages du Focus group
EHESP
163
• Recueillir rapidement des informations et des points de vue.
• Permet à la fois l’expression et l’explication des différences de
points de vue, et l’approfondissement de leurs opinions
contradictoires.
• Restitution à l’échelle locale: se concentre sur les observations
et les premières conclusions des analyses de terrain conduites
par les évaluateurs.
• Peut être organisé pour recueillir les réactions des acteurs
cibles de l’intervention, ainsi que leurs sensibilités à un
problème donné.
• L’objectif est de déceler les lignes de clivages dans un groupe
Focus group
EHESP
164
Le focus group est le seul outil à la disposition de l’évaluateur à la
fois d’analyse et de confrontation de l’information.
Permet de mieux comprendre l’attitude des participants, leur
compréhension et leur perception d’une intervention
Permet d’obtenir une variété de points de vue et de perceptions
stimulés par l’interaction.
Chaque participant est mis en position de justifier en permanence
ce qu’il affirme.
Focus group
Exemple
Au cours d’un focus group rassemblant les représentants de
diverses associations d’aide aux toxicomanes IV et des
acteurs de prévention
Le terme « prévention » a été rejeté d’emblée par les
associations, car considéré comme « moralisateur » vis-à-vis des
usagers. Ces associations préfèrent le terme « réduction des
risque » qui n’impliquent pas l’arrêt de la toxicomanie mais la
réduction des risques liés à la pratique (VIH, VHC)
Différence de vocabulaire lié à l’histoire (prévention du sida;
engagement politique et social) et à l’idéologie (perception relative
à la stigmatisation) des parties prenantes, etc..
EHESP
165
EHESP
166
Avant de décider d’organiser un focus group, l’évaluateur doit
cerner la problématique de l’évaluation et en dégager une
thématique à laquelle l’outil pourra répondre.
Ressources allouées:
temps, moyens
Acteurs impliqués:
terrain, planification,
budget, analyse…
Objectif:
Approfondissement ou
confrontation
EHESP
167
• Très utile pour collecter des infos auprès de groupes
de bénéficiaires, notamment pour analyser l’impact
perçu par ses derniers.
• Et des participants, pour identifier ce qui pourrait être
amélioré
• La dynamique de groupe incite les participants à
approfondir, expliciter et justifier leurs prises de
position.
• Les coûts de mise en œuvre peuvent être limités.
• Gain de temps.
• Intérêt exploratoire de la méthode
Avantages
EHESP
168
• Informations qualitatives, difficile à recueillir (verbatim) et
à analyser (analyse de contenu);
• Aucune portée universelle ou quantifiable
• Organisation du focus group peut être complexe du point
de vue logistique : identification de groupes de
bénéficiaires, distances à gérer, mobilisation de
compétences nationales et locales.
• L’expression publique peut être limitée par des freins
d’ordre politique et sociaux, ou relevant de la composition
du groupe.
Limites
Définition du questionnaire
Un outil méthodologique
Composé d’une série de questions s’enchaînant de manière structurée
Permet la collecte méthodique d’informations dans le cadre d’une enquête, de façon directe ou par l’intermédiaire d’un enquêteur
Vise la vérification d’hypothèses (y compris questions évaluatives)
Permet d’obtenir des renseignements quantitatifs et/ou qualitatifs, précis et exploitables, souvent présentés sous forme de tableaux ou graphiques
Présenté sous forme papier ou électronique.
EHESP
170
1: Une partie présentation/instruction destinée aux enquêteurs: Titre de
l'enquête, présentation de l'organisme, présentation de la raison de
l'enquête, le plan sommaire du questionnaire, un consentement éclairé ( à
faire signer)
2: Des questions relatives aux caractéristiques individuelles : Age, sexe, état
matrimonial, enfants, niveau d'études, etc.
3: Des questions de comportement : Fait quoi ?, où ?, quand ?, etc. (échelle
de fréquence et d’intensité)
4: Des questions d'opinion/attitudes.croyances : Que pensez- vous de ?,
donner votre avis sur.
5: Des questions de motif : pour quelles raisons ?
Structure du questionnaire
Définition de l’objectif de l’enquête
Objet: problème étudié
Tabagisme chez les jeunes adultes
Objectif: hypothèse à vérifier
Modification des opinions et conduites tabagiques avant et après l’intervention
La formulation se fera sous forme de phrase rédigée.
Ex: Enquête auprès des jeunes adultes: elle vise à estimer les conduites tabagiques avant et après l’intervention préventive
Délimitation de la population
Selon l’objectif
Selon l’importance de la population
Selon les moyens disponibles
On pourra réaliser l’enquête auprès de toute la
population ou auprès d’un échantillon.
Plus l’effectif est important, mieux c’est
L’échantillon se devra d’être représentatif.
Les questions filtres
Une première question permet de « filtrer » la
population interrogée
Est-vous fumeur (se) ?
□ oui □ non
Selon la réponse donnée, la personne devra répondre
à d’autres questions pour préciser encore
Si oui, quelle est votre consommation journalière ?
□ 1-4 cig./jour □ 5-10 cig/jour □ 11 – 20 cig/jour
□ plus de 20 cig/jour
Les questions fermées
Elles collectent des faits précis
Plusieurs types de questions selon les modalités de réponses:
Une seule réponse est possible
- questions à choix binaire
ex: Sexe: □ masculin □ féminin
- questions à choix multiples
ex: Situation familiale: □ célibataire
□ marié(e)
□ divorcé(e)
□ pacsé(e) ou concubinage
□ veuf(ve)
- réponses à situer sur une échelle
ex: Situez votre santé perçue sur une échelle graduée:
Mauvaise □ 1 □ 2 □ 3 □ 4 Bonne
Les questions fermées
Plusieurs réponses possibles
- Réponses à choisir dans une liste:
ex: par quels moyens vous informez vous sur les questions de santé?
□ médecin généraliste
□ médecin spécialiste
□ internet
□ télévision
□ journaux
□ brochures
□ autres
lesquels:………………..
Les questions fermées
- Réponses à ordonner (classement hiérarchique)
ex: même exemple que le précédent, mais en précisant:
Numérotez de 1 à 10 selon votre ordre de préférence.
Les questions fermées
- Les échelles de satisfaction, et de degré d’accord
Que pensez-vous de l’interdiction de fumer dans les bars ?
Très satisfait
Plutôt satisfait Plutôt insatisfait Très insatisfait
4 3 2 1
Interdire de fumer dans les bars est une bonne chose…
Pas du tout
d’accord
Pas d’accord D’accord Tout à fait
d’accord
1 2 3 4
Les questions fermées
- Les échelles de fréquence et d’intensité
A quelle fréquence fumez-vous lors des soirées entre amis?
Toujours
souvent Parfois Jamais
4 3 2 1
Combien de cigarettes fumez vous lors d’une soirée entre amis
1 – 5 cig.
6- 10 cig. 11 – 15 cig. 16 ou + cig.
1 2 3 4
Les questions fermées
- Les échelles de croyances/ connaissances
Fumer du cannabis est moins dangereux que fumer du tabac
Totalement faux Plutôt faux Plutôt vrai Totalement vrai
1 2 3 4
Possibilité d’utiliser des échelle en 5 points (Lickert), ou en 7
points.
Mais un nombre de modalité pair évite la réponse médiane,
utilisée par les répondant pour ne pas « s’engager »
Echelle visuelle Analogique
Fumer du cannabis est moins dangereux que fumer du tabac
Pas du tout d’accord Tout à fait d’accord
Les questions fermées
Avantages des questions fermées
Elles permettent des réponses aisées et rapides
Elles sont faciles à dépouiller
Les résultats sont directement quantifiables
Les questions ouvertes
Question ouverte d’opinion: ex: Quelle est votre position par rapport à l’interdiction de
fumer dans les lieux publics ?
Question ouverte de fait: ex: quels sont les bénéfices que vous tirez de votre tabagie ?
Question ouverte numérique: ex: Quelle est votre moyenne de consommation tabagique
par jour?
Avantages des questions ouvertes:
Elles permettent réellement le recueil d’opinions et
de suggestions
La personne enquêtée a le libre choix de la
réponse
Elles permettent des réponses personnalisées
Elles permettent une approche exploratoire (mise
en évidence d’informations non connues jusque-là)
Les questions de fait et d’opinion
Les questions de fait:
Elles concernent des faits précis:
Fumez-vous ?
Combien de cigarettes fumez-vous par jour ?
Les questions d’opinion:
Elles concernent les avis personnels, les jugements:
Pourquoi fumez-vous ?
□ par habitude □ par imitation □ par ennui….
Que pensez-vous de l’interdiction de fumer dans les restaurants ?
La formulation des questions
La forme interrogative directe:
Que pensez-vous de… Combien de …
La forme indirecte:
Nommez… Citez… Classez ….
La forme affirmative:
Vous avez obtenu le baccalauréat en _ _ _ _
Vous êtes demandeur d’emploi
Conseils pour la formulation des
questions:
Ce qui est recommandé
- demander un seul fait ou opinion par question
- utiliser un vocabulaire simple et précis
- formuler clairement
- prévoir éventuellement une question ouverte
- prévoir toujours:
□ autre choix
Lequel ?...................
- les questions utilisant une négation:
Ne pensez-vous pas que…..?
- les questions qui induisent les réponses:
Pensez-vous que la vente du tabac devrait être interdite aux mineurs ?
- les questions qui risquent d’entraîner des réactions de rejet ou de gêne:
Lors des élections présidentielles, pour quel candidat allez-vous voter ?
ou des réactions de conformisme:
Le problème de l’insécurité est-il un phénomène important aujourd’hui ?
- les choix trop limités dans les questions à choix multiples
Ajouter Autres choix ? Lesquels ?
Ce qui est à éviter
Mise en forme
Regrouper les questions de même type (socio-démographiques;
habitudes; conduites…)
Eventuellement, mettre un titre à ces rubriques
ex: Identification – Logement – Famille – Loisirs….
Séparer les rubriques par un espace
Placer au début les questions d’identification
Placer les questions difficiles ou délicates entre des questions
simples, ou les placer à la fin
Limiter le nombre de questions afin de ne pas décourager la
personne enquêtée: 25 à 30 questions au maximum.
Présentation définitive
Facile à lire
Facile à remplir
Facile à dépouiller
EHESP
190
• Simple à mettre en œuvre et à remplir par un
grand nombre de participants
• Donne des résultats directement exploitables
(scores, %)
• Analyse et inférence statistique possible
(différences entre groupes ..)
• Gain de temps.
• Résultats comparables dans le temps
Avantages
EHESP
191
• Demande beaucoup de temps et de rigueur pour la
conception en amont
• Aucune marge de manœuvre une fois les premières
passations effectuées (impossible de le modifier a
posteriori)
• Aucun intérêt en terme d’analyse exploratoire
• Donne des résultats faussés si défaut de conception
Limites
192
Techniques, outils, instruments ...
Pour approfondir, il existe de nombreux manuels,
guides, etc... sur les thèmes suivants :
- Collecte des données
- Entrevues, groupes de discussion
- Observations directes, études de cas
- Etudes de cohortes, suivi longitudinal
- Analyse des données
- ...
193
Techniques, outils, instruments ...
Un très grand nombre d’outils (questionnaires, grilles
d’entretien etc..) construits et validés par les chercheurs
sont disponibles sur internet ou auprès des organismes
institutionnels (OMS, INPES, etc..)
Ils produisent des indicateurs clairs sur les dimensions
complexes (conduites, attitudes, croyances, normes,
représentations…) de la plupart des problèmes de santé (tabac,
alcool, addiction, sédentarité, nutrition…)
Construire un outil de mesure complexe est donc pour la plupart des acteurs de terrain: - Une perte de temps - Une perte d’énergie et de moyens - Avec, au final, un outil qui sera peu pertinent
194
Exercice sur document
Cernez les éléments suivants :
Procédure d’évaluation prévue
- Pour analyser le processus
- Pour analyser les résultats
Outils utilisés (questionnaires, grilles…)
Mesures répétées avant-après
Personnes en charge de l’évaluation
Conclusions sur le processus et les résultats ?
Évaluation à l’aide du Preffi et des éléments discutés en cours
Critères de Qualité du rapport
Question évaluative
196
Rapport
Thèmes à inclure dans le rapport (projet) :
– Description schématique du programme à évaluer avec
identification des parties prenantes
– Les questions d’évaluations – les problèmes posés
– La méthode, les outils
– Les résultats attendus
– La démarche et le plan de travail
– Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises)
– Le calendrier
CONCIS
197
Rapport
Thèmes à inclure dans le rapport d’évaluation :
– Description schématique du programme avec identification
des parties prenantes
– Les questions d’évaluations – les problèmes posés
– La méthode, les outils, les indicateurs utilisés
– Les résultats obtenus pour chaque objectif
– Les effets non attendus (positifs et négatifs)
– Une comparaison entre mise en ouvre prévue et effective
– Conclusions et améliorations prévues (sur la base des résultats)
CONCIS