Management des soins

6 ObjectifSOINS & MANAGEMENT - HORS-SÉRIE - LA SIMULATION EN SANTÉ - SEPTEMBRE 2016

Depuis 2010, la Haute Autorité de santé (HAS)a entrepris de soutenir une démarche de développement de la simulation en santé.En effet, un premier rapport sur “l’état de l’art national et international en matièrede simulation en santé dans le cadre du Développement professionnel continu(DPC) et de la prévention des risques associésaux soins”(1) a permis de fortement initierune dynamique.

Évaluation des structures desimulation en santé

Classiquement, la HAS apour mission d’élaborerdes bonnes pratiques per-

mettant aux différentes disciplinesde travailler de manière structu-rée. Cela a donné lieu, dans lacontinuité du rapport, au “guidede bonnes pratiques en matièrede simulation en santé” (2). Enfin, et c’est aussi une missionde la HAS, un “référentiel d’éva-luation(3) des structures de simu-lation en santé” a été construitavec l’aide d’un groupe expert, àpartir des éléments clés du guidede bonnes pratiques. Cettedémarche a été inspirée de tra-vaux nord-américains, en parti-culier de la Society for Simulationin Healthcare (SSH)(4) portant sur

la réalisation d’un référentiel d’ac-créditation des structures desimulation en santé.

MISSION D’EXPERTISECes différentes actions ont donnéde fait un essor national à lasimulation avec une efflorescencede nombreuses structures quipeinent parfois à obtenir la légi-timité, le professionnalisme et lesoutien nécessaires à une activitéperformante. La HAS ne pouvant,à l’instar de ce qu’elle fait pour lacertification des établissementsde santé, et en l’absence dedécret, assurer l’expertise externedes structures de simulation, ellea confié cette mission à la Sociétéfrancophone de simulation en

NOTES(1) “Rapport de mission : état

de l’art (national et international)en matière de pratiques

de simulation dans le domaine dela santé”. J.-C. Granry ; M.-C. Moll.HAS, 2012 (consultable via le lien

raccourci bit.ly/1l3EtWb).(2) “Guide de bonnes pratiques en

matière de simulation en santé.Évaluation et amélioration des pratiques”. HAS, 2012

(consultable via le lien raccourcibit.ly/29nHHzE).

(3) Guide pour l’évaluation desinfrastructures de simulation ensanté. HAS, 2015 (consultable viale lien raccourci bit.ly/29sT4YE).(4) Is my program ready to apply.

Society for simulation inhealthcare, 2013.

Dr Marie Christine MollCoordinateur des risques, déléguéequalité, CHU et Université d’Angers

Pr Jean-Claude GranryCentre de simulation en santé, CHU et Université d’Angers

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

Management des soins

ObjectifSOINS & MANAGEMENT - HORS-SÉRIE - LA SIMULATION EN SANTÉ - SEPTEMBRE 2016 7

santé (SoFraSimS créée en 2014).Ainsi, s’engager désormais dansune démarche d’évaluationinterne puis externe devient unenjeu nécessaire à la fois pours’assurer que l’activité de simu-lation respecte les règles debonnes pratiques mais aussi pourfaire de la démarche un outil decommunication externe et unlevier de management. S’engagerdans la démarche, c’est s’engagerà respecter les bonnes pratiqueset à initier un cycle d’améliorationcontinue de la qualité. Ce cycle(voir schéma ci-contre) se dérouleen quatre temps sur une duréemaximale de quatre ans: •engagement officiel dans ladémarche, •réalisation de l’auto-évaluation,•mise en place d’actions d’amé-lioration, •évaluation externe. Le résultat de l’évaluation externepermet de déterminer de queltype (1, 2 ou 3) relève la structureet ainsi de pouvoir le faire connaî-tre de façon officielle. Une préci-sion est ici nécessaire quant à ladéfinition du “type” de structure.Le type qualifie simplement leniveau de ressources (personnels,matériels...) et la diversité de sesactivités (pluridisciplinarité, inter-professionalité). Il ne s’agit enaucun cas d’une graduation qua-litative. Il est par ailleurs importantque chaque structure définisse,comme prérequis à l’évaluation,le type de structure souhaité. LaSoFraSimS propose donc un appuiméthodologique et une prestationd’évaluation externe au regarddes préconisations de la HAS.

L’AUTO-ÉVALUATION Sur la base des grilles du réfé-rentiel d’évaluation du “Guidepour l’évaluation des infrastruc-tures de simulation en santé” (3)

(HAS), les objectifs sont d’obtenirune évaluation sur le degré dematurité de la structure (pointsforts, points à améliorer), demettre en place une démarcheinstitutionnelle et une organisa-tion visant un objectif cible dematurité, d’établir le diagnosticsur le “type” caractérisant lastructure (type 1, 2 ou 3) et demettre en place des actionsd’amélioration pour atteindre leniveau cible visé.La démarche débute par uneauto-évaluation et repose sur unprincipe simple: la comparaisonde ses pratiques, de son organi-sation et de sa coordination, auregard des critères du guide.L’évaluation est au mieuxconduite par une équipe de deuxévaluateurs, dont au moins unest extérieur à l’équipe de lastructure de simulation, ce quigarantit une nécessaire neutralitéde la méthode.S’engager dans une auto-évalua-tion fait partie intégrante dumanagement de la qualité.Pour préparer la démarche, il estimportant de respecter quelquesprérequis:

•obtenir que la décision de s’en-gager émane de la gouvernance;•définir le champ d’étude : ilconcerne l’ensemble des activitésde la structure (formations initialeet/ou continue);•communiquer à l’ensemble despersonnes et parties prenantesconcernées; •désigner des évaluateurs (lettrede mission);•désigner un responsable del’évaluation (pilote qui resteral’interlocuteur préférentiel de ladémarche); •établir un programme et uncalendrier.Une fois ces prérequis établis,l’auto-évaluation peut débuter.Plusieurs étapes doivent être res-pectées. En premier lieu, le “topdépart” doit être officiellementdonné au cours d’une réuniondite “d’ouverture” où la démarcheet le périmètre seront présentésau plus grand nombre. Le tempsde recueil d’information (obser-vation, interview, documents depreuves) peut être assez courtpour les équipes qui ont uneconnaissance formalisée de leuractivité. Lors des tests effectués

Source HAS

: référen

tiel évaluation de

s stru

ctures 20

15

1re étapeEngagement

2e étapeAuto-évaluation

3e étapeAmélioration

4e étapeExpertise

Ficheengagement

DocumentPrésentationinfrastructure

Documentprésentationpour chaqueprogrammede simulation

Grille d’auto-évaluationcomplétée

Ficheaction

Grille d’auto-évaluationà jour (colonne suivi)

Fiches actiondisponibleset actualisées

Auto-évaluationdatant de moinsde deux ans

Support de publicationpublic avec conclusionde l’évaluation externe

Durée maximum de la démarche : 4 ans

CYCLE D’AMÉLIORATION CONTINUE DE LA QUALITÉ

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

Évalutation des structures de simulation en santé

8 ObjectifSOINS & MANAGEMENT - HORS-SÉRIE - LA SIMULATION EN SANTÉ - SEPTEMBRE 2016

par la SoFraSimS sur trois struc-tures de taille et de caractéris-tiques différentes, ce temps estestimé à un ou deux jours parhomme, fonction des dimensionsde la structure. À l’issue du recueil de données,la rédaction des constats per-mettra de dégager les points fortset ceux devant donner lieu à desaméliorations permettant d’at-teindre le type cible. En vue defaciliter ce diagnostic, et si lastructure s’est déclarée volontaireauprès de la SoFraSimS, celle-ciadressera un outil informatiséfacilitant la rédaction et la syn-thèse des résultats en permettanten particulier de “typer” auto-matiquement la structure. Il nerestera plus qu’à mettre en œuvreles actions et, dès lors que lastructure se sentira prête, de sol-liciter auprès de la SoFraSimSune évaluation externe.

RECOURS À L’ÉVALUATIONEXTERNELa HAS ayant délégué à la SoFra-Sims l’évaluation externe descentres, il apparaît nécessaireque la structure réalise une

demande officielle d’engagementqui comporte : respect desbonnes pratiques, mise en œuvred’une démarche d’améliorationcontinue de la qualité et adhésionà la SoFraSimS. Pour ce faire, ilconvient de rédiger le formulaired’engagement disponible sur lesite de la HAS mais aussi surcelui de la SoFraSimS(5). Ce docu-ment doit impérativement êtresigné par la gouvernance de lastructure. Cette signature garan-tit que la gouvernance valide letype ciblé et demeure conscientedes efforts à produire pour par-venir au but, en particulier entermes de moyens à investir. Undescriptif détaillé de la structuresera joint.Le formulaire adressé à la SoFra-SimS sera — sous réserve d’ac-cord de la structure — publié surson site, ce qui permettra unpremier affichage sur un enga-gement d’assurance qualité. Cet engagement induira l’envoidu fichier informatisé de recueildes données. Enfin, quand lastructure sera prête, celle-cipourra solliciter l’évaluationexterne en adressant son résul-tat d’auto-évaluation.

ORGANISATION DE LA VISITE EXTERNEÀ réception de la demande d’éva-luation externe, la SoFraSimSdevra désigner et proposer desexperts à la structure. Ceux-cidevront répondre à un certainnombre d’obligations: avoir uneformation validée et une expé-rience en matière de simulationen santé. Il est important qu’ilsmaîtrisent la méthodologie d’éva-luation et devront avoir suivi laformation d’évaluateur organiséepar la SoFraSimS. Ils serontensuite inscrits sur une liste d’ha-bilitation de la SoFraSimS aprèsavoir fourni leurs références etleurs expériences dans la pratiquede la simulation.Il est bien entendu indispensableque la qualification et le statutdes experts soient adaptés à lastructure évaluée (par exemple,pour un établissement de type 3hospitalo-universitaire, au moinsun des experts appartiendra àce même type de structure).Enfin, si la structure constateque les experts proposés peuventprésenter des conflits d’intérêt,elle peut bien évidemment lesrécuser. Le choix des expertspourra aussi tenir compte despérimètres géographiques.La visite se déroule sur une jour-née et débute par une réuniond’ouverture où les experts se pré-sentent et exposent le déroule-ment de la journée. À son tour, lastructure présente et valoriseson activité. Les documents depreuve sont remis aux expertsqui débutent ensuite les entretiensconformément à l’organisationnégociée en amont de la journéeavec le pilote de la structure. Àl’issue des entretiens et après untemps de synthèse et de concer-tation, les experts rédigent uncompte rendu “à chaud” qui sera

QUI? QUAND? QUOI?La Sofrasims À réception

de la demande d’évaluation externe

•Identifier un interlocuteur désigné dans la structure qui sera le référent tout au long de la prodédure

Les experts À partir de leur désignation officiellepar la SofraSims

•Proposer à la structure une convention (un contrat,un ordre de mission) pour officialiser leur venue (documenttype fourni)

Les experts Au minimum quinze jours avant la date de visite

•Proposer un calendrier de visite et la liste des documentspreuves demandés•Définir des créneaux horaires et les personnes à rencontrer•Laisser la structure définir les heures précises de rendez-vousavec chacun

Les experts En amont de la visite •Prévoir a minima une réunion téléphonique ou présentielle de préparation entre experts (relecture de l’auto-évaluation,questions ciblées)•Se répartir les entretiens (optimiser le temps de présence,s’adapter à l’interlocuteur)

TABLEAU RÉCAPITULATIF DE PRÉPARATION DE VISITE

NOTES(5) www.sofrasims.fr

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

Management des soins

ObjectifSOINS & MANAGEMENT - HORS-SÉRIE - LA SIMULATION EN SANTÉ - SEPTEMBRE 2016 9

présenté en réunion de clôture,ouverte à un large public en finde journée. Le type de centre nesera pas énoncé à ce stade (voirle tableau récapitulatif de prépa-ration de visite page 8).

CLÔTURE DE L’ÉVALUATIONÀ distance, les experts rédigentle rapport final à l’aide de l’outild’évaluation informatisé (lire l’en-cadré ci-dessous) qui aura été ounon modifié au regard du premierrésultat de l’auto-évaluation. Ilsmotivent leurs résultats et celui-ci est soumis au regard contra-dictoire de la structure. Le rapport final (dont type destructure) est validé par le comitéscientifique de la SoFraSimS.Le “type” de centre est publiésur le site moyennant accord dela structure.

S’il existe un litige, celui-ci seraexaminé par le comité scienti-fique. Le résultat peut s’assortirde recommandations qui pour-raient différer l’attribution défi-nitive du label cible.

EN GUISE DE CONCLUSION Il est cependant nécessaire d’ap-porter quelques précisionsconcernant l’évaluation finalequi sera réalisée : au regard del’auto-évaluation, de la visiteexterne et du résultat de la cota-tion. Le résultat final et la typo-logie de la structure seront vali-dés par le comité scientifiquede la SoFraSimS, après examende l’ensemble des données etdu rapport des experts. Il nepeut être rendu sur le seul résul-tat de l’évaluation des moyensde la structure.

L’ensemble des éléments d’éva-luation devront être réévaluésavec la HAS à l’issue de cinq àsix visites expérimentales. Il estdéjà probable que la procédured’évaluation représente pour lesstructures de simulation un levierpermettant de s’inscrire dansune dynamique d’amélioration(même si elle est très exigeante)et surtout d’interpeller la gou-vernance de la structure. L’évaluation sera aussi certaine-ment étudiée par les Agencesrégionales de santé (ARS) afinde réguler les demandes gran-dissantes de création de struc-tures de simulation, dont cer-taines sont isolées, de très petitetaille et disposant de compé-tences limitées. Certaines ARSenvisagent même la mise enplace d’un schéma régional d’or-ganisation sanitaire (Sros) pourla simulation et pourraient fairede l’évaluation un indicateur ouune exigence. La procédure encadrée actuel-lement par la SoFraSimS a lemérite de tester et de valider laméthode, mais il est réaliste depenser qu’à l’horizon 2020, laHAS reprendra cette mission etfera de l’évaluation des struc-tures une méthode de certifica-tion, voire d’accréditation. L’éva-luation des structures est unepremière étape dans le proces-sus. D’autres étapes restent àfranchir, par exemple celles del’évaluation des programmespédagogiques, l’évaluation desformations de formateurs ouencore l’évaluation des forma-teurs via en particulier l’évalua-tion des débriefings. La SoFraSimS et la HAS ontrécemment signé une conventionde coopération, et gardent lavolonté de s’engager dans cesfuturs chantiers. n

Présentation de l’outil informatiséSoFraSimS

Cet outil construit sur un modèle Excel est composé de huit onglets:➜quatre onglets sont consacrés à la saisie de la réponse aux critères via une cotation (ABCD);

➜un onglet présente la synthèse des critères par axes;➜un onglet permet de situer l’infrastructure quant à sa typologie (type 1, 2 ou 3);

➜un onglet est consacré au suivi du plan d’action.Les critères sont libellés selon les six axes du guide de bonnespratiques: programme, organisation, délocalisée, infrastructure,évaluation et recherche.La cotation ABCD est accessible à partir d’un menu déroulantdans chaque case.La cotation suit le désormais classique mode d’emploi de la HASselon la règle suivante:➜oui: si tout à fait satisfait ou présent (ou supérieur ou égal

à 80%): cotation A (vert);➜en grande partie satisfait (ou supérieur ou égal à 60% et inférieur à 80%): cotation B (orange);

➜partiellement satisfait (ou inférieur à 60%): cotation C(rouge);

➜non: non satisfait ou absent: cotation D (blanc);➜N/A: non applicable pour certains critères: cotation N/A .

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6

© E

spac

einf

irmie

r.fr,

Initi

ativ

es S

anté

201

6