Sturen op resultatenZijn gestandaardiseerde vragenlijsten bruikbaar?

Anna van Spanje (Kenniscentrum Kinder- en Jeugdpsychiatrie)

Jan Willem Veerman (Radboud Universiteit, NJi / SEJN)

Congres Transformeren doe je samen

Ede, 16 juni 2014

• Inleiding

• Inventarisatie thema’s

• Bespreking thema’s

• Afsluiting

Opzet workshop

Onze ‘niche’

Bron: Van Yperen e.a. (2014)

• Routine outcome monitoring (ROM)

• Routine outcome measurement (ROM)

• Periodieke uitkomstmetingen

• Herhaalde effectmetingen

• Uitkomstenmonitoring

• Uitkomstenmanagement

• Patient-focused research

• Praktijkgestuurd effectonderzoek

• Resultaatgericht meten

Veel gebruikte termen

• Het systematisch volgen van veranderingen in problematiek of competenties bij cliënten die (jeugd)zorg ontvangen

• Via het periodiek, als onderdeel van het werk, afnemenvan gestandaardiseerde tests of vragenlijsten

• En het benutten van deze uitkomsten voor interne behandelplanning en evaluatie in primair proces en beleid, voor externe verantwoording naar derden (o.a. financiers) en voor verder onderzoek

Een definitie

Een voorbeeld: Hoe gaat het met cliënt X?

Nog een (fictief) voorbeeld:Hoe doen we het als instelling vergeleken met anderen?

0%

10%

20%

30%

40%

50%

60%

70%

80%

Onze instelling Andere instelling Landelijke benchmark

Hu

nd

red

s

Verbeterd Gelijk Achteruit

• Praktijk: Vergroten kwaliteit en effectiviteit

jeugdzorg

• Onderzoek: Beter onderzoekbaar maken van

de jeugdzorg

• Beleid: Verantwoording van de jeugdzorg

Wat heb je eraan?

Inventarisatie thema’s

• Betrokkenheid inhoudelijk verantwoordelijken• Psychologen, pedagogen, psychiaters

• Eigenaarschap: “onderzoek is van ons”

• Benutting in praktijk en beleid

• Betrokkenheid directie/ management• Visie op interne ontwikkelingen

• Visie op externe ontwikkelingen

• Partnership met onderzoeksorganisaties

• Financiën• Aanstelling procesbewaker

• Aanschaf/ licentie computerprogramma (internet)

Implementatie (1)

• Geschikte meetinstrumenten• Aansluitend bij inhoud en doelen behandeling

• Snel en makkelijk in te vullen

• Vaak af te nemen (wekelijks of maandelijks)

• Genormeerd, betrouwbaar en valide

• Ondersteuning• Vanuit de “lijn”: bewaking logistiek

• Secretariaat: invoer, verwerking

• Contact met onderzoekers

• Techniek: computerprogramma, bijv. BergOp

• Training in gebruik vragenlijsten

• Regelmatige terugkoppeling• van respons

• van inhoud

Implementatie (2)

Wat gaat goed?Nr. Item Gem. Niet Deels Geheel

C1 Er is goed werkende software aanwezig om individuele profielen

uit te draaien, gegevens op te slaan en zo nodig voor verder

onderzoek aan te leveren.

1,69 1 6 19

A2 Werkers zijn geïnstrueerd om meetinstrumenten in te (laten)

vullen.

1,58 0 11 15

A1 Er wordt gebruik gemaakt van betrouwbare en valide

meetinstrumenten.

1,54 1 10 15

A3 Er is sprake van een voormeting en een nameting. 1,38 2 12 12

A8 Het afnemen van meetinstrumenten is zichtbaar ingebed in de

werkprocessen.

1,35 1 15 10

A4 Er is een voor iedereen duidelijk protocol voor de

gegevensverzameling.

1,31 4 10 12

C2 Er is een (pro)actief secretariaat voor het invoeren en controleren

van gegevens.

1,27 3 13 10

Enquête SEJN-leden(N=26)

Wat kan beter?Nr. Item Gem. Niet Deels Geheel

B7 Resultaten worden aantoonbaar gebruikt voor verdere

wetenschappelijke theorievorming en onderzoek.

0,42 16 9 1

A7 Er is respons van minimaal zestig procent op de voor- en

nameting

0,50 15 9 2

B2 Individuele uitslagen van voor- en nametingen spelen een rol bij

intervisie en supervisie (bijvoorbeeld in werkoverleg en

behandelplanbesprekingen).

0,62 11 14 1

B6 Resultaten van meerdere teams (afdelingen, interventies, hele

instelling) worden door directie en management zichtbaar benut

voor sturing van het beleid van de instelling.

0,65 11 13 2

A6 Er is respons van minimaal 80% op de voormeting 0,69 12 10 4

C9 Er is een programma voor scholing en bijscholing voor het werken

met instrumenten en het benutten van uitkomsten.

0,77 10 12 4

C6 Monitoring en bewaking van gegevensverzameling zijn verankerd

in de lijn.

0,81 8 15 3

Enquête SEJN-leden(N=26)

Benutting‘Cijfers spreken niet voor zich, er moet over gesproken worden’

Activiteit Vraag

Herkennen Zijn de uitkomsten te plaatsen?

Begrijpen Kunnen we ze verklaren?

Waarderen Vinden we ze goed genoeg?

Handelen Zijn er verbeteracties nodig?

Op individueel cliëntniveau en op niveau van teams en instellingen

0

0.2

0.4

0.6

0.8

1

1.2

1999 2000 2001 2002 2003 2004 2005

Effects

ize

Opvoedingsbelasting Gedragsproblemen

Toelichting Effect sizes:

< 0,20: verwaarloosbaar 0,20 – 0,50: klein effect

0,50 – 0,80: middelgroot effect > 0.80: groot effect

Jaarlijks meten en verbeteren

(Leijsen, 2008)

• Verschillende vragenlijsten • ASEBA (CBCL, YSR, TRF)

• SDQ

• Kidscreen

• HoNOSCA

• …

• Verschillende informanten• Ouder

• Kind

• Leerkracht

Werken met vragenlijsten (1)

• Benutting in de behandeling

• Benutting in het team of in de instelling

• Benutting voor wetenschappelijk

onderzoek

Werken met vragenlijsten (2)

• Casemix: appels en peren

• Belangenmix: naar jezelf toepraten

• Instrumentenmix: grote verschillen

• Meetmix: weet wat je meet

• Copyrightmix: betalen of niet?

Kritische noten voor sturing(zie Van Os e.a., 2012)

Beleid

Praktijk Wetenschap

Samenwerking is een ‘must’

• Praktijk

• Werk meetbaar willen maken

• In gesprek durven gaan

• Beleid

• Vragen naar effecten van het werk

• In gesprek willen gaan

• Wetenschap

• Ondersteuning in methoden en technieken

• In gesprek mogen gaan

Ingangen voor samenwerking

Samenvatting en afsluiting

Samen sturen!

Anna van Spanje

Jan Willem Veerman

jw.veerman@pwo.ru.nl

a.vanspanje@kenniscentrum-kjp.nl