4448
description
Transcript of 4448
Effecten metenMarijke De Roeck
2
Overzicht
- Uitgangspunten- Werkwijze
- Methodieken- Steekproeven- Analyse
- Meten op verschillende niveaus- Vragenlijsten- Wat met de resultaten?
3
Uitgangspunten
- In kader van principes van behoorlijk bestuur, nagaan of budgetten goed besteed zijn
- Jaarlijks verschillende effectmetingen, marktonderzoeken: campagnes, communicatiekanalen, dienstverlening indien mogelijk nul- en éénmeting
NB- Alle onderzoek is communicatie
4
Enkele definities
- monitoren en evalueren
- proces- en productevaluatie
- output- en outcome-evaluatie
- kwalitatief en kwantitatief evalueren
5
Werkwijze: organisatie
- De stad Antwerpen heeft een eigen onderzoekscel binnen marketing & communicatie en een dienst stadsobservatie, die samen een aantal taken in het onderzoeksproces uitvoeren
- Een aantal opdrachten worden uitbesteed aan marktonderzoeksbureaus
6
Werkwijze: stappen onderzoeksproces
1/ Design fase: onderzoeksplan, sampling design, data collectie design, vragenlijst design onderzoekscel en dienst stadsobservatie, al dan niet in samenwerking met een onderzoeksbureau
2/ Uitvoerende fase: implementatie, rekrutering en datacollectie uitbesteed aan een marktonderzoeksbureau
3/ Kennisoverdrachtfase: analyse en rapportering uitbesteed aan een bureau + deel analyse door onderzoekscel en dienst stadsobservatie
7
Werkwijze: methodieken
- Combinatie van schriftelijke, telefonische en online enquêtes- Indien mogelijk en relevant: ook face-to-face interviews- Eventueel ook focusgroepen met moeilijk bereikbare
doelgroepen (allochtonen, kansarmen, jongeren,…)
zo representatief mogelijk staal van de doelgroep bereiken en betrekken bij de evaluaties
- Opbouw van een stedelijk onderzoekspanel
permanente monitoring + pretests
8
Werkwijze: steekproeven
- Postale enquêtes: dienst stadsobservatie levert representatieve steekproef vanuit bevolkingsgegevens 10.000 bewoners worden aangeschreven om een steekproef van 1.100 respondenten te verkrijgen port betaald door bestemmeling om respons te vergroten
- CATI: steekproef wordt getrokken door het marktonderzoeksbureau
- Online: via bestaande onderzoekspanels van marktonderzoeksbureaus
9
Werkwijze: analyse
In principe hebben we op globaal niveau slechts 3 vragen te beantwoorden:
- Heeft deze campagne gewerkt? (doelstellingen bereikt)- Hebben we de campagne technisch goed uitgevoerd?
(juiste media, likeability campagne)- Kunnen we de resultaten van dit onderzoek voldoende
vertrouwen? (representatief, valide, betrouwbaar)
10
Meten: hoe operationaliseren?
- Campagnes en communicatiekanalen: bereiken we de beoogde doelstellingen en doelgroepen?
- Doelstellingen steeds geformuleerd op verschillende niveaus: - kennis (ook herinnering campagne)- mening/attitude- tevredenheid- gedrag- imago
11
Meten van impact op verschillende niveaus
EVALUATIE[Campagne] –
[publicatie] – [kanaal]
MEDIA[kanalen mix]
BEREIK GEBRUIK
“Wij - gevoel”STAD
Wie kent welke [...]
Wie gebruikt wat, frequentie
Effectmeting [...]
Media planning
Missie bereikt?
Voorkeur City likeabilitywonen-werken-ontspannen-..
Fierheid... attributie waarden
KENNIS
GEDRAG
LIKEABILITY
IMAGO
PROFIELresp – burger -doelgroep - klant
Van [...] doel bereikt?
Effect van [...] doel bereikt?
Goed gemaakt [...] doel bereikt?
tevredenheid, vertrouwen van...
attributie waarden
segmentatie:effect , gebruik media, missie bereikt ?
12
Vragenlijsten
- Vaste structuur voor vragenlijsten met meting op de verschillende niveaus: kennis, mening, likeability, gedrag, imago, tevredenheid, mediagebruik
- Deel vaste vragen met als doel permanent te monitoren- Deel variabele vragen, specifiek per campagne of kanaal- Doel op lange termijn is nagaan of de algemene doelstelling
van marketing & communicatie, het wij-gevoel versterken, gehaald wordt
13
Voorbeelden: kennisvragen
- Kent u uw wijkagent? - Kent u de slogan?
- Herkent u dit beeld?- Wie voert promotie met dit beeld?
- Kent u het project Park Spoor Noord?
14
Voorbeelden: mening/attitudevragen
Geef aan op schaal (helemaal niet eens - … - helemaal mee eens)
- De (rekruterings)campagne is een goede weergave van het beeld dat ik heb van de politie van Antwerpen
- De campagne ‘De wijkagent is er voor A’ is een nuttige campagne
- Ik krijg voldoende informatie over de activiteiten in de stad
- Het is goed dat de stad dit soort van evenementen (kerstmarkt enz) organiseert om de stad Antwerpen te promoten
- Antwerpen is een sportstad
15
Voorbeelden: likeabilityvragen
- Welke woorden passen bij deze advertentie?sfeervol, uitnodigend, confronterend, …
- Het boekje Werf van de eeuw, Antwerpen van A tot Z vond ik… goed gemaakt/origineel/nuttig/duidelijk/…
- Ik vind het aangenaam om in de stad Antwerpen te wonen.
16
Voorbeelden: gedragsvragen
- Wat hebt u met het boekje Werf van de eeuw gedaan?
- Hebt u de folder van de wijkagent bijgehouden?
- Wat hebt u met het naamkaartje van de wijkagent gedaan?
- Was u aanwezig op de volgende evenementen: Kerstmarkt, ijspiste, enz?
17
Voorbeelden: mediavragen
Bereik/gebruik media:- Waar hebt u de advertenties van “Feest in ‘t stad, iedereen
doet mee” gezien?- Hebt u de TV-spot van “Er zit sport in A” gezien?
18
Voorbeelden: imagovragen
- Duid voor elk van de kenmerken aan in welke mate deze passen bij het beeld dat u hebt van de stad Antwerpen…dynamisch, stijlvol, gezellig, professioneel, … (past wel/niet)
- Geef aan in welke mate u het oneens of eens bent met de volgende stelling:- Deze campagne geeft de politie een positief imago
19
Voorbeelden: tevredenheidsvragen
- Hoe tevreden bent u over uw wijkagent ? Zeer tevreden, eerder tevreden, noch tevreden noch ontevreden, eerder ontevreden of zeer ontevreden ?
- Hoe tevreden bent u over het feit dat de politie wijkagenten inzet?
- Vindt u over het algemeen dat de politiediensten werk leveren? Heel goed - … - heel slecht
20
Voorbeelden: tevredenheidsvragen
21
Aan de slag met de resultaten
- interne communicatie over de resultaten en conclusies van het onderzoek
- met als doel:- kennisopbouw- optimalisering van mediaplanning- optimalisering van communicatiestrategieën- optimalisering van dienstverlening
Aan de slag in uw gemeente of stad