IDEA Consult nv Tel: (+32) 02 282 17 10 Kunstlaan 1-2, bus 16 Fax: (+32) 02 282 17 15

B –1210 Brussel www.ideaconsult.be

In opdracht van:

Vlaamse Overheid, Departement Economie, Wetenschap en

Innovatie

Brussel, 10 mei 2011

Evaluatierapport

Steunpunt Bestuurlijke Organisatie Vlaanderen

INHOUDSOPGAVE

p.

1 Inleiding bij de evaluatie _________________________________ 3

2 Facts & figures van het steunpunt __________________________ 5 2.1 Samenstelling .............................................................................. 5 2.2 Doelstellingen en onderzoekslijnen ................................................. 6 2.3 Budget ........................................................................................ 9

3 Krachtlijnen zelfevaluatie _______________________________ 10

4 Beleidsrelevante evaluatie _______________________________ 12 4.1 Werking van het steunpunt .......................................................... 12 4.2 Relatie steunpunt – overheid ....................................................... 13 4.3 Efficiëntie van het steunpunt ........................................................ 14 4.4 Effectiviteit van het steunpunt ...................................................... 14 4.5 Doorstroming van resultaten ........................................................ 15 4.6 Relatie van het steunpunt met derden ........................................... 16

5 Wetenschappelijke evaluatie _____________________________ 17 5.1 Globale beoordeling steunpunt ..................................................... 17 5.2 Vernieuwend karakter ................................................................. 17 5.3 Internationaal karakter ............................................................... 18 5.4 Relevantie van het onderzoek ...................................................... 18 5.5 Valorisatie van de resultaten ........................................................ 19 5.6 Productiviteit van het steunpunt ................................................... 19

6 Conclusies ___________________________________________ 20

3

1 INLEIDING BIJ DE EVALUATIE

Dit rapport bevat de evaluatieresultaten voor het Steunpunt Bestuurlijke

Organisatie Vlaanderen. Deze evaluatie wordt uitgevoerd naar aanleiding van het

aflopen eind 2011 van de beheersovereenkomst tussen de Vlaamse overheid en

het steunpunt.

De evaluatie is opgebouwd uit complementaire evaluaties door verschillende

actoren, met name:

een zelfevaluatie door het steunpunt zelf (1),

een beleidsrelevante evaluatie door de overheid-opdrachtgever (2a) en door

andere stakeholders vertegenwoordigd in de steunpuntstuurgroep of

klankbordgroepen (2b)

een wetenschappelijke evaluatie door experten (3)

IDEA Consult vervulde in het kader van deze evaluatie een begeleidende rol, in de

zin dat IDEA instond voor „het binnen de voorziene tijdsplanning objectieve en

representatieve gegevens verzamelen en rapporteren over de performantie van

de individuele standpunten en het steunpuntenprogramma, zodat de

begeleidende stuurgroep een besluit kan nemen over de toekomst van deze

steunpunten en het programma als geheel‟.

Voorliggend evaluatierapport bevat de kernresultaten van de evaluatie en is als

volgt opgebouwd:

in een eerste deel worden de belangrijkste facts en figures van het steunpunt

beknopt en overzichtelijk samengebracht (consortium, doel, taken,

onderzoekslijnen, budget,…);

in een tweede deel worden de krachtlijnen van de zelfevaluatie samengevat;

het derde en vierde deel rapporteren dan de evaluatieresultaten door derden,

met een beschrijving van de resultaten van de beleidsrelevante en de

wetenschappelijke evaluatie;

het rapport sluit af met een aantal conclusies.

Voor een correcte interpretatie van de scores in dit evaluatierapport geven we

nog mee dat deze de perceptie vormen van de externe evaluatoren op de

performantie van het steunpunt als geheel, dit wil zeggen dat:

- de scores de uitdrukking zijn van de eigen beoordeling van de betrokken

externe evaluatoren,

- de evaluatie slaat op het geheel van het steunpunt (steunpuntteam,

stuurgroep, overheid-opdrachtgever, EWI-ondersteuning,…), en dus niet

enkel op het steunpuntteam.

De scores vormen aldus slechts één element van de evaluatiemethodiek, en

moeten samengelezen worden met de kwalitatieve beoordeling en aanbevelingen

bij elk evaluatiecriterium.

4

Voor het Steunpunt Bestuurlijke Organisatie Vlaanderen is deze evaluatie

gebaseerd op de input van volgende externe actoren:

Beleidsrelevantie - overheid

Beleidsrelevantie - andere stakeholders

Wetenschappelijke evaluatie1

Guido Decoster, Vlaamse overheid, Bestuurszaken

Luc Lathouwers, Vlaamse overheid, Bestuurszaken

Josée Lemaitre, Studiedienst Vlaamse

regering

Ilse Snelders, Vlaamse overheid, stedenbeleid

Jeroen Vervloessem, raadgever Bestuurszaken Kabinet Minister-president

Kris Peeters

Jeroen Windey, adjunct-kabinetschef Binnenlandse Aangelegenheden Kabinet Minister Bourgeois

Peter Van Humbeeck, SERV

Ellen Vermoesen, dienst Wetsmatiging Vlaamse overheid

Steven Van Garsse,

manager Vlaams

Kenniscentrum PPS

Prof. dr. V.N. Andersen, University of Southern Denmark (DK)

Prof. dr. Peter Leisink, Utrecht University School of Governance (NL)

Prof. dr. Jean-Michem

Eymeri-Douzans, Insitut d’ etudes politiques de Toulouse, France (FR)

1 Alle wetenschappelijke experten hebben een verklaring van ‘no conflict of interest’ ondertekend.

5

2 FACTS & FIGURES VAN HET STEUNPUNT

2.1 Samenstelling

Samenstelling

Consortium Het Steunpunt Bestuurlijke Organisatie Vlaanderen bestaat uit volgende onderzoeksgroepen:

Katholieke Universiteit Leuven, Instituut voor de Overheid

Universiteit Gent, Centrum voor Lokale Politiek

Universiteit Antwerpen, Onderzoeksgroep Management & Bestuur

Universiteit Hasselt, Centrum voor Overheid en Recht

Hogeschool Gent, Departement Handelswetenschappen en Bestuurskunde

Coördinatieteam Prof. dr. Geert Bouckaert, Gewoon hoogleraar K.U.Leuven, Faculteit Sociale Wetenschappen, Departement Politieke Wetenschappen/ Directeur Instituut voor de Overheid met als promotoren

Instituut voor de Overheid, K.U.Leuven: Prof. dr. Annie

Hondeghem

Onderzoeksgroep management & bestuur, Universiteit

Antwerpen: Prof. dr. Ria Janvier Departement Handelswetenschappen en Bestuurskunde,

Hogeschool Gent: Prof. dr. Filip De Rynck

Centrum voor Lokale Politiek, Universiteit Gent: Prof. dr. Herwig

Reynaert Centrum voor Overheid en Recht, Universiteit Hasselt: Prof. dr.

Johan Ackaert

6

2.2 Doelstellingen en onderzoekslijnen

Doelstellingen en onderzoekslijnen

Doelstellingen Het Steunpunt Bestuurlijke Organisatie Vlaanderen (SBOV)

beoogt volgende algemene doelstellingen:

Het verzamelen, analyseren en ontsluiten van gegevens Het uitvoeren van probleemgericht wetenschappelijk onderzoek

(korte termijn)

Het uitvoeren van fundamenteel wetenschappelijk onderzoek Het verlenen van wetenschappelijke dienstverlening

Specifieke doelstellingen met betrekking tot bestuurlijke

vernieuwing:

Het geven van onafhankelijk advies mbt de modernisering van bestuur en beleid

Het geven van gespecialiseerd advies over het toepassen van bepaalde beleids- en beheersinstrumenten in de besturen en de samenhang tussen de diverse instrumenten

Het uitvoeren van toegepast ondersteunend onderzoek en geven van wetenschappelijk advies in het kader van

fundamentele bestuurlijke keuzen Wetenschappelijke ondersteuning bij de ontwikkeling van

monitoring-systemen en indicatoren (zowel kwalitatief als kwantitatief) die de prestaties van de diverse besturen in Vlaanderen meten

Onderzoeksclusters In het onderzoeksprogramma 2007-2011 komen deze thema's

naar voor als 4 clusters:

Cluster innoverende beleids-, beheers- en financiële cycli Cluster HRM en veranderingsmanagement Cluster sturing in netwerking van overheid, non-profit en

bedrijf Cluster vernieuwende relaties burger en bestuur

7

Onderzoekslijnen

Research

cluster

Research lines

Cluster 1: innoverende beleids-, beheers- en financiële cycli

1. Kwaliteit, tevredenheid en vertrouwen in de publieke sector: kwaliteit en innovatie in de Vlaamse lokale besturen

2. Effectiviteit van financiële innovaties in Vlaamse gemeenten en OCMW's

3. Government governance: theoretische en

normatieve modellen voor deugdelijk bestuur in de Vlaamse overheid

4. Geïnformeerd beleid: afstemming van vraag en aanbod van kwantitatieve beleidsinformatie en toekomstverkenningen

Cluster 2:

HRM en veranderings-management

1. Vergrijzing van het overheidspersoneel :

een macro-, meso- en microperspectief 2. Centrale aansturing versus decentrale

autonomie in personeelsmateries bij de Vlaamse lokale overheden

Cluster 3: sturing in netwerken

1. Publiek-private samenwerkingsvormen: aansturing en evaluatie van specifieke samenwerkingsverbanden door Vlaamse en lokale overheden

2. Lokaal beleid in netwerksturing. De invloed van netwerking op lokaal beleid, politiek en management

3. Europeanisering van interbestuurlijke relaties. Vlaamse strategieën om met de

federale structuur om te gaan tegen een Europese achtergrond

4. Organisatie en management van regulering

Cluster 4: vernieuwde relaties burger en bestuur

1. Burgerparticipatie in Vlaamse steden. Onderzoek naar praktijken van en opvattingen over de participatieve stedelijke democratie

2. Interactief beleid van de Vlaamse overheid. Optimalisering van participatie

aan verschillende types van interactief beleid

8

Onderzoek op vraag

Internationale vergelijkingen vergeleken: een meta-analyse

van rangschikkingen van publieke sectoren (2007) Naar een meetinstrument ter ondersteuning van het ambtelijk

integriteitsbeleid (2007) Bestuurskundige en juridische evaluatie van

intergemeentelijke samenwerking (2007) Impact van de staatshervorming op bestuurszaken (2007-

2011) Stedenbeleid (2007-2011):

o Strategische besluitvorming in Vlaamse centrumsteden: alternatieve modellen en strategische sturingsinstrumenten (2007-2008)

o Toekomstonderzoek in Vlaamse steden: exploratieve scenario’s rond multiculturaliteit (case Mechelen) en economie (case Antwerpen) (2009-2011)

Administratieve lastenmeting: aanvulling van het Vlaamse

meetinstrument (2008)

De efficiënte overheid geanalyseerd (2008) Evaluatie van de innovaties in het gemeentedecreet op de

lokale administratieve en politieke werking (2008-2010) Het nieuwe strategische adviesstelsel: een

verbeteringsgerichte procesevaluatie (2009) Management Ondersteunende Dienstverlening in de Vlaamse

overheid (2009) Empirische onderbouw van de centrumfuncties in stadsregio’s

– onderzoek naar aspecten van stadsregionale verevening (2009)

Slagkrachtige Overheid (2010) Digitale kloof (2010)

Binnengemeentelijke decentralisatie in Vlaanderen (2010-2011)

Personeelsmobiliteit in de Vlaamse overheid: een evaluatie (2011)

Lokale efficiëntie (2011) Slagkrachtige overheid: Ondersteuning en uitdieping van de

basisopdrachten van de Commissie Efficiënte en Effectieve

Overheid (2010-2011) Regioscreening als instrument voor bestuurlijke hervorming

(2011)

9

2.3 Budget

Op basis van de jaarverslagen en de jaarplannen vindt u in onderstaande tabel de

jaarlijkse budgetten voor het steunpunt:

Jaar Budget (EUR)

2007 1.477.000

2008 1.500.875

2009 1.504.032

2010 1.472.886

2011 1.413.079

Totaal 2007-2011 7.367.872

Gemiddeld budget per jaar 1.473.574

Waarvan projecten2 Langetermijnprojecten Kortetermijnprojecten

Waarvan valorisatie en coördinatie

84% 58% 26%

16%

2 percentages op basis van het meerjarenprogramma van het steunpunt.

10

3 KRACHTLIJNEN ZELFEVALUATIE

Het Steunpunt Bestuurlijke Organisatie Vlaanderen is een gevestigde waarde

onder de steunpunten:

het is een tweede generatie-steunpunt, dat qua samenstelling in vergelijking

met het eerste generatie-steunpunt op 2 punten is aangepast om de vereiste

expertise in lijn met de overheids-call afdoende af te dekken;

het is een uitgebreid steunpunt, met een gemiddeld aantal onderzoekers van

20,9 VTE per jaar, met een ruime senioriteit;

het is een sterk genetwerkt steunpunt, zowel naar andere steunpunten en

onderzoeksgroepen (nationaal en internationaal) als naar derden en

internationale organisaties in het onderzoeksdomein.

Het steunpunt heeft in zijn zelfevaluatie een eigen ‘sterkte-zwakte’-analyse

gemaakt, die hieronder is gerapporteerd.

Sterktes Zwaktes

Wetenschappelijk + de combinatie van diepgaand wetenschappelijk en beleidsgericht

onderzoek

+ intensieve interactie met het onderzoeksveld

+ continuïteit gedurende 5 jaar van de beschikbare budgettaire middelen

+ capaciteitsopbouw (expertise, PHD, administratieve ondersteuning, databases, …)

+ mogelijkheden voor uitgebreide en longitudinale dataverzameling

+ 5 jaars tijdskader laat toe om onderzoeksresultaten te valoriseren

+ mogelijkheden voor innovatieve onderzoeksprojecten uit te voeren

+ structurele samenwerking tussen onderzoeksunits van verschillende universiteiten en hogescholen

- divergentie in evaluatiecriteria tussen overheid en academische

wereld

- transactiekosten op het einde en bij de opstart van een nieuw onderzoeksprogramma omwille van het verloop van de onderzoekers

Beleidsrelevantie + contactpunt voor de administratie inzake beleidsgerichte vragen

+ bijdrage tot evidence based beleid

+ interactie tussen administratie en universiteiten

+ capaciteitsopbouw voor de overheid (1): ter beschikking hebben van onderzoekers met relevante expertise

+ capaciteitsopbouw voor de overheid (2): extern informatiecentrum voor de overheid

- communicatie van onderzoeksresultaten strookt niet altijd met aanbod/vraag

- moeilijkheid om specifieke beleidsvragen te beantwoorden die niet gerelateerd zijn aan het onderzoeksprogramma

- tijdskader van wetenschappelijke output is soms te lang voor beleidsvragen

- geen eenduidigheid in aansturing tussen politiek en administratie

11

Aanvullende aandachtspunten en leereffecten die het Steunpunt Bestuurlijke

Organisatie Vlaanderen in zijn zelfevaluatie heeft gerapporteerd, zijn:

de governance van het steunpunt is opgebouwd rond een stuurgroep

(vergadert 2 maal per jaar), die eerder gericht is op de monitoring van de

uitvoering van het meerjarenprogramma, en klankbordgroepen per project.

Deze laatste blijken interessante en actieve fora om de onderzoeksresultaten

met de stakeholders te bespreken. De kwaliteit van deze klankbordgroepen is

evenwel wisselend, mede bepaald door de al dan niet actieve rol die de

klanbordleden spelen, hun aanwezigheid en de mate waarin ze breder

terugkoppelen naar hun eigen organisatie. Een initiatief van het Departement

Bestuurszaken om de leden in de SBOV-klankbordgroepen samen te brengen

met het oog op informatie-uitwisseling, was niet succesvol;

SBOV heeft een uitgebeide coördinatie en communicatiestrategie ontwikkeld,

die fungeert op verschillende niveaus en via verschillende kanalen. Naast de

hierboven vermelde stuurgroep en klankbordgroepen zijn dit onder meer het

opzetten van doctorale seminaries, website en intranet, en ook uitwisseling

van onderzoekers tussen onderzoeksgroepen;

het steunpunt kent een relatief beperkt personeelsverloop, mede ook

ingegeven door de 5-jarige looptijd van het steunpunt, die toelaat dat

onderzoekers zich kunnen ontwikkelen en vertrouwd raken met de volledige

onderzoekscyclus, gaande van het ontwikkelen van theoretische denkkaders,

empirisch veldwerk en rapportering, al dan niet onder de vorm van een PHD-

traject;

de continuïteit van SBOV I naar SBOV II heeft toegelaten om postdoc’s aan

boord te houden, wat een positief effect heeft op de kwaliteit van zowel het

lange termijn- als het korte termijnonderzoek;

voormalige medewerkers van het steunpunt komen dikwijls terecht in

overheidsfuncties (‘civil servants’) zodat deze kennistransfer en

capaciteitsopbouw richting overheid kan beschouwd worden als een positief

afgeleid effect;

het steunpunt fungeert ook als hefboom om bijkomende middelen uit andere

fondsen aan te trekken, zoals FWO en het Europese FP7-programma;

de open coördinatierol van EWI wordt sterk ge-apprecieerd, zowel

organisatorisch-administratief ondersteunend als in de rol van intermediator

tussen verschillende steunpunten. Er wordt wel gevraagd om te werken aan

een doorontwikkeling van het steunpuntenforum in een eventueel toekomstig

steunpuntenprogramma;

de verhouding van 70% lange termijn onderzoek en 30% korte

termijnonderzoek wordt als een goede balans beschouwd;

verschillen in efficiëntie en effectiviteit tussen verschillende onderzoekslijnen

kunnen in hoofdzaak herleid worden tot een gebrek aan continuïteit in het

onderzoekspersoneel in de minst presterende lijnen;

transversale thema’s zijn binnen SBOV niet beschouwd als prioritaire

aandachtsvelden, en zijn aldus wat op de achtergrond geraakt;

inzake publiek beschikbaar stellen van datasets wordt erop gewezen dat het

van ethisch oogpunt niet verantwoord is om éénder welke dataset integraal

publiek te maken, gezien heel wat datasets gebonden zijn aan

vertrouwelijkheidsclausules jegens bevraagde personen. Waar het kan worden

de datasets beschikbaar gesteld via de website van SBOV en/of als onderdeel

van de gepubliceerde rapporten.

12

4 BELEIDSRELEVANTE EVALUATIE

De beleidsrelevante evaluatie bestaat uit een bevraging van twee groepen

beleidsrelevante actoren, met name de opdrachtgevers (kabinetten en

administratie) en stakeholders, beide lid van de stuurgroep/klankbordgroepen

van het steunpunt.

De evaluatie steunt op een beoordeling van de performantie van het steunpunt op

6 hoofdcriteria, zijnde:

werking van het steunpunt;

relatie steunpunt-overheid;

efficiëntie van het steunpunt;

effectiviteit van het steunpunt;

doorstroming van resultaten, en

de relatie van het steunpunt met derden.

Het Steunpunt Bestuurlijke organisatie Vlaanderen heeft van de beleidsrelevante

experten een goede tot zeer goede evaluatie gekregen, en dit met een globale

score van 3,53 op 5.

De evaluatieresultaten per criterium zijn hieronder beschreven, bestaande zowel

uit een score als uit achterliggende duiding bij de beoordeling.

4.1 Werking van het steunpunt

Score*

1. Samenstelling van het steunpunt 3,86

2. Multidisciplinaire werking en kennisuitwisseling 3,62

3. Interne werking van het steunpunt 4,00

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

Het gemiddelde per steunpunt werd berekend als het rekenkundig gemiddelde

van alle respondenten (administratie, kabinet en overige stakeholders) met

evenwel een maximaal gewicht van 50% voor de “overige stakeholders”.

Op dit eerste criterium is de spreiding in evaluatiescore tussen de verschillende

respondenten beperkt.

Het steunpunt is multidisciplinair samengesteld (niet alleen bestuurskundig), en

de toewijzing van de onderzoeksthema’s gebeurt op basis van aanwezige

competenties. Wel wordt vastgesteld dat de agenda sterk is afgestemd op

aanwezige expertise, met als gevolg dat output rond terreinen waar expertise

minder ontwikkeld is zoals in reguleringsmanagement, ook lager is.

De organisatie rond de onderzoeksclusters zorgt voor een goede structuur en

resulteert in een goede thematische afdekking mbt het onderzoeksdomein

‘bestuurlijke organisatie’.

De methodische aanpak van het steunpunt geeft meerwaarde aan de verzamelde

informatie door het te koppelen aan een theoretisch model of referentiekader.

Er zou wel ruimte zijn voor meer intensieve samenwerking en kruisbestuiving

tussen de onderscheiden onderzoeksgroepen, bvb. in het onderzoeksspoor

‘interne staatshervorming’.

13

De coördinator en de senior onderzoekers zijn sterk zichtbaar.

4.2 Relatie steunpunt – overheid

Score*

1. Samenwerking steunpunt - overheid 3,37

2. Aansturing door stuurgroep 3,00

3. Coördinerende rol EWI 3,50

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

Globaal wordt de kennisuitwisseling tussen onderzoekers en Vlaamse overheid

(administratie en kabinet) als goed omschreven. De vertegenwoordigers van de

kabinetten geven doorgaans wel een hogere score dan die van de administratie

en de stakeholders.

De governance bestaat uit een stuurgroep (eerder formeel) en klankbordgroepen

per project. De samenwerking tussen SBOV II en het beleidsdomein

Bestuurszaken verloopt voornamelijk via de klankbordgroepen (op niveau van

projecten) die op zich goed functioneren, maar:

er lopen veel projecten tegelijkertijd, wat de inzet van relevante

medewerkers vanuit de administratie bemoeilijkt;

er dient van bij de aanvang van een onderzoek meer aandacht besteed te

worden aan de juiste samenstelling van deze klankbordgroepen;

er dient een grotere flexibiliteit te zijn om tijdens de looptijd van het

steunpunt mensen te wisselen of nieuwe mensen op te nemen;

voor sommige onderzoeken is het begeleidingstraject goed uitgewerkt,

andere kunnen winnen bij het inbouwen van meer interactieve werksessies

tussen academici – kabinet en administratie;

de klankbordgroepen komen soms te weinig of soms niet op juiste momenten

samen zodat inbreng na afgeronde fasen niet meer kan verwerkt worden.

De bereidheid van onderzoekers om mee te werken aan activiteiten op vlak van

kennisoverdracht, vorming, externe profilering en validatie, wordt als positief

ervaren. In het bijzonder de vertaling van het onderzoek naar opleidingen gericht

op beleidsmensen wordt als positief beschouwd.

De onderzoekers voeren hun onderzoek in hoofdzaak uit op afstand. Om meer

vertrouwd te raken met de praktijk kan het ook aangewezen zijn om

onderzoekers (deels) hun onderzoek te laten uitvoeren binnen de administratie.

Ook wordt –i.h.b. vanuit de administratie- erop gewezen dat voor de bepaling van

de onderzoeksthema’s op strategisch niveau tussen de administratie, de politiek

en het consortium gedurende de looptijd van het programma behoefte is aan

meer onderlinge afstemming (i.h.b. voor de B-projecten).

De secretariaatsfunctie van EWI wordt gewaardeerd in zijn (formele)

coördinatierol, maar velen verwachten een sterkere inhoudelijke rol. Er worden

volgende suggesties gedaan van bijkomende taken die EWI zou kunnen

opnemen, zoals:

frequenter samenbrengen van steunpunten;

14

bijkomende zoekfuncties op overkoepelende website, zoals gezamenlijke

databank van onderzoeksprorgamma’s en –rapporten, die toegankelijk

gemaakt worden via zoekfunctie (thema, steunpunt, auteur);

steunpunten-studiedag.

4.3 Efficiëntie van het steunpunt

Score*

1. Efficiëntie van het steunpunt als geheel (verhouding output/middelen) 4,10

2. Efficiëntie van de deeltaken

a. Dataverzameling en analyse 3,87

b. Onderzoek 4,12

c. Kennisoverdracht en wetenschappelijke dienstverlening 3,75

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

In verhouding tot de ingezette middelen wordt de output van het steunpunt –

zonder onderscheid tussen alle respondenten- als ruim omschreven. Vanuit

stedenbeleid wordt de kanttekening gemaakt dat naast de output (gericht op A1-

publicaties) ook voldoende oog moet zijn voor de maatschappelijke waarde en

beleidsrelevantie van het resultaat.

Om de kennisoverdracht te versterken wordt de suggestie gedaan om informele

nagesprekken te organiseren tussen de onderzoekers en de administratie+

kabinet. Elke onderzoeker moet vanuit zijn beleidsrelevante opdracht sterke

aandacht hebben voor het natraject.

De organisatie van studiedagen door SBOV wordt dan weer gezien als een

efficiënte manier om de onderzoeksresultaten en beleidsaanbevelingen aan een

ruim publiek kenbaar te maken.

4.4 Effectiviteit van het steunpunt

Score*

1. Effectieve invulling van doelstellingen inzake

a. Dataverzameling en analyse 3,87

b. Onderzoek 4,12

c. Kennisoverdracht en wetenschappelijke dienstverlening 3,87

d. Transversale thema’s 3,14

e. Opbouw van wetenschappelijke capaciteit 4,25

2. Wendbaarheid om beleidsvragen te beantwoorden 3,86

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

De verwachtingen ten aanzien van het steunpunt zijn grotendeels ingevuld, zowel

inzake fundamenteel onderzoek als het beantwoorden van beleidsvragen. Dit

wordt door alle respondenten erkend.

De beleidsprioriteiten en timing van de administratie stroken niet altijd met het

onderzoeksproces. Vandaar komen resultaten soms te laat of houden deze

onvoldoende rekening met recente ontwikkelingen op beleidsvlak. Vandaar wordt

15

gepleit voor meer focus op kortlopende projecten (ook vertaald in budget), wat

ook de directe bruikbaarheid van het onderzoek voor het beleid ten goede komt.

Aandachtspunt tav de korte termijn projecten is dat ze soms overladen worden in

vraagstelling met als resultaat dat de aanbevelingen algemeen blijven en te

weinig focus hebben. Inzake longitudinaal onderzoek wordt de suggestie gedaan

om opvolgingsonderzoeken naar beleidseffecten meer op de voorgrond te

plaatsen, zodat maatschappelijke evoluties meer zichtbaar worden. Er wordt ook

gepleit om korte termijn-opdrachten enkel aan het steunpunt te vragen, als deze

aansluiten bij de aanwezige expertise. Indien dit niet het geval is, gebeurt dit

beter via andere kanalen.

Op het vlak van kennisoverdracht kan er nog meer aandacht besteed worden aan

het natraject door van bij het begin te voorzien in een sterkere wisselwerking

tussen de onderzoeker en de administratie, en het structureel voorzien van een

valoriserende uitloop in elk onderzoeksproject.

Beleidsrelevantie van onderzoek kan versterkt worden door vernieuwing van

onderzoeksaanpak, die nu vaak terugvalt op internationaal vergelijkend

onderzoek met veelal zelfde (Angelsaksische) landen. Sommige respondenten

wijzen ook op overwegend conceptueel-beleidsvoorbereidend onderzoek, terwijl

er meer nadruk zou kunnen gelegd worden op ‘harde’ evaluatiestudies.

Vanuit de administratie is er de wens om sterker betrokken te worden bij de

formulering van de thema’s voor het korte termijnonderzoek, en ook het meer

systematisch inbouwen van een startvergadering met de geïnteresseerde actoren.

In dezelfde lijn wordt ook gepleit voor voldoende flexibiliteit ten aanzien van

nieuwe onderzoeksnoden tijdens de looptijd van het steunpunt.

4.5 Doorstroming van resultaten

Score*

1. Doorstroming van steunpuntresultaten in de beleidscyclus 3,12

2. Doorstroming van steunpuntresultaten in maatschappelijke debat en media

3,00

3. Bijdrage van het steunpunt tot het versterken van de beleidsvoorbereidende capaciteit van het departement

3,17

4. Toegang datasets voor Vlaamse overheid 2,86

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

De scores op bovenvermelde criteria liggen doorgaans wat lager en vertonen ook

een grotere spreiding tussen de respondenten, zonder evenwel een duidelijk

patroon in deze spreiding. De respondenten vermelden tal van voorbeelden van

doorstroming van onderzoeksresultaten naar de beleidscyclus, zoals:

evaluatie organieke decreten lokale besturen, lessen uit aanpak

staatshervorming, invoeren rechtspositieregeling lokale besturen,

samenwerking gemeente-OCMW, evaluatie IGS-decreet, evaluatie

strategische adviesraden, rekendecreet, planlastendecreet,…

de bijdrage van SBOV tot het meerjarenprogramma ‘Slagkrachtige overheid’

en de Commissie voor Efficiënte en Effectieve Overheid, en de samenwerking

met VVBB en VEP;

de voorbereiding van Vlaanderen ikv het Europees Voorzitterschap.

16

De toename van de wetenschappelijke capaciteit en de instroom van vroegere

SBOV-medewerkers in de administratie op onderzoeks- en beleidsondersteunende

functies en in andere onderzoeksgroepen wordt erkend.

Het is aangewezen dat het steunpunt per afgeleverd onderzoeksrapport een

beknopte duiding geeft hoe dit onderzoek zich verhoudt tot de huidige

beleidscontext en wat de meest relevante aanbevelingen zijn. Vanuit stedenbeleid

wordt ook ge-argumenteerd dat er meer academische-ambtelijke- politieke

werkgroepen/sessies nodig zijn om de doorstroming van de onderzoeksresultaten

te bevorderen. In dezelfde lijn zou de doorstroming van het onderzoek nog

kunnen winnen bij het actief betrekken van de experten in werkgroepen mbt ViA-

doorbraken of andere beleidsvoorbereidende trajecten.

Vanuit stedenbeleid wordt aangegeven dat door het intern beperkt doorstromen

van de resultaten SBOV te weinig wordt ingezet als beleidsvoorbereidende

capaciteit. Hiervoor wordt vooral een beroep gedaan op de Studiedienst van de

Vlaamse regering (stedenbeleid).

Aandachtspunt voor een betere valorisatie is de absorptiecapaciteit bij de

Vlaamse overheid zelf. Ook de verkokering binnen de overheid wordt als rem

vermeld (kabinet). SBOV spreidt zich over ‘deelbeleidsdomeinen’ binnen de

Vlaamse overheid (DAR, DBZ, ABB en Stedenbeleid), wat soms flexibel inspelen

op beleidsprioriteiten beperkt.

Inzake beschikbaarheid van datasets zijn geen afspraken tussen administratie en

steunpunt gemaakt. De beschikbaarheid en gebruik van de databanken zou best

versterkt worden.

4.6 Relatie van het steunpunt met derden

Score*

1. Beroep van derden op het steunpunt 3,25

2. Samenwerking met andere steunpunten en onderzoeksgroepen 3,00

3. Toegang tot datasets voor derden 2,50

*Schaal van 0 (=zeer slecht) tot 5 (=uitstekend)

Het SBOV is een heel gekend centrum op vlak van bestuurskundig onderzoek, dat

ook veel gesolliciteerd wordt vanuit verschillende fora. De onderzoekers en

promotoren staan voldoende open voor vragen van derden. Vermeldenswaard is

het groot aantal opleidingen en vormingen.

Ook op internationaal vlak heeft het steunpunt een steeds sterkere positie

opgebouwd, onder meer door publicatie in internationale tijdschriften. Het moet

echter een uitdaging blijven om een optimale afweging te creëren tussen het

fundamenteel wetenschappelijk onderzoek en het voldoende praktijkgericht

onderzoek.

17

5 WETENSCHAPPELIJKE EVALUATIE

De wetenschappelijke evaluatie van het Steunpunt Bestuurlijke Organisatie

Vlaanderen is gebaseerd op drie evaluaties van experten in bestuurlijke

organisatie3. De evaluatiecriteria zijn in onderstaande tabel weergegeven.

De evaluatie van de drie wetenschappelijke experten is eensluidend zeer positief,

en dit op elk van de evaluatiecriteria.

Globaal krijgt het Steunpunt Bestuurlijke Organisatie Vlaanderen een zeer goede

wetenschappelijke beoordeling (3,80 op 4).

5.1 Globale beoordeling steunpunt

Score*

Vernieuwend karakter van de onderzoeksthema’s 3,60

Internationaal karakter van het onderzoek 3,60

Relevantie van het onderzoek 4,00

Valorisatie van de onderzoeksresultaten 4,00

Productiviteit van het steunpunt 3,60

Algemene wetenschappelijke beoordeling4 3,80

*Schaal van 1 tot 4 met 1 = “poor”, 2 = “acceptable”, 3 = “good” en 4 = “very good”

Het gemiddelde per steunpunt werd berekend als het rekenkundig gemiddelde

van de scores van alle wetenschappelijke experts.

5.2 Vernieuwend karakter

Inzake bijdrage tot de ontwikkeling van wetenschappelijke onderzoeksthema’s

wordt in het bijzonder verwezen naar volgende thema’s:

hervormingsprocessen (vb. agencification) en participatietheorieën;

overheidsmanagement;

scenariobuilding in stedelijk beleid;

sterke positie in onderzoeksdomeinen gerelateerd aan governance binnen

meerlagige overheid.

Inzake het vernieuwend karakter van onderzoeksvragen en methodes wordt in

het bijzonder het cross-disciplinaire en longitudinale karakter van de onderzoeken

onderlijnd. Dit wordt versterkt door de gecombineerde inzet van verschillende

onderzoeksmethodieken (surveys, database, case studies, interviews,…).

Aanbevelingen:

versterken van de duurzaamheid van de onderscheiden onderzoekslijnen

gezien bepaalde van deze lijnen te lijden hebben gehad onder de uitval van

onderzoekers;

3 Alle wetenschappelijke experten hebben een verklaring van ‘no conflict of interest’ ondertekend. 4 Deze algemene wetenschappelijke beoordeling is de gemiddelde score van de experten op dit

overkoepelend criterium, en dus niet het gemiddelde van de 5 deelcriteria

18

er is ruimte voor meer samenwerking tussen de verschillende

onderzoeksgroepen, aangezien slechts 2 van de LT-projecten en 4 van de KT-

projecten ‘cross-institutional’ zijn.

5.3 Internationaal karakter

Het internationale karakter van het onderzoek wordt zonder onderscheid als sterk

beschouwd, en dit zowel inzake:

de onderzoeksthema’s die relevant zijn voor de overheden van de meeste

westerse landen;

de longitudinale studies zijn uniek binnen het onderzoeksdomein;

het internationaal vergelijkend onderzoek;

de publicaties in internationale erkende vaktijdschriften;

actieve deelname aan internationale congresssen en conferenties;

actieve rol in internationale netwerken zoals COBRA (comparative public

organisation data base for research and analysis), COST-CIPRO (comparative

trends in public organizations), EGPA (European Group for Public

Administration) and IIAS (International Institute of Administrative Sciences).

Aanbevelingen:

aangezien er een duidelijk verschil in internationale oriëntering en uitstraling

is tussen de onderscheiden onderzoekslijnen ligt hier nog een uitdaging voor

deze onderzoeksgroepen (vb. lokale overheden);

nagaan hoe de opgebouwde internationaal vergelijkende databases verder en

meer kunnen ingezet worden voor internationaal vergelijkend onderzoek.

5.4 Relevantie van het onderzoek

De onderzoekslijnen worden gerelateerd aan de actuele thema’s in het

wetenschappelijk debat rond bestuurlijke organisatie als zeer relevant

omschreven. In het bijzonder worden volgende punten onderlijnd:

government governance;

vergrijzing van het overheidspersoneel;

netwerkregie;

het ontwikkelen van evaluatie-onderzoek, zoals evidence based-policy

making, benchmarking, impact assessment en performantiemeting.

Aanbeveling: het zou interessant zijn om op basis van de vele case studies die

werden uitgevoerd deze kwalitatieve onderzoeksmethodiek verder te ontwikkelen

op maat van bestuurlijke organisatie-onderzoeksprojecten.

19

5.5 Valorisatie van de resultaten

De valorisatie van de onderzoeksoutput wordt als ruim omschreven, onder meer

onderbouwd door:

het aantal beleidsadviezen en de deelname aan comités bij de overheid;

het omvangrijk aandeel B-projecten, die aansluiten bij concrete

beleidsbehoeften;

het aanreiken van methodieken met het oog op hervormingen bij de publieke

sector op verschillende niveaus;

de interactie met de stakeholders in de klanbordgroepen;

de toegankelijkheid voor derden en andere onderzoekers van rapporten en

databases op de website, en de verspreiding ervan via de nieuwsbrief

Aanbevelingen:

de dynamisering van stuurgroep en klankbordgroepen als actieve fora die

ontwerprapporten en adviezen voor publicatie dienen te becommentariëren;

evenwicht tussen LT en KT-onderzoek, waarbij blijvend voldoende ruimte

dient te zijn voor LT-onderzoek (dankzij LT-financiering) aangezien deze een

sleutelrol speelt in de sterke internationale positionering van het centrum;

verkennen op welke wijze tussen onderzoekers en beleidsmakers de

interactie verder kan versterkt worden (‘bridging the gap’).

5.6 Productiviteit van het steunpunt

In globo wordt vastgesteld dat het SBOV II-team (een gemiddeld aantal

onderzoekers van 20,9 VTE per jaar) heeft geleid tot 538 publicaties, 10 grote

vergelijkende surveys en 97 case studies, 315 nationale en 177 internationale

lezingen. Gebaseerd op de verhouding van aantal publicaties versus de omvang

van het team wordt de productiviteit van het steunpunt als zeer goed

gekwoteerd. Deze blijken daarbij van hoog niveau te zijn, gezien de vele

publicaties in internationale hoog aangeschreven vaktijdschriften. Dit wordt nog

versterkt door het substantiële aantal bijdragen in internationale boeken.

Aanbevelingen:

er wordt een verschillende publicatiestrategie vastgesteld tussen de

onderzoekslijnen (verhouding nationaal/internationaal). Er is ruimte om –

zeker in bepaalde onderzoekslijnen- de nationale publicaties bijkomend te

valoriseren op internationaal vlak;

gezien het grote aantal databases, surveys, case studies is er een gevaar van

‘data-overload’. Even belangrijk is de valorisatie van het verzamelde

datawerk;

het behoud van voldoende senior staf in het steunpunt (als PhD en na PhD

als post doc).

20

6 CONCLUSIES

Het Steunpunt Bestuurlijke Organisatie Vlaanderen heeft zowel inzake

beleidsrelevantie als inzake wetenschappelijke kwaliteit een positieve evaluatie

gekregen, en dit meer positief dan het gemiddelde van alle steunpunten samen.

In het bijzonder de wetenschappelijke experten hebben het steunpunt zeer

positief geëvalueerd, en dit op alle criteria (innovatieve en internationale karakter

van het onderzoek, relevantie van het onderzoek, valorisatie van de output en de

productiviteit van het steunpunt).

Inzake beleidsrelevantie scoort het steunpunt eveneens goed met relatief gezien:

hoogste scores en ruime overeenstemming op interne werking van het

steunpunt, de efficiëntie als verhouding tussen output en de beschikbare

middelen, de effectiviteit van het steunpunt (met uitzondering van de

transversale thema’s);

marge voor verbetering is er inzake aansturing van het steunpunt door de

stuurgroep, de doorstroming van de resultaten naar beleid (spreiding van 2

tot 5 in score), maatschappelijk debat en media, en de toegang tot datasets

voor de overheid en voor derden.

Bij vergelijking van de zelfevaluatie, de beleidsrelevante en de wetenschappelijke

evaluatie komen we tot volgende conclusies:

21

Convergentie

De structurele samenwerking tussen onderzoeksunits van verschillende universiteiten en hogescholen, waardoor uiteenlopende expertisedomeinen gecombineerd worden. Sommige beleidsrelevante actoren geven evenwel advies om meer proactief om te gaan met maatschappelijke uitdagingen over de grenzen van de eigen discipline heen en ook meer samenwerking op te zoeken met andere steunpunten.

De ruime valorisatie van de onderzoeksoutput: publicaties, website, opleidingen en

vormingen.

De capaciteitsopbouw van relevante expertise voor de overheid. Hier speelt evenwel ook de tijdsperiode van 5 jaar, waar de wetenschappelijke wereld (steunpunt en experten) wijst op de breuk in longitudinaal onderzoek elke 5 jaar, de beperkte mogelijkheden om getalenteerde onderzoekers na hun PHD te kunnen behouden en de hoge transactiekosten op het einde en bij de opstart van een nieuw onderzoeksprogramma.

Het steunpunt als hefboom voor netwerking rond bestuurskundige thema’s en toegang tot internationale fora.

De interactie tussen de onderzoekswereld en beleidsactoren (vb. via de klankbordgroepen). Toch wijzen beleidsrelevante actoren op de marge om onderzoeksresultaten meer te vertalen naar beleidsaanbevelingen, en onderzoekers meer onderzoek te laten doen op het terrein zelf.

Divergentie

Dat er een juiste balans dient te zijn tussen korte termijn en lange termijn projecten zijn alle partijen het eens; evenwel onderlijnen de beleidsrelevante actoren het belang van een groter aandeel van KT-onderzoek om nauwer te kunnen aansluiten op snel

wijzigende maatschappelijke context en politieke realiteit, terwijl de wetenschappelijke experten wijzen op het belang van longitudinaal onderzoek/dataverzameling en de bedreiging van een te groot aandeel van KT-

onderzoek dat LT-onderzoek onder druk zou kunnen zetten. In essentie is deze divergentie ook gerelateerd aan verschillen in evaluatiecriteria tussen overheid (beleidsgerichtheid) en academische wereld (academische kwaliteit) om de waarde van de onderzoeksoutput te waarderen.