RAPPORT D’EVALUATION - Programme Med€¦ · En 2011 des évaluations spécifiques concernant des...

Evaluation in itinere Programme MED Parcourir- septembre 2011

1

VE

RSI

ON

FR

AN

CA

ISE

20

10

RA

PP

OR

T D

’EV

AL

UA

TIO

N

IN

IT

INE

RE

P a r c o u r i r L ’ Europe S a n d r a U n g e m a c h - B e n s a i d ,

J e a n n e G e o f f r o y , D a n i e l P o u l e n a r d

2 8 A v e n u e L é o n B l u m

3 1 5 0 0 T o u l o u s e / F r a n c e

w w w . r e s e a u - p a r c o u r i r . e u


2

TABLE DES MATIERES

PARTIE 0: INTRODUCTION/METHODE ..................................................................................................................................................... 3

PROGRAMME MED PRESENTATION .................................................................................................................................................................... 4

INTRODUCTION ............................................................................................................................................................................................. 5

PRESENTATION GENERALE DE LA METHODE ............................................................................................................................................................. 6

BILAN DE L’UTILISATION DES OUTILS D’EVALUATION .................................................................................................................................................. 7

PARTIE 1: LE PROGRAMME INTERREG IV MED, MISE EN PERSPECTIVE ..................................................................................................... 9

MISE EN PERSPECTIVE, ENJEUX ET ESPACE DE COOPERATION .................................................................................................................... 10

la definition de l’espace de coopération ................................................................................................................................................. 10

MISE EN PERSPECTIVE, GOUVERNANCE ET MISE EN OEUVRE ...................................................................................................................... 12

L’héritage 2000-2006 ........................................................................................................................................................................... 12

Les défis pôur le programme MED depuis 2006-2007. ........................................................................................................................... 13

Les réponses apportées .......................................................................................................................................................................... 13

PARTIE 2: EVALUATION PROGRAMME ................................................................................................................................................... 17

ANALYSE DU CADRE LOGIQUE DU PROGRAMME ...................................................................................................................................................... 18

Introduction ........................................................................................................................................................................................... 18

Etat des réalisations du programme ...................................................................................................................................................... 18

Conclusions ............................................................................................................................................................................................ 36

ELEMENTS DE BENCHMARKING (ETALONNAGE) ...................................................................................................................................................... 37

Principe méthodologique de l’étalonnage .............................................................................................................................................. 37

Analyse des questions soumises à l’étalonnage ..................................................................................................................................... 40

conclusions ............................................................................................................................................................................................. 44

PARTIE 3: EVALUATION PROJETS ........................................................................................................................................................... 45

RAPPEL METHODOLOGIE ............................................................................................................................................................................ 46

ETAT DES LIEUX DE LA SELECTION DES PROJETS .......................................................................................................................................... 46

CLASSIFICATION DES PROJETS PAR TYPOLOGIE ........................................................................................................................................... 47

METHODE DES ENTRETIENS ........................................................................................................................................................................ 49

Construction du panel des projets à évaluer .......................................................................................................................................... 49

Méthode des entretiens ......................................................................................................................................................................... 53

ANALYSE DE LA “VIE DU PROJET” ..................................................................................................................................................................... 55

ANALYSE DE LA COMMUNICATION ....................................................................................................................................................................... 59

ANALYSE DE LA CAPITALISATION .......................................................................................................................................................................... 60

CONCLUSIONS ................................................................................................................................................................................................. 61

ARTIE 4: SYNTHESES RECOMMANDATIONS ........................................................................................................................................... 62

RAPPEL METHODE ....................................................................................................................................................................................... 63

SYNTHESE MECANISMES DE MISE EN OEUVRE DU PROGRAMME .................................................................................................................... 63

ANALYSE DE LA CORRESPONDANCE PROGRAMME/PROJETS ...................................................................................................................... 65

CAPITALISATION, MUTUALISATION, RETOUR D’EXPERIENCE ............................................................................................................................ 66

PROPOSITIONS PRECONISATIONS ......................................................................................................................................................................... 67

proposition d’ORGANISATION GENERALE GESTION DU PROGRAMME SUIVI DES PROJETS .................................................................... 67

RECOMMANDATION GENERALE ............................................................................................................................................................ 69

Préconisation à cours terme : Evaluation des scénarios d’utilisation des fonds disponibles dans la dernière phase de

programmation ..................................................................................................................................................................................... 70

PARTIE 5 : ANNEXES .............................................................................................................................................................................. 72

GUIDES D’ENTRETIENS ................................................................................................................................................................................... 73

pROJETS ................................................................................................................................................................................................. 73

aUTORITES NATIONALES ........................................................................................................................................................................ 75

stc /aug- JTS /MA ................................................................................................................................................................................... 77

LISTE ENTRETIENS ....................................................................................................................................................................................... 81


3

PARTIE 0: INTRODUCTION/METHODE


4

PROGRAMME MED PRESENTATION

Programme adopté le 20 décembre 2007 par la Commission Européenne :

Régions Eligibles Structures de gestions

Chypre : ensemble du territoire national

Espagne : six Autonomies régionales - Andalousie, Aragon, Catalogne, îles Baléares, Murcie, Valence - et les deux villes autonomes - Ceuta et Melilla.

France : quatre régions - Corse, Languedoc-Roussillon, Provence - Alpes - Côte d'Azur, Rhône-Alpes.

Grèce : ensemble du territoire national

Italie : dix-huit régions : Abruzzes, Basilicate, Calabre, Campanie, Emilie-Romagne, Friuli Venezia Giulia, Latium, Ligurie, Lombardie, Marches, Molise, Ombrie, Piémont, Pouilles, Sardaigne, Sicile, Toscane, Vénétie.

Malte : ensemble du territoire national

Portugal : deux régions - Algarve, Alentejo

Royaume-Uni : une région de Programme Economique – Gibraltar

Slovénie : ensemble du territoire national

Autorité de gestion : Région Provence Alpes Côte d’Azur

Secrétariat Technique Conjoint : Région Provence Alpes Côte d’Azur

Bureau de liaison entre les Programmes Med et IEVP CBC Bassin Méditerranéen : Valence

Bureau de liaison entre le programme et les partenaires IPA : Thessalonique

Autorité de certification : Caisse des dépôts et consignations

Autorité d’audit : Commission Interministérielle de coordination des contrôles

Comité de suivi : Représentants des Etats membres, de l'AUG, de l'Autorité d'audit, de l'Autorité de certification, de représentants du bureau de liaison et de partenaires économiques et sociaux,

Axes prioritaires et dotations financières

Au niveau du programme : 256 million €, dont 193 millions au titre du FEDER

Axe 1 : Renforcement des capacités d’innovation : 77 millions €, dont 58 millions au titre du FEDER

Axe 2 : Protection de l’environnement et promotion d’un développement territorial durable : 87 millions €, dont 66 millions au titre du FEDER

Axe 3 : Amélioration de la mobilité et de l’accessibilité des territoires : 51 millions €, dont 38 millions au titre du FEDER

Axe 4 : Promotion d’un développement polycentrique et intégré de l’espace Med : 26 millions €, dont 19 millions au titre du FEDER

Axe 5 : assistance technique : 15 millions €, dont 12 millions au titre du FEDER


5

INTRODUCTION

Le rapport d’évaluation in itinere 2010 représente la deuxième étape des travaux d’évaluation 2010. La

première étape a été réalisée en interne avec les gestionnaires du programme pour définir le cadre de travail

et la méthode. Ce rapport constitue le premier livrable destiné à la diffusion. Mi 2011 un prochain document

détaillera les préconisations pour la mise en œuvre des recommandations présentées dans la quatrième partie

de ce rapport.

Les travaux d’évaluation ont commencé en février 2010 et les tâches suivantes ont été réalisées :

Elaboration d’un tableau de bord d’évaluation Mars avril 2010

Analyse documentaire des documents du programme et des 2 appels à projet 2008 et 2009 et benchmarking.

Février juin 2010

Elaboration d’un guide d’entretien « autorités du programme » Mai 2010

Entretiens avec les autorités en charge du programme. Mai-septembre 2010

Elaboration du panel de projets à évaluer et d’un guide d’entretien Juin 2010

Réalisation des entretiens (uniquement projets classiques) Septembre 2010-janvier 2011

Réalisation entretiens STC/AUG Décembre 2010-janvier 2011

Rédaction du rapport d’évaluation et compléments Décembre 2010-juillet 2011

Parallèlement l’équipe d’évaluation a participé aux réunions transnationales durant toute la période, y compris

celles concernant les projets stratégiques (Santorin, Chania, Thessalonique, Marseille, Madrid).

Déroulement des travaux d’évaluation, avancées et limites :

Les travaux d’évaluation se sont adaptés au calendrier de mise en œuvre du programme. Compte tenu du délai

de lancement du premier appel à projet stratégique, les projets des deux premiers appels « classiques » ont été

évalués. Courant 2011, l’évaluation des projets stratégiques sera réalisée.

L’accueil des partenaires du programme et des porteurs de projets a été dans l’ensemble très favorable pour

les entretiens. Un délai plus long que prévu initialement a été nécessaire pour réaliser les entretiens projets (de

septembre 2010 à janvier 2011) compte tenu du retard pris par certains projets pour le lancement de leurs

activités transnationales. De ce fait, l’équipe d’évaluation a privilégié des entretiens avec les « chefs de file » et

certains partenaires. La participation à des activités transnationales a été pour partie reportée à cette année

2011. L’analyse consacrée à l’étalonnage des projets sera réalisée en 2011 pour les projets « classiques » et

stratégiques.

En 2011 des évaluations spécifiques concernant des catégories de projets, de partenaires, ou de résultats

seront réalisées à la demande des autorités de gestion du programme.

Nous adressons tous nos remerciements pour la disponibilité et l’accueil des personnes rencontrées au cours de

cette première phase 2010 de l’évaluation in itinere.


6

PRESENTATION GENERALE DE LA METHODE

LES OBJECTIFS DE L’EVALUATION : EVALUATION STRATEGIQUE IN ITINERE (DOC 5 CE)

Le cahier des charges de la mission, comme notre proposition, se réfère aux recommandations du doc 5 de la

CE concernant l’évaluation stratégique in itinere, et en particulier aux points suivants :

• Impact macroéconomique des fonds structurels • Pertinence et cohérence des stratégies au niveau national/régional • Propositions d’ajustements au contexte • Concentration thématique et stratégique • Recensement des bonnes pratiques • Indicateurs d’impact • Autres moyens d’obtenir l’impact recherché (étalonnage)

Le processus d’évaluation étant prévu sur 36 mois, nous avons fixé des objectifs spécifiques à notre démarche, méthodologiquement et chronologiquement:

– Principales étapes du processus d’évaluation

• 2010: vision globale • 2011: ajustements stratégiques • 2012: suivi et bilan

NOS HYPOTHESES DE TRAVAIL

Notre méthode s’est concentrée sur les points suivants :

• Importance de la prise en compte de l’évaluation des projets dans le processus d’évaluation du programme : typologie des projets, niveau d’avancement… Ceci induit la réalisation d’une évaluation croisée :

– Entre programme et projets, – Résultant des visions croisées des bénéficiaires du programme, des instances nationales, de

l’AUG et du STC • Etalonnage des projets : comparaison de l’échantillon de projets avec :

– Des projets « atypiques » du programme MED – Des projets similaires hors programme MED

• Contextualisation de l’évaluation : – analyser l’environnement du programme, principalement au niveau des politiques régionales,

nationales et européennes de référence – comparer le mode de gouvernance du programme avec des programmes similaires en termes

de coopération territoriale ou de ciblage thématique.

Le champ de l’évaluation In Itinere recouvre l’analyse des projets et du programme, à travers 3 thèmes

distincts participant de notre approche (vision croisée programme/ projets) :

Evaluation des projets (classiques/stratégiques) : Comme le programme est majoritairement évaluable à travers ses principales produits, c’est-à-dire les projets MED, une part essentielle de l’évaluation sera concentrée sur les processus de sélection et de mise en œuvre des projets

Gouvernance du programme : Notre approche croisée permet une comparaison entre les processus de sélection et de mise en œuvre des projets d’une part, les visions et processus de décision des instances du programme concernant l’implémentation de ce dernier.

La communication et la capitalisation des projets et du programme constituent le troisième pilier de nos thèmes d’évaluation


7

Méthodologie globale d’évaluation

BILAN DE L’UTILISATION DES OUTILS D’EVALUATION

Les travaux d’évaluation se sont déroulés à partir de 2 éléments :

La proposition rédigée dans le cadre de l’appel d’offre. Une série d’outils d’évaluation a été proposée

Les éléments du programme disponibles, l’évolution du calendrier de mise en œuvre du programme ont nécessité une adaptation des outils proposés initialement.

Volontairement nous avons détaillé chaque outil et méthode utilisés en première partie de chaque chapitre

de ce rapport d’évaluation et avons choisi de ne pas les commenter ici1.

Proposition d’outils d’évaluation de l’offre de mission (Service 5 :

Réalisation des évaluations du programme 2010 et 2012 )

Problèmes rencontrés Adaptation utilisation des outils dans la première phase de l’évaluation

analyse procédures appels à projets néant Réalisée pour les appels 2008 et 2009

analyse processus de décision néant Réalisée

analyse structures et instances nationales et transnationales

néant Réalisée

analyse des moyens dédiés

Absence de documents adaptés Grille d’évaluation proposée par l’équipe d’évaluation en cours

analyse des coûts

Recueil des sources à compléter Recueil des documents à réaliser

élaboration d’un set d’indicateurs

Recueil des sources à compléter En cours

sélection et analyse des documents de référence

néant Réalisée pour cette évaluation

Prise de contact avec les personnes difficulté d’organiser les rendez vous avec les projets, due au

retard pris par eux dans le

Réalisée dés juin 2010 pour les projets

Equipe d’évaluation

Entretiens Instances du programme

Entretiens Partenaires des

projets

Programmes et politiques de

référence (local, national,

transnational)

Projets et acteurs de référence (parties

prenantes, acteurs-clés, autres typologies de

projets)

Documents de référence

(programme, territoires,

thématiques)

Avis Objectivés Cohérence Pertinence

Benchmarking Etalonnage

Analyse Projets

Pertinence

Analyse processus

et organisation Cohérence

Regards croisés programme &

projets Performance

Logique d’intervention


8

Proposition d’outils d’évaluation de l’offre de mission (Service 5 :

Réalisation des évaluations du programme 2010 et 2012 )

Problèmes rencontrés Adaptation utilisation des outils dans la première phase de l’évaluation

démarrage des activités (2°appel)

Déroulement 2010 (en fonction des dates d'évaluation des projets) cf. proposition évaluation

Entretien AUG

Modification du calendrier initial Entretien réalisé en fin de la première phase d’évaluation

Entretiens Autorités nationales

Modification du calendrier initial Réalisés en premier pour avoir une analyse de la perception générale du programme et préparer les évaluations projets. Augmentation du nombre d’entretiens par rapport à la proposition initiale

Entretiens STC

Modification du calendrier initial Réalisés après les entretiens projets pour faciliter le croisement d’informations.

croisement évaluations projets néant Réalisé

analyse documentaire

néant Réalisée

Rapport d'évaluation initial incluant

compilation des données projets

Modification du calendrier initial Pour une évaluation complète 2010 conforme à l’objectif, la production du rapport a été décalée pour avoir le retour de tous les entretiens projets et du programme.

Service 4 cf. offre de mission« Elaboration des outils méthodologiques »

Contenu cf. offre de mission Problèmes rencontrés et modification réalisation

Cahier de propositions Description des problématiques, hypothèses de départ, principes d’évaluation Fixation des objectifs d’évaluation Pistes d’action pour atteindre ces objectifs

Présentation faite au Comité de Suivi Chania juin 2010

Supports évaluation projets Mémo documentation de référence Echantillonnage Grille d’évaluation Guide entretien chef de file Questionnaire partenaires Fiche-bilan visite activité/site

Réalisés (projets classiques seulement) les entretiens ont été ciblés prioritairement sur les chefs de file

Supports évaluation programme

Mémo documentation de référence Grille d’indicateurs Guide entretiens Fiche bilan entretien

Réalisés sauf grille d’indicateurs en cours

Rapport initial d’évaluation projets

synthèse de la campagne d’évaluation des projets : caractérisation des projets, axes d’évolution possible, analyse des liens projet/programme

Information intégrée dans le rapport 2010 pour cause de retard du à la durée de la période d’entretiens projets

Rapport initial d’évaluation programme

Fiches récapitulatives des entretiens synthèse de la campagne d’évaluation : retour évaluation projets, axes d’évolution possible, analyse des perceptions projet/programme…

idem

Note d’opportunité Note de synthèse analysant les campagnes d’évaluation « projets » et « programme » : contexte analysé, recommandations d’actions modificatrices et/ou correctrices

Note extrait synthèse recommandations présentée au Comité de Suivi Valencia février 2011

Rapport 2010 Récapitulatif de la démarche suivie Tableaux et graphiques de synthèse Annexes documentaires (guide méthodologique, modèles d’outils, grilles d’évaluation projets/programme

Communication début mars 2011


9

PARTIE 1: LE PROGRAMME INTERREG

IV MED, MISE EN PERSPECTIVE


10

MISE EN PERSPECTIVE, ENJEUX ET ESPACE DE COOPERATION

LA DEFINITION DE L’ESPACE DE COOPERATION

199.900.000€

2000-2006 2 Programmes

distincts, MEDOCC et ARCHIMED

pour la même zone de

coopération avec l’ambition

d’associer des Pays Tiers ou

Candidats limitrophes

essentiellement à l’est et au sud.

2007-2013 les 2 zones réunies

dans un même programme avec

une double ambition associer les

Pays IAP (Balkans) et une

coordination avec ENPI MED

(rive sud)

79.536.208

L’équation à résoudre pour cet espace de coopération INTERREG est une des plus complexes de l’Europe des

27 que tous les programmes précédents ont essayé d’aborder :

La première difficulté est que l’espace de coopération est intégré dans une zone d’enjeux géopolitiques et

économiques trop important pour les objectifs d’un programme INTERREG. Contrairement à certaines zones de

contact avec des pays tiers, comme la Baltique par exemple, les mutations et les différences sont très

importantes. L’évaluation ex ante du programme Archimed concluait par exemple en 2001 que les deux seuls

enjeux partagés entre les pays de la Rive Nord et les autres étaient l’environnement et la culture !

La deuxième difficulté spécifique du programme MED est constitué par l’étendu du territoire de coopération.

La diversité des territoires et des situations socio-économiques entres Etats Membres apparait dés que l’on

dépasse le stade de l’analyse des grands indicateurs. A chaque période de programmation, les programmes

précédents ont traité cette question. L’évaluation intermédiaire MEDOCC en faisant des annexes pour

mesurer les évolutions depuis le démarrage. Les outils d’analyses présent dans les PO sont, soit trop réducteurs

(analyse SWOT) ou pas actualisé (SDEC2). Le programme MEDOCC a été le dernier à faire référence de manière

importante à ces travaux.

La troisième difficulté est la prospective. Sur quels types de travaux le PO peut-il s’appuyer pour construire des

objectifs opérationnels réalistes. Actuellement des travaux sont en cours (ESPON par exemple) ou fonctionnent

en continue comme les statistiques EUROSTATS. Ces travaux ont été peu utilisés pour l’instant. Le programme

INTERACT répond lui, à la nécessité d’analyse des bonnes pratiques et au besoin de créer des liens entre

programmes et entre projets. A l’inverse il n’apporte que peu d’élément à la question de l’impact territorial du

programme.

2 Schéma de Développement de l'Espace Communautaire


11

Le PO MED actuel 2007-2013 reflète tous ces éléments complexes sans faire des choix très ciblés ce qui a eu

pour conséquences directes :

(1) De favoriser les partenariats locaux « habitués » du programme et de ce fait provoqué un grand nombre de candidature dés le premier appel à projet. (2) de créer une attente forte vis-à-vis des projets stratégiques qui eux sont attendus comme permettant une réelle prise en compte de cette complexité et de ce fait avoir des résultats plus performants.

Pour le programme futur 2014 -2020 il y aura la nécessité de proposer une mise en cohérence entre 3 niveaux d’exigences :

La construction d’une stratégie macro régionale pour l’ensemble de l’espace Méditerranéen répondant à un objectif « politique ».

L’organisation, articulation entre les différents programmes de coopération pour répondre à des objectifs stratégiques

Un nouveau programme MED reposant sur des objectifs opérationnels


12

MISE EN PERSPECTIVE, GOUVERNANCE ET MISE EN OEUVRE

L’évaluation in itinere du programme MED permet à mi parcours d’évaluer le programme dans sa phase

d’élaboration et de mise en œuvre au regard des éléments suivant :

Les acquits des programmes précédents sur le même espace de coopération.

Les résultats des évaluations ex-post des programmes de la période 2000-2006 (maintenant

disponibles alors quelles ne l’étaient pas au moment de la construction du programme actuel)

Ces informations nous permettent de remettre en perspective :

Les documents constitutifs du programme PO notamment.

Les défis auquel l’équipe chargé de la mise en œuvre du programme a du faire face et les choix de

gouvernance qui ont été fait pour y répondre.

Enfin les résultats observables à mi parcours sur le programme et les projets en cours (objet des

chapitres suivants)

L’héritage 2000-2006

Les évaluations à l’échelle européenne des programmes de coopération 2000-2006, en général, du volet B

comme celle du programme MEDOCC ont noté des acquits et des déficits qui selon elles n’ont pas favorisé la

visibilité de l’impact territorial des projets :

Quelques éléments cités par ces évaluations au niveau des déficits :

Une appréciation sur les écarts entre les objectifs et les résultats à atteindre.

« Les Orientations INTERREG III définirent des objectifs de développement territorial vagues et des objectifs de coopération largement pertinents mais d’un optimisme excessif. Ceci a suscité à propos du potentiel d’INTERREG III des attentes manquant de réalisme et n'a pas non plus aidé à apprécier si l'impact général d’INTERREG III fut réellement à la hauteur des ambitions politiques initiales » Et une appréciation sur la difficulté de la gouvernance de ces programmes.

« Les programmes du volet B n'ont pas amené le progrès attendu par rapport à la période de programmation précédente, mais ceci n’est pas imputable à la performance des programmes eux-mêmes. Seul l’établissement de systèmes complètement intégrés de gestion transnationale des programmes aurait pu permettre une avancée significative. Ceci n’était toutefois pas possible, faute d’instrument juridique approprié ».

La troisième remarque était d’ordre financier et pointait la distorsion entre objectifs (ambitieux) et

financement (relativement faible) et postérieurement sur la lisibilité territoriale des actions.

« Dans le cas des programmes du volet B, tous mis en œuvre sur de vastes aires de coopération avec un financement relativement réduit, un impact à la fois visible et matériel sur le développement territorial de sous-zones de l’aire de coopération était plus l’exception que la règle ! »

Au titre des acquits, les évaluations concluent toutes que la forte mobilisation des acteurs locaux à produit :

« Du capital social a été accumulé grâce à l’apprentissage dont ont bénéficié les personnes et les organisations dans le cadre de la coopération au niveau du programme et du projet.

Certains programmes ont aussi connu des difficultés spécifiques, selon les évaluations, quand à leur mise en

ouvre, c’est le cas de « la stagnation constaté pour (MEDOCC, Archimed, CADSES) ».


13

L’évaluation intermédiaire du programme MEDOCC fait aussi état de nombreux problèmes constatés fin 2004

au moment des travaux. Ces difficultés sont de tous ordres : Gouvernance lié à l’absence récurrente de moyens

humains et logistiques, retards dans l’engagement les projets (44 projets actifs fin 2004 pour un programme

approuvé en 2001), absence de stratégie et de moyens en termes de communication etc.

LES DEFIS POUR LE PROGRAMME MED DEPUIS 2006-2007.

3 défis principaux

Le premier était d’améliorer l’adéquation entre les enjeux des territoires et le programme avec une

meilleure traduction dans le PO de ces orientations dans tous les documents de mise en œuvre du PO

aux appels à projets.

Le second était de concevoir une nouvelle architecture de gouvernance puisque le programme devait

faire face, à un « élargissement » géographique de MEDOCC à MED, à l’arrivée de nouveaux Etats

Membres et à une création ex-nihilo d’une Autorité de Gestion et d’un Secrétariat Technique Conjoint

par la Région PACA à Marseille.

Le troisiéme était de réussir la gestion au quotidien d’un programme important 256 M€ et plus de 100

projets programmés dés juin 2010.

D’autres défis peu présents en 2006-2007 sont apparus depuis comme des éléments de contexte qui peuvent

influencer la mise en œuvre et la réussite de ce programme. Nous citerons sans être exhaustif :

Les effets induits de la crise monétaire et économique sur les activités des projets particulièrement

parce que 2 des Etats Membres soumis à des politiques de rigueur importantes participent au

programme, la Grèce et le Portugal. Un ralentissement des engagements des partenaires les plus

fragiles dans les projets est à prévoir ainsi que des changements d’orientations budgétaires dans

certaines collectivités.

Une modification du contexte géopolitique (cf. chapitre précédent) en méditerranée est en cours

avec les changements politiques dans des pays de rive sud depuis fin 2010 et l’intégration progressive

des pays IAP dans le programme qui se poursuit.

LES REPONSES APPORTEES

Au niveau de l’élaboration du programme

Cette phase à été conduite par l’équipe en charge du programme avec beaucoup de pragmatisme malgré une

opération complexe de chassé croisé entre les anciennes organisations 2000-2006 et la nouvelle qui était en

cours de construction.

Certaines opérations ont été, par exemple, conduites par la région PACA en charge du programme actuel avec

des financements du Ministère des infrastructures et des transports italien et le Ministère de l’économie grec

gestionnaire du précédent MEDOCC et Archimed (Evaluation « ex-ante » et « stratégique environnementale).

L’analyse des travaux réalisés en commun à cette époque montre que les modalités et pratiques de

gouvernance qui existent aujourd’hui n’étaient, de fait, pas en fonctionnement puisque le programme

démarrait. Cette situation a pu provoquer des difficultés de communication entre l’équipe qui pilotait cette

phase et le partenariat des Etats Membres. L’absence de base documentaire importante issue des programmes

précédents a certainement été un handicap mais peut être été un atout dans une situation de création ex

nihilo. A noter que l’équipe, réduite en moyen humain, a tenu les engagements prévus initialement.


14

Dés 2006 une task force a été mise place avec les Etats Membres et les années 2006 et 2007 ont été consacré à

l’élaboration de l’ensemble des documents et moyens nécessaire au programme.

1. Le PO et les documents réglementaires 2. L’appel à participer pour les pays candidats et candidats potentiels méditerranéens à se joindre à lui,

en retenant que ces pays participent avec leurs propres fonds en provenance de l’Instrument d’Aide à la Pré-adhésion (IAP)

3. Une coordination structurée entre le programme MED et le programme IEVP CBC Bassin Méditerranéenne organisé à Valence.

4. la mise en place en 2008 d’un bureau de liaison à Thessalonique pour un travail de coordination et de capitalisation avec les partenariats et les programmes des pays IAP.

5. La mise en place du STC. 6. l’outil de monitorage informatisé Présage CTE 7. Un site Med disponible depuis novembre 2007 8. Une grande action de communication pour le lancement du programme le 22 novembre 2007 (prés de

1000 personnes) 9. Un premier appel à projet dés 2008.

Le programme Opérationnel.

L’objectif de tenir un calendrier très important de mise en œuvre (objectif atteint) a peut être prévalue sur une

démarche plus longue qui aurait été nécessaire pour élaborer un PO plus adapté au nouveau contexte de la

zone de coopération.

Celui-ci reflète malgré la pertinence des enjeux et des objectifs généraux, un risque quand à l’opérationnalité

des réponses suggérées qui sont peu compatibles avec les capacités du programme au niveau budgétaire et en

nombre de projet engagés.

Les PO des programmes de coopération ont eu dans leur période d’élaboration 2006-2007, une tendance à une

trop grande mise en conformité avec les orientations attendues au plan national et communautaire, ce qui a

souvent limité l’efficacité territoriale. Le PO Med échappe en partie à cette critique. Il ouvre néanmoins trop

peu de nouvelles perspectives tant au niveau des orientations qu’au niveau des publics cibles.

Au niveau de la gouvernance.

Au-delà des aspects réglementaires, deux périodes sont identifiables au niveau des pratiques dans ce domaine.

La première phase d’élaboration du programme et du lancement des appels à projet jusqu’en juin 2010 a été

marqué par un pilotage accéléré.

Une évolution remarquable est constatable aujourd’hui à mi parcours. Ce constat est manifeste notamment

concernant la démarche participative de mise en œuvre pour les projets stratégique et depuis 2011

concernant la réflexion pour un nouveau programme.

Dans la première période, malgré les échéances accélérés, les diffusions des documents et le niveau

d’information de toutes les équipes en charge du programme est satisfaisant. La communication entre

l’AUG/STC et les Etats Membres partenaires a fonctionné même si de taux de retour, par certaines équipes

nationales, reste faible. Le processus de décision en réunion fonctionne mais les modalités choisies, au début

du programme, le rende peu lisible. Cet élément est certainement une des raisons du retard important dans le

lancement des appels à projet Stratégiques en 2009 et début 2010.

Depuis 2010, une clarification s’est faite concernant l’objectif de chaque réunion. Un fonctionnement en

« groupe de travail » a commencé pour les réunions concernant les projets stratégiques. Les participants sont

rentrés collectivement dans le processus de sélection des projets. La désignation de personnes au STC avec des


15

missions plus transversale facile pour les autres réunions régulières (points contacts, évaluations, capitalisation

etc.) facilite les échanges.

Le processus de travail engagé par l’AUG/STC concernant le travail de capitalisation, d’évaluation et la

réflexion à engager avec un groupe de travail (Retour d’Expérience) pour un nouveau programme est

exemplaire. Elle constitue à ce stade une première rupture avec les générations précédentes de programme où

la prise en compte des résultats des projets et du programme n’étaient analysé qu’a la fin de la programmation

et donc le plus souvent trop tard pour avoir un impact.

Les perspectives pour une nouvelle période de programmation

Pour la nouvelle programmation et pour la mutualisation des résultats du programme actuel dés juin 2010, lors

des réunions informelle notamment à Chania, le programme a proposé de réserver un budget pour engager un

appel à projet ciblé sur les perspectives de coopération future. Cette initiative est en adéquation avec les

recommandations des évaluations faites à l’échelle européenne. Elle nous semble à ce stade très importante

pour un programme sur un territoire aussi vaste :

« Les programmes transnationaux devraient engager la préparation des programmes de coopération qui les relayeront après 2013. Ceci vaut tout particulièrement pour les programmes qui ne se sont pas encore dotés d’un schéma ou d’une vision spatiale transnationale. Ceux-ci devraient lancer un projet visant à élaborer une stratégie commune d'intégration territoriale à moyen terme, cernant les besoins les plus importants dans leur aire de coopération ». Tableau de synthèse : Niveau d’adéquation entre les décisions de gouvernance et les recommandations des évaluations antérieures

Constats et préconisation des évaluations

antérieures synthèse des évaluations générales 2000-2006

Appréciation évaluation à mi parcours du programme : Acquits du programme ou démarche en cours

1

la qualité variable du diagnostic initial des besoins et problèmes peut être un handicap pour la mesure des impacts des projets

Le diagnostic du PO 2007-2013 est complet mais assez éloigné des objectifs opérationnels des appels à projet classiques par exemple.

2 Les objectifs des programmes sont souvent trop optimistes

Le PO MED reste un document trop général avec peu de liens avec les résultats des projets.

3

Les effets de levier financiers modestes ne facilitent pas la lisibilité des impacts

Pour les projets classiques le nombre parfois trop important des partenaires peut diminuer l’impact financier. Les projets stratégiques bénéficient de budgets qui devraient permettre une meilleure mesurer des impacts dans ce domaine.

4

L’Interaction entre les programmes est limitée

Une démarche est engagée avec le programme ENPI MED, INTERACT et avec les pays IAP. Un document comparatif MED/ENPI MED a été réalisé.

5

Les programmes du volet B n'ont pas amené le

progrès attendu par rapport à la période de

programmation précédente, du fait du

maintient de la complexité administrative.

Le cadre général réglementaire est resté complexe du fait particulièrement des différents modes de certification par Etat Membre. La gestion générale du programme et des projets par le STC/AUG du programme a marqué des progrès très importants par rapport la période précédente.


16

6

Nécessité d’engager la préparation des programmes

de coopération après 2013 particulièrement pour les

programmes qui ne se sont pas encore dotés d’un

schéma de développement territorial.

Un appel à projet spécifique est prévu dans ce domaine. Un travail spécifique est engagé au sein du STC/AUG en associant Les démarches d’évaluation de capitalisation.

7

Nécessité d’impliquer des organismes des secteurs public et semi-public à divers niveaux de pouvoir, mais aussi des acteurs du secteur privé et de la société civile.

Le partenariat des Projets Stratégiques répond partiellement à ce besoin. Les acteurs de la société civile sont peut présent dans l’ensemble du programme.

8

Prendre en compte le niveau d'intégration déjà atteint par le programme et déterminer la manière de l’accroître

Objectif qui doit être pris en compte dans la capitalisation et une démarche de mutualisation des résultats pour servir de base au futur programme.

9

Les programmes transnationaux devraient également compléter leurs évaluations par

l’introduction d’outils de recherche empirique qualitative et quantitative permettant de rendre comte des pratiques en cours et des problèmes propres à la coopération.

Le groupe de travail informel « nouveau programme », a proposé de constituer un groupe

de travail « retour d’expériences » qui doit travailler sur une méthode de type « étude de cas » dans les mois à venir.

10

A l’avenir, le processus de création de systèmes de gouvernance conjointe des programmes demeurera une quête de solutions pragmatiques conformes aux dispositifs légaux et réglementaires en vigueur dans chaque aire de programmation.

Les travaux pour la mise en œuvre des Projets Stratégiques constituent une expérience de gouvernance partagée. L’organisation de la gouvernance générale du programme repose sur l’AUG / STC qui sont intégré actuellement aux services de la Région PACA.

11

Des processus de coopération transfrontalière, transnationale et interrégionale plus intenses et durables devraient être établis pour produire des effets plus concrets et tangibles sur le développement socio-économique,

Le partenariat des projets de la zone de coopération comporte encore peu de GECT. L’exigence affichée pour les résultats projets stratégiques devrait contribuer à améliorer la situation.


17

PARTIE 2: EVALUATION PROGRAMME


18

ANALYSE DU CADRE LOGIQUE DU PROGRAMME

INTRODUCTION

A/Schéma récapitulatif de la méthode d’analyse

B/Structuration du chapitre

Par souci de lisibilité, chaque tableau récapitulatif de ce chapitre exposera successivement le modèle

méthodologique utilisé pour compléter les tableaux (« tableau méthode »), puis le ou les tableaux applicatifs

de cette méthode et compilant les données de l’analyse.

Les questions relatives au benchmarking sont traitées dans un chapitre à part pour différentier les résultats

issus de l’analyse interne du programme et de ses différentes composantes d’une part, la contextualisation du

programme au regard d’autres dispositifs existants d’autre part.

ETAT DES REALISATIONS DU PROGRAMME

A/Cadre logique initial du programme MED

1) Sources d’information

- PO + DOMO, plan de communication et plan de capitalisation MED: nous nous sommes concentrés sur le cadre logique du programme, c’est-à-dire ses objectifs initiaux, ainsi que la déclinaison de sa stratégie en axes et mesures, et les indicateurs prévus pour évaluer sa réalisation. Nous avons également pris en compte les définitions des différentes typologies de projets attendus, les critères d’éligibilité de ces projets ainsi que les procédures décrites pour la mise en œuvre du programme en phase de sélection, de suivi de projet et de capitalisation des projets et du programme

- Bilan évaluations ex-post MEDOCC et ARCHIMED et évaluation ex-ante MED : ces informations nous ont permis d’établir la traçabilité du cadre logique du programme


19

actuel par rapport aux périodes précédentes et de mesurer l’évolution souhaitée par les gestionnaires du programme par rapport aux programmes précédents

- Evaluation ex-post de la précédente génération de programmes Interreg : ce document nous permet de contextualiser le programme MED dans le cadre plus vaste de l’instrument Interreg, et d’obtenir des éléments de benchmarking (étalonnage) dans le cadre de notre évaluation

- Résultats des entretiens programme (incluant entretiens STC/AUG) : ces entretiens nous fournissent des éléments qualitatifs d’évaluation, en nous permettant de confronter les perceptions des différentes parties prenantes au programme

- Rapports annuels d’exécution du programme: ces documents nous permettent d’analyser les évolutions du programme au niveau de sa consommation, et de fournir des éléments objectifs concourant à l’évaluation quantitative des données

- Evaluation projets: cette approche complète le dispositif documentaire à notre disposition en confrontant les éléments issus de l’évaluation des projets (candidatures, documents de suivi, base de données projets, entretiens projets…)

2) Cadre logique reconstitué : Présentation et tableau méthode

Nous sommes partis de la structure du programme MED3 telle qu’exposée dans le tableau ci-dessous pour

déterminer notre cadre logique.

Nous avons ensuite redistribué ces informations dans le format complet du cadre logique (inspiré de la matrice

du cadre logique utilisée en conception de projets par l’UE et les organisations internationales), en les

complétant par les rubriques et sources suivantes :

3 Tableau PO MED, p. 36


20

Déclinaison en objectifs

du programme Indicateurs (questions-clés et valeurs-cibles)

Sources/moyens de vérification

Hypothèses extérieures de réalisation (risques,

conditions….)

Niveau 1 : orientation générale

Indicateurs de contexte / d’impact (à définir par le processus d’évaluation du PO) données manquantes

Issus de l’analyse SWOT et de données statistiques si possible, puis de l’analyse ex-post du PO ou de l’évolution statistique à moyen /long terme

Issues de l’analyse SWOT et du diagnostic, du benchmarking et des évaluations ex-post des anciens PO

Niveau 2 : Axes prioritaires (priorités spécifiques du PO)

Indicateurs de programme (indicateurs-clés de la CE)

Issus des données financières du programme et des recommandations CE

Issues de la stratégie du PO, des évaluations ex-post des anciens PO et ex-ante du PO

Niveau 3 : objectifs (résultats/effets attendus) Ciblage des opérations

Indicateurs de résultats Issus du processus de conception de l’évaluation du PO et des projets (livrables et résultats)

Issues des modalités prévues pour la mise en œuvre du PO et des projets

Niveau 4 : activités et réalisations (projets, outils, documents de références,…)

Indicateurs de réalisation Issus des documents et outils de suivi des projets et du PO (PRESAGE, …)

Issues des réalisations du PO (projets et productions)

3) Cadre logique reconstitué : tableau applicatif de la méthode

Le cadre logique ci-dessous fédère les données prises en compte au démarrage du PO pour assurer son suivi.

C’est à partir de ce tableau de référence que les questionnements de l’évaluation sont posés, y compris en

termes de lacunes ou de manques constatés en confrontation avec la mise en œuvre du PO. Ce cadre logique

sera donc modifié en fonction des résultats de l’évaluation. Le chapitre suivant compile les principaux points de

questionnement issus de la mise en œuvre au regard de ce tableau, ligne par ligne.

a. Orientation générale du programme (finalité) :

Sont ici compilées les données génériques issues du PO et relatives aux grands axes de la stratégie MED.

ORIENTATION GENERALE DU PROGRAMME

Niveaux d’objectifs Indicateurs Sources/moyens

de vérification (outils de suivi)

Hypothèses extérieures de réalisation (risques, conditions….)

Faire de l’ensemble de l’espace Med un territoire capable de rivaliser avec ses concurrents internationaux, condition essentielle pour assurer la croissance et l’emploi pour les générations à venir. Le principe de développement durable implique en outre de favoriser la cohésion territoriale et d’intervenir activement en faveur de la protection de l’environnement Thèmes Transversaux : innovation, développement

- Nombre de projets respectant deux des critères suivants : Développement commun, mise en œuvre commune, personnel commun, financement commun

- Nombre de projets respectant trois de ces mêmes critères

- Nombre de projets respectant quatre de ces mêmes critères

Données statistiques sur la démographie, l’emploi et les qualifications, le taux de dépendance des populations, la R&D, le PIB par habitant (et sa croissance), les dépenses publiques dans l’éducation, l’e-administration et les TIC, les données environnementales,

Quelques facteurs : Economie et société : Stagnation des activités traditionnelles/touristiques, économie à faible valeur ajoutée, concurrence internationale, population vieillissante, faible productivité Innovation : manque de capacités d’innovation, fuite des cerveaux Environnement : Pollution due au tourisme, aux fertilisants et aux déchets urbains ; usage inadapté des ressources naturelles, risques de catastrophes naturelles et d’incidents maritimes (flux de marchandises), désertification Accessibilité : Concurrence Nord européenne, problèmes d’accessibilité pour les transports maritimes, isolement … Développement urbain durable : concurrence Nord et Est-Europe, développement urbain polycentrique

difficile, baisse des fonds d’infrastructures


21

ORIENTATION GENERALE DU PROGRAMME

Niveaux d’objectifs Indicateurs Sources/moyens


Hypothèses extérieures de réalisation (risques, conditions….)

durable, égalité des genres et non discrimination

les transports …

b. Priorités spécifiques du programme

Le niveau d’analyse descend ici à l’échelle des axes du programme, tels que décrits dans le PO. Il est à noter que les indicateurs de programme portés ici sont exclusivement quantitatifs et s’apparentent plutôt à des indicateurs de réalisation. En italique sont indiquées pour informations les premières données disponibles issues de la mise en œuvre du programme, et susceptibles d’être mises en correspondance avec les indicateurs.

PRIORITES SPECIFIQUES DU PROGRAMME

Niveaux d’objectifs Indicateurs (valeurs-cibles) Sources/moyens de vérification (outils

de suivi)


conditions….)

Axe prioritaire 1 : Renforcer les capacités d’innovation : 45 projets approuvés Projets classiques 1.1 : 18 Projets classiques 1.2 : 27

- 47 Projets pour le renforcement des capacités d’innovation

- Une part des 48 Projets relatifs au développement des réseaux d’innovation et de RDT (partagés entre les axes)

- Une part des 30 Projets associant différentes priorités du programme Med (partagés entre les axes)

Données de sélection des projets (PRESAGE) Clé de répartition des projets par axe et objectif Avancement du PO (consommation budgétaire) (Base de calcul : enveloppe financière par axe et par objectif, estimation de montants moyens par projet)

Chevauchement entre les valeurs-cibles par axe et les valeurs-cibles issues des indicateurs-clés de la CE (réseaux d’innovation, gestion des risques) Insuffisance de données exclusivement quantitatives pour refléter la teneur des résultats et réalisations du programme : la non-atteinte de la valeur-cible entraîne-t-elle vraiment une non atteinte de l’objectif de l’axe, y compris en termes de consommation budgétaire ?

Axe prioritaire 2 : Protéger l’environnement et promouvoir un développement territorial durable : 31 projets approuvés Projets classiques 2.1 : 17 Projets classiques 2.2 : 6 Projets classiques 2.3 : 3 Projets classiques 2.4 : 5

- 55 Projets pour la protection de l’environnement et la promotion d’un développement territorial durable

- Dont 3 Projets relatifs à la gestion de l’eau

- Une part des 14 Projets relatifs à la gestion des risques (partagés avec l’axe 3)

Axe prioritaire 3 : Améliorer la mobilité et l’accessibilité des territoires : 10 projets approuvés

Projets classiques 3.1 : 8 Projets classiques 3.2 : 2

32 Projets sur l’amélioration de la mobilité et de l’accessibilité territoriale

Axe prioritaire 4 : Promouvoir un développement polycentrique et intégré de l’espace Med : 15 projets

approuvés Projets classiques 4.1 : 12 Projets classiques 4.2 : 3

16 Projets pour la promotion d’un développement polycentrique et intégré de l’espace Med

Axe prioritaire 5 : Assistance technique 1 projet

Aucun indicateur spécifique. A déduire de l’atteinte des valeurs-cibles des autres axes ?

Incapacité de mesurer l’impact / la valeur ajoutée de l’assistance technique sur l’atteinte de l’objectif général du PO


22

c. Résultats attendus Au niveau du programme MED, les résultats attendus sont à mettre en parallèle avec les objectifs qui spécifient le ciblage attendu des opérations proposées par rapport à chaque axe.

RESULTATS ATTENDUS (OBJECTIFS)

Niveaux d’objectifs Indicateurs (valeurs-cibles) Sources/moyens de

vérification (outils de suivi)

Hypothèses extérieures de

réalisation (risques, conditions….)

Obj. 1.1 : Diffusion des technologies innovantes et des savoir-faire Obj. 1.2 : Renforcement des coopérations stratégiques entre acteurs du développement économique et autorités publiques

- 3 réseaux permanents établis ou renforcés

- 10 PME / centres de RDT impliqués dans des activités résultant de projets du programme Med

- 2 stratégies communes adoptées

Livrables (produits, rapports, études…), résultats (outils, accords et conventions) et statistiques projets (listes de participants, nombre d’organisations impliquées dans les activités…) Accords signés Plans stratégiques des projets Plans de pérennisation des projets Plan de capitalisation du programme Listes de participations

Concrétisation / formalisation des accords, réseaux dans les délais de réalisation des projets Pertinence/légitimité des participants et partenaires à des projets Réelle pérennisation des outils créés Manque de ciblage thématique des indicateurs par rapport aux objectifs

Obj. 2.1 : Protection et valorisation des ressources naturelles et du patrimoine Obj. 2.2 : Promotion des énergies renouvelables et amélioration de l’efficacité énergétique Obj. 2.3 : Prévention des risques maritimes et renforcement de la sécurité maritime Obj. 2.4 : Prévention et lutte contre les risques naturels

- 5 stratégies, standards, outils innovants communs / systèmes et nouvelles technologies adoptés

- 740 participants à des initiatives / projets transnationaux

- 5 réseaux permanents / accords de partenariats mis en place ou renforcés

Obj. 3.1 : Amélioration de l’accessibilité maritime et des capacités de transit en privilégiant la multimodalité et l’intermodalité Obj. 3.2 : Soutien à l’utilisation des technologies de l’information pour une meilleure accessibilité et coopération territoriale

- 2 systèmes communs de gestion, de stratégies d’intervention et de méthodologies mises en œuvre / renforcées

- 2 réseaux permanents / accord de partenariat établis ou renforcés

- 307 participants à des initiatives / projets transnationaux

Obj. 4.1 : Coordination des politiques de développement et amélioration de la gouvernance territoriale Obj. 4.2 : Renforcement de l’identité et valorisation des ressources culturelles pour une meilleure intégration de l’espace Med

- 1 réseau permanent / accord de partenariat établi ou renforcé

- 2 outils communs de gestion/planification et de stratégies développés

- 389 participants à des initiatives/projets transnationaux

Obj. 5.1 : Assurer le bon fonctionnement du système de gestion et de contrôle du programme Med Obj. 5.2 : Soutenir la mise en place de projets de haute qualité en stimulant les partenariats et en apportant un soutien régulier aux porteurs de projets Obj. 5.3 : Promouvoir la mise en œuvre et la gouvernance du programme à travers des actions

- 25% d’opérations approuvées - par rapport aux opérations

proposées - 10% de personnes touchées

par la diffusion des activités par rapport à la population totale de l’espace Med

Données issues de la sélection des projets (grilles de sélection, fiches d’instruction) Plan de communication Plan de capitalisation Listes de participation et de diffusion des actions de communication du PO Outils de suivi des projets (tableaux financiers, rapports d’avancement)

Problème de quantification et de suivi des personnes touchées par la diffusion des activités. L’impact sur ces publics sera-t-il positif ou négatif ? Pertinence du taux d’approbation de projets pour jauger leur qualité (obj. 5.2)


23

RESULTATS ATTENDUS (OBJECTIFS)

Niveaux d’objectifs Indicateurs (valeurs-cibles) Sources/moyens de

vérification (outils de suivi)

Hypothèses extérieures de

réalisation (risques, conditions….)

d’information et de communication adéquates

Pas d’indicateur spécifique pour l’objectif 5.1

d. Productions du programme

C’est à ce niveau que l’on retrouve le descriptif des moyens nécessaires à réaliser les opérations qui permettront d’atteindre les différents niveaux d’objectifs répertoriés ci-dessus. Une cohérence est nécessaire entre tous les niveaux du cadre. Ici, les lignes ne sont pas suffisamment détaillées pour permettre d’évaluer précisément cette cohérence. Par conséquent il est encore plus difficile d’établir le niveau de pertinence des opérations par rapport à ces objectifs, puisque ce sont principalement les orientations données par les indicateurs au regard du ciblage des objectifs spécifiques et des résultats qui permettent d’établir cette pertinence. En italique sont portés les premiers éléments d’informations sur les réalisations correspondant aux indicateurs.

PROJETS ET MODALITES DE SUIVI (PRODUCTIONS DU PROGRAMME)

Niveaux d’objectifs

Indicateurs (valeurs-cibles) Sources/moyens



conditions….)

Axe 1 : 45 projets

- 15 réseaux de coopération transnationaux incluant des centres de recherche, des opérateurs économiques et des institutions de formation/universités pour favoriser les transferts de technologies et la diffusion des pratiques innovantes et des savoir-faire

- 15 études / plans / stratégies transnationales développés pour favoriser la capitalisation et la diffusion de l’innovation parmi les centres de ressource, d’innovation et d’entrepreneuriat

- 20 PME impliquées dans des échanges d’expériences et des transferts de technologies

- 2 structures transnationales pour la diffusion de standards communs pour le renforcement des politiques régionales et des capacités d’innovation

- 18 projets pour favoriser les processus d’innovation dans l’espace Med

Candidatures des projets Avancement technique et financier des projets : rapports, livrables, produits et résultats des projets Indicateurs de réalisation et de résultats des projets Suivi PRESAGE des indicateurs par projet, suivi financier PRESAGE

Le système de suivi et de monitorage interne des projets permet-il de vérifier les indicateurs de réalisation ? Les projets sélectionnés sont-ils en mesure de fournir les réalisations attendues par le programme (moyens, compétences, capacités, rayonnement, …) ? Correspondance assurée entre le nombre de réalisation et le nombre de projets finalement approuvés ? Les éléments thématiques des indicateurs de réalisation ne se retrouvent pas forcément aux niveaux d’objectifs supérieurs : problème de cohérence du cadre logique ? Problème de gestion des projets associant des partenaires IPA

Axe 2 : 31 projets

- 15 études/documents de planification/méthodes/ outils stratégiques réalisés/testés concernant : la coopération maritime sur les questions de l’environnement et de la sécurité, l’amélioration dans le domaine des économies d’énergie, et impliquant les pays Med (acteurs non étatiques, autorités publiques, autorités/instances partenaires mais non bénéficiaires)

- 5 plans transnationaux de gestion développés dans l’espace Med sur les risques naturels

- 5 activités/initiatives menées dans l’espace Med visant à améliorer l’information sur les ressources naturelles et le patrimoine, l’utilisation/consommation d’énergie, les questions maritimes et relatives aux espaces côtiers et aux îles, les changements climatiques

- 15 projets transnationaux sur la gestion intégrée


24






conditions….)

des zones côtières impliquant les pays Med (acteurs non étatiques, autorités publiques, autorités en charge de la protection des côtes)

- 15 séminaires et forums transnationaux sur la gestion de l’eau impliquant les pays Med (acteurs non étatiques, autorités maritimes régionales et nationales, autorités et agences compétentes (i.e. autorités portuaires, agences/institutions pour la pollution maritime, structures publiques/privées pour le contrôle des navires))

- 40 partenariats/réseaux de collaboration visant à protéger le paysage, les ressources naturelles et le patrimoine (ex. gestion de l’eau, patrimoine naturel), prévenir les risques naturels, valoriser/renforcer la coopération maritime, échanger de l’information et des méthodes de management sur l’usage des énergies renouvelables et la réduction de la consommation d’énergie, valoriser le développement territorial intégré et le tourisme durable ;et impliquant différents pays (acteurs non étatiques, autorités publiques, autorités/instances partenaires mais non bénéficiaires)

Axe 3 : 10 projets

- 5 projets sur les systèmes de gestion du trafic maritime, l’accessibilité des îles

- 5 projets soutenant les initiatives/stratégies transnationales pour l’usage des plateformes multimodales, de l’intermodalité, des réseaux existants (mer, route, rail)

- 5 projets développant des services numériques en ligne et visant en particulier à développer les services numériques dans les territoires isolés

- 5 bases de données, archives électroniques, systèmes de suivi et d’analyse pour la gestion de l’eau et la prévention des risques

- 5 projets visant à promouvoir les systèmes de transports multimodaux (en particulier les systèmes respectueux de l’environnement) et impliquant les autorités locales, régionales et nationales, les instituts et agences de développement territorial

- 10 réseaux soutenant l’usage des TIC impliquant les administrations territoriales, la société civile (associations d’usagers), les acteurs économiques (sociétés spécialisées dans les services TIC…)

Axe 4 : 15 projets

- 5 réseaux transnationaux impliquant différents systèmes territoriaux (villes, métropoles…) pour soutenir la gestion de pôles culturels

- 10 structures impliquées dans les échanges de bonnes pratiques pour les instruments de gestion/planification, l’innovation culturelle

- 5 projets / rapports / analyses comparatives, études impliquant de grands espaces urbains pour la mise en place de stratégies de développement territorial intégré sur l’environnement et les politiques énergétiques, les ports et les transports,


25






conditions….)

le développement économique - 5 plans de protection mis en œuvre à travers les

projets sur l’héritage culturel, les ressources culturelles (matérielles et immatérielles)

- 15 initiatives de coopération impliquant des villes, des métropoles, des espaces ruraux

- 5 espaces isolés impliqués dans les activités de projets, touchés par des démarches de diffusion des bonnes pratiques, impliqués dans de nouvelles stratégies de développement territorial

Axe 5 : 1 projet global : 978 opérations proposées 607 opérations éligibles 102 opérations financées (10,43 %) 27 réunions transnationales fin 2009

- 600 opérations proposées - 450 opérations éligibles - 150 opérations financées - 30 réunions tenues au niveau transnational - 150 sites Internet de projets mis en place

PRESAGE CTE Grilles de sélection Fiches d’instruction Notation des projets Documents de réunion Plan de communication Sites web des projets

Pas d’indication sur le suivi administratif et financier des projets Les moyens disponibles sont-ils proportionnés aux réalisations ? Problème de gestion des projets associant des partenaires IPA

B. Eléments quantitatifs de réalisation à la clôture du 2ème appel à projets classiques

Ces données sont utiles au renseignement des indicateurs concernant le nombre de candidatures reçues et de

projets approuvés (voir cadre logique). Elles sont pondérées par axe et par objectif du programme.

1er appel 2ème appel Total

C PE PA C PE PA C PE PA

Axe 1 : 144 37 20 138 40 3 23 282 77 43 1.1 72 18 10 69 18 7 141 36 17 1.2 72 19 10 69 22 16 141 41 26

Axe 2 230 33 13 218 28 6 8 448 61 21 2.1 129 17 6 128 19 1 257 36 7 2.2 40 6 2 44 6 4 84 12 6 2.3 9 2 2 6 1 1 15 3 3 2.4 52 8 3 40 2 2 92 10 5

Axe 3 35 11 4 36 14 4 7 71 25 11 3.1 16 4 4 12 7 5 28 11 9 3.2 19 7 0 24 7 2 43 14 2

Axe 4 122 27 12 55 8 1 3 177 35 15 4.1 45 13 9 12 4 3 57 17 12 4.2 77 14 3 43 4 0 120 18 3

531 108 49 447 90 14 41 978 198 90

C=candidatures PE= projets éligibles PA=projets approuvés


26

C. Synthèse des entretiens avec les instances du programme (Autorité de gestion, STC et bureaux de liaison, autorités nationales)

La valeur ajoutée de ces entretiens se trouve dans la possibilité de recueillir une information subjective, élément indispensable pour tempérer et mettre en situation l’analyse objective des documents et productions du programme, et apprécier plus finement l’évolutivité du programme au fil du temps, au travers de la perception qu’en ont les représentants de ses différentes parties prenantes. Les entretiens ont été synthétisés en deux « familles » distinctes : d’une part, les entretiens avec les autorités nationales représentant les Etats membres impliqués dans le programme MED, d’autre part les représentants du STC (bureaux de liaison IPA et IEVP inclus) et de l’AUG MED (dénommés « instances de gestion du programme »). Chaque famille a donné lieu à la réalisation d’un tableau de synthèse spécifique. Les entretiens avec les autorités nationales devaient initialement comprendre un panel limité d’Etats partenaires et d’Etats associés (zone IPA). Dans la mesure du possible, le choix a été finalement fait de se rapprocher de l’exhaustivité au niveau des Etats membres MED. La volonté de réaliser ces entretiens dans une unité de temps relative (entre mai et septembre 2010) n’a cependant pas permis d’interviewer la totalité des Etats membres (problèmes de disponibilités dans la période consacrée aux entretiens). Au final, tous les Etats membres du programme ont été interviewés, à l’exception de la Grèce et du Royaume-Uni (indisponibilité), et de Malte (remplissage du questionnaire par écrit). Les délais de mise en place de l’harmonisation MED / IPA a par ailleurs abouti à opter pour un report des entretiens avec les autorités nationales IPA au-delà de la période ouverte pour les entretiens avec les autorités nationales. Les entretiens avec le STC du programme se sont décomposés en 3 phases distinctes : - 4 réunions au démarrage de la mission d’évaluation - 2 entretiens avec les bureaux de liaison IPA et IEVP - 4 entretiens formalisés selon le questionnaire + une réunion complémentaire en fin d’année 2010 L’entretien avec l’AUG s’est réalisé de manière collective en début d’année 2011. Il a été précédé de plusieurs discussions dans les premiers mois de la mission d’évaluation et en marge des réunions officielles du programme.

1) Méthode de collecte des données à synthétiser

Les tableaux de synthèse des entretiens représentent les idées principales exprimées au moment des entretiens réalisés avec les instances du programme (autorité de gestion, secrétariat technique conjoint, autorités nationales). A partir des entretiens réalisés en confidentialité, les idées directrices ont été extraites selon au moins une des modalités suivantes : - mention d’une idée ou d’un commentaire au cours d’au moins 3 entretiens - importance particulière donnée à une idée ou à un commentaire au cours d’un entretien, avec demande

de mention de ce point dans le rapport - déduction des évaluateurs en confrontation des entretiens avec l’analyse documentaire

Pour rappel, trois guides différents ont été respectivement utilisés pour les entretiens avec : - Les autorités nationales partenaires du programme : les objectifs généraux des entretiens étaient de

recueillir des informations sur les attentes des Etats membres vis-à-vis du programme et des projets, et de la démarche d’évaluation in itinere.


27

Sujets abordés Ciblage du questionnement

Attentes vis-à-vis du programme et des projets

Démarrage du programme, évaluation des besoins et enjeux stratégiques, attentes sur les spécificités des projets

Avis sur les projets à évaluer, classiques et stratégiques

Projets importants, critères d’évaluation

Modalités d’organisation / gestion du programme

Points forts et points faibles (documents et outils, instances de gestion, comités, procédures, appels à projets et modalités de sélection), améliorations possibles, suggestions

Organisation de la coordination nationale sur le programme

Modalités d’organisation, ressources, participation, communication…

Attentes concernant l’évaluation in itinere

Questions spécifiques, impact pour l’avenir

Autres questions Priorités, propositions pour le programme

- Le STC du programme : le questionnement a été établi par fonction opérationnelle du STC, en distinguant

entre l’instruction et le suivi des projets, le suivi financier, la communication et l’animation. Un certain nombre de questions transversales relatives au management et à la gestion du STC ont complété ce questionnement.


Instruction des projets Communication/information, appui porteurs de projets, processus de sélection des projets, phasage sélection, expertise, liens autorités nationales, avis sur les autres missions du STC

Suivi des projets Définition, procédures d’animation et de suivi, participation aux activités des projets, résolution de problèmes, retour d’expérience, actualisation des informations, indicateurs, avis sur les autres missions du STC

Suivi financier

Evaluation des budgets en phase de sélection, problèmes récurrents, délai de remboursement FEDER, charge de gestion pour les bénéficiaires, relations contrôleurs/certificateurs, gestion des modifications, dégagement d’office, outils de gestion, retour d’expérience contrôles, suivi financier du programme, avis sur les autres missions du STC

Communication / animation

Stratégie et plan de communication, partage animation/communication, publics-cibles, feedback communication, ajustements, nouveautés/innovations, prévisions, avis sur les autres missions du STC

Questions transversales

Procédures de communication interne, management, affectation des tâches

- L’autorité de gestion du programme (entretien collectif): L’objectif de ce questionnaire était d’une part

de comprendre les interactions entre l’AUG et les autres parties prenantes du programme à chaque grande étape de mise en œuvre de MED, de replacer le programme et sa construction en perspective par rapport aux anciens programmes sur la zone et aux pistes de travail pour la future génération d’Interreg d’autre part, en incluant les problématiques spécifiques de communication dans la réflexion prospective.


Gouvernance du programme

Liens AUG /Etat français/ Etats Membres/ Région PACA/ STC/autres programmes interreg, par rapport à l’instruction et au suivi des projets et à la vie du programme

Historique et construction du programme

Retour sur la conception du programme, continuité/rupture avec l’ancienne génération, innovations et piste pour l’avenir

Communication / Animation

Rôle et apports de la communication pour le programme

Questions transversales

Acquis et échecs, enseignements de l’approche « projets stratégiques » à ce stade, marge de progression pour l’avenir


28

2) Tableau méthode

Les tableaux de synthèse sont présentés successivement pour les entretiens menés avec les autorités nationales tout d’abord, puis avec les instances de gestion du programme. Ils reprennent le modèle suivant :

Points clefs issus des entretiens Points forts? Attentes? Points faibles et/ou amélioration

possibles ?

Thèmes et questions soulevés par les participants aux entretiens

Les points forts et les attentes consolident les expressions positives au sujet du programme, qu’elles soient considérées comme acquises (points forts) ou en cours de développement (attentes)

A l’inverse, cette colonne fédère les points perçus comme des faiblesses constatées du programme, ainsi que les efforts à mener pour pallier ces points faibles (améliorations possibles)

Les attentes et les améliorations possibles listées alimentent l’analyse concernant la marge de progression possible du programme d’ici à la fin de la période de programmation ainsi que nos recommandations relatives à la future période de programmation

Ces points-clés sont répercutés dans les tableaux du point consacré à l’analyse multicritères du programme, et seront également utilisés dans le processus de benchmarking (étalonnage) du PO, pour guider les pistes de recherche tant au niveau des projets que dans le cadre de la contextualisation du programme par rapport à d’autres programmes de coopération ou des programmes thématiques nationaux ou européens.

3) Tableau de synthèse des entretiens avec les autorités nationales partenaires du programme

Points clefs issus des

entretiens Points forts ? attentes ?

Points faibles et/ou amélioration

possibles ?

PO et lisibilité des

objectifs

Programme généraliste et attentes

importantes sur les deux types d’appels jugés

complémentaires, classique et stratégique.

Pas assez de concentration thématique,

notamment dans la délimitation des thèmes et

sous-thèmes attendus en priorité pour une

bonne adéquation des résultats aux objectifs

du programme

1er appel à projets

stratégiques

L’association des autorités dans la démarche

est considérée comme un point fort très

important

Pas de message suffisamment clair pour

certains partenaires entre les 2 types d’appels

2ème appel à projets

stratégiques

1 seul appel stratégique serait insuffisant pour

traiter l’ensemble des thématiques prioritaires

identifiées : un 2ème appel est bienvenu

Interrogation générale entre 2° appel projets

stratégique ou classique thématique ?4

Communication autorités

nationales et régions

Bonne communication avec les régions et

parfois les projets avant et après sélection

Qualité des projets et des

partenariats

Un nouveau type de partenariat dans

quelques bons exemples en matière de

réseaux intégrés

Très faible renouvellement du public cible.

Risque de dilution de certains projets du fait

d’un trop grand nombre de partenaire pour

couvrir l’aire géographique. Risques liés à

une démarche de programme très « bottum

up »

Capitalisation Attentes très fortes dans le domaine liées aux

constats négatifs de la capitalisation des

A minima, favoriser les rencontres entre les

acteurs des projets par thème ou sous-

4 Interrogation résolue suite aux entretiens par la mise en place d’un second appel à projets stratégique


29

Points clefs issus des

entretiens Points forts ? attentes ?

Points faibles et/ou amélioration

possibles ?

programmes précédents. thèmes, renforcer les liens entre les projets et

les politiques régionales.

Communication

programme

Marge d’amélioration de la communication

entre le programme et les projets, et le

support de communication que le programme

met à disposition des projets.

Parfois, manque de lien/coordination entre la

communication effectuée au niveau national

et la communication du programme

Communication générale,

web site

Réaliser des portails thématiques à partir du

web site ?

Manque de souplesse dans le système choisi

pour le site web (dépendant de la Région)

Système de décisions Nécessité d’un consensus du fait des choix

stratégiques qui doivent êtres partagés

Système difficile et qui est pour partie à

l’origine des lenteurs de la mise en œuvre de

certains éléments du programme

Formulaire candidature et

processus de sélection

Bonne lisibilité et pertinence des fiches

d’évaluation

Proposition de croiser les informations entre

autorités nationales/STC/projets

Différentiation entre phase 1 et 2 peu

« lisible ». Pas assez de contenu en phase 1,

trop de risques de perte de « bons » projets

PRESAGE CTE Lisibilité en progrès et amélioration du

système par rapport aux programmes

précédents

Peu maniable pour extraire des informations

simples, lisibles et rapidement assimilables

sur les projets

Euro-région et

programmes futurs

Attentes vis-à-vis d’une mise en cohérence

MED//IEVP MED. Nécessité de réussir la

capitalisation des acquis de ce programme et

des précédents pour construire un nouveau

schéma d’organisation

4) Tableau de synthèse des entretiens avec les instances de gestion du programme (AUG, STC)

Points clefs issus des entretiens

Points forts? Attentes? Points faibles et/ou amélioration

possibles ?

PO et lisibilité des objectifs Programme généraliste et attentes importantes sur les deux types d’appels jugés complémentaires, classique et stratégique.

Peu de ciblage stratégique. Le PO qui est un « cadre de référence » reste très peu utilisé et reste un exercice trop formel.

Indicateurs du programme Les indicateurs du programme ont été approuvés par la CE

Indicateurs de résultats très insuffisants, non définis, sans éléments qualitatifs et indicateurs d’impact et de contexte inexistants. Le processus initial de définition des indicateurs doit être entièrement repris. Aujourd’hui, les indicateurs existants ne sont pas utilisés dans le suivi du programme, à l’exception des indicateurs issus des projets

Appels à projets stratégiques

La création d’une nouvelle démarche de ciblage et de sélection de projets à partir d’une approche plus « top-down » est perçue comme positive et révèle une capacité d’évolutivité du programme Le recours à un expert externe pour définir le cahier des charges de l’appel à projets et procéder à une expertise complémentaire

Pas de message suffisamment clair pour certains partenaires entre les 2 types d’appels Les critères d’éligibilité formelle doivent être mieux spécifiés (par exemple, distinction entre inéligibilité et erreur administrative)


30



possibles ?

lors de l’instruction des dossiers représente une valeur ajoutée certaine Information des porteurs de projets en amont

Qualité des projets et des partenariats

Des capacités d’ingénierie fiables pour les partenaires récurrents

Ressentie comme insuffisante, redondante, avec beaucoup de partenaires présents depuis plusieurs générations de programme et un risque de non-renouvellement ou de perte d’innovation dans les projets Implication des correspondants nationaux à développer notamment sur la qualité des partenariats, surtout en amont de la sélection

Suivi des projets Suivi administratif et financier sans problème majeur. Permet de prévenir les problèmes Participer aux comités de pilotage des projets est très positif (même si en pratique il est impossible de voir tous les projets)

Turn-over important au niveau de l’équipe du STC entre la phase d’instruction et la phase de suivi Pas d’outils pour un suivi qualitatif des projets Expertise dans l’évaluation des résultats, du coût des livrables, est limitée

Suivi financier du programme

Un outil intégré a été créé qui facilite le monitorage financier du programme

Cet outil n’est pas généré par PRESAGE CTE ce qui confirme la faible maniabilité de l’outil Lourdeur de l’outil PRESAGE notamment en cas de modifications non prévues par le système : perte de temps pour le STC et les projets

Capitalisation Volonté de procéder à une démarche intégrée de capitalisation en lien avec les préconisations de l’évaluation Recours à une expertise externe pour développer ce processus Un lien entre les missions externalisées liées à l’évaluation, aux projets stratégiques et à la capitalisation est en cours de réalisation au sein du STC

A minima, favoriser les rencontres entre les acteurs des projets par thèmes ou sous-thèmes, renforcer les liens entre les projets et les politiques régionales.

Communication programme

Bonne initiative: la participation aux activités des projets, même si les ressources humaines sont insuffisantes pour véritablement s’impliquer dans la communication individualisée du programme au niveau des projets

Attentes sur amélioration de la communication entre le programme et les projets, et le support de communication que le programme met à disposition des projets.

Formulaire candidature et processus de sélection (projets classiques)

Grille de sélection en évolution entre les deux appels à projets. Le découpage en 2 phases est positif mais doit être revu dans le contenu des 2 étapes

Différentiation entre phase 1 et 2 peu « lisible ». Pas assez de contenu en phase 1, trop de risque de perte de « bons » projets Critères de sélection pas assez différenciés pour permettre une analyse qualitative fine des projets Pas de distinction suffisante entre les critères de phase 1 et 2 Difficulté de gestion des candidatures trop nombreuses reçues à chaque appel à projets. Il faut une information plus ciblée et un recentrage des objectifs pour éviter ce phénomène à l’avenir. Trop de candidatures éliminées pour des raisons d’inéligibilité formelle. La question doit être traitée

PRESAGE CTE Pertinence de disposer d’un outil informatique

Démarrage difficile, retard pris dans l’adaptation de l’outil ayant occasionné des


31



possibles ?

PRESAGE sécurise le suivi des projets et les données

retards ou des surcharges de travail en 2008 et 2009 Saisie non optimale des données tant en phase d’instruction que de suivi (manque de report automatique des données entre tableaux ou versions linguistiques) Manque de souplesse de l’outil : choix d’extraction des données, format d’extraction de certaines informations, prise en compte et délais des modifications… Sur certains points, il est préférable de construire des outils en parallèle pour échapper à la rigidité de PRESAGE

Euro-région et programmes futurs

Réflexion stratégique en cours pour l’avenir de MED Procéder à des ajustements intermédiaires de MED dans la perspective d’une évolution forte attendue pour la prochaine période de programmation

Mise en relation difficile avec les programmes associés, pour des raisons règlementaires ou de calendrier en particulier

D. Tableau d’analyse de l’état de l’art (analyse multicritères)

Les tableaux ci-dessous reprennent, à partir des sources documentaires et synthétisées dans le cadre logique, les principaux questionnements qui ont vu le jour au cours de l’analyse de la mise en œuvre du programme, des outils produits par les autorités du programme, et des entretiens réalisés avec les instances du programme. Ce tableau préfigure les recommandations produites dans ce rapport, et le futur cadre logique qui sera préconisé en fin de processus d’évaluation pour la future génération MED.

1) Tableau méthodologique

Les trois premières colonnes reprennent le phasage chronologique du programme, la quatrième, plus transversale, traitant des questions liées à la communication, l’animation et la capitalisation du programme. Les critères d’analyse, issus des hypothèses d’évaluations et du travail d’étude documentaire et de la synthèse des entretiens réalisés avec les instances et partenaires du programme, reprennent les catégories classiques d’évaluation en termes de conformité, de cohérence, de pertinence et de performance au sein d’une analyse multicritères. Ils regroupent les éléments suivants :

Critères d’analyse Démarrage du

programme

lancement des appels à projets et de sélection des projets classiques

Suivi et gestion des projets et du programme

Communication, animation et

capitalisation, dont communication inter-programmes (IEVP,

IPA)

conformité avec les prévisions

Constats sur le cadre logique et la situation initiale du PO

Qualité des projets Nombre de candidatures Typologie des projets Processus de sélection Appui aux porteurs de projets

Taux / rythme de consommation Renseignement des indicateurs Processus d’accompagnement des bénéficiaires Processus de vérification des informations fournies

Plan de communication / actions de communication Plan de capitalisation / actions de capitalisation Mise en place des outils et des liens inter-programmes (IPA, IEVP MED)

cohérence / pertinence par rapport aux objectifs

Construction et sélection des indicateurs du PO Prise en compte des

Différentiation entre projets classiques/stratégiques Prise en compte de la

Système de suivi : outils, évolution des dispositifs en lien avec les résultats

Information de 10% de la population de l’espace MED : dimensionnement des


32

Critères d’analyse Démarrage du

programme

lancement des appels à projets et de sélection des projets classiques


Communication, animation et

capitalisation, dont communication inter-programmes (IEVP,

IPA)

évaluations ex-post / ex-ante

qualité des projets Processus de modifications entre les deux phases

attendus, quantitativement et qualitativement

outils, de la planification et du suivi capitalisation

performance (coût/efficacité des ressources engagées)

Moyens mis en œuvre pour établir le système d’évaluation et de suivi du PO

Ressources / nombre et modalités de traitement des projets Adaptabilité et facilité d’utilisation de l’outil PRESAGE CTE Dimensionnement et gestion des compétences et des ressources dans le processus de sélection, gestion du temps, des moyens et des effectifs

Dimensionnement et gestion des compétences et des ressources dans le processus de suivi/gestion Turn-over des personnels Procédures décisionnelles (comités, consensus, procédures écrites)

Sous-traitance / ressources internes Productions Performance du site web du PO Définition des processus et outils d’animation Efficacité des outils créés (indicateurs : taux de couverture des publics-cibles) Quantification des indicateurs de réalisation et de résultat des actions de communication

Ajustements spontanés en cours de programme (problèmes identifiés et traités par les instances du programme)

Pertinence des résultats du processus de construction du PO (indicateurs, stratégie…)

Sélection par le nombre sur l’éligibilité formelle Approche bottom-up versus top-down Délimitation des 2 phases de la sélection Instruction administrative / expertise

Approche « gestionnaire » versus approche « animateur » Transversalité des compétences selon les différentes catégories de suivi : financier, administratif, technique, …

Sous-traitance ou gestion en interne Evolution des modalités de communication inter-programmes Modalités de suivi de l’animation de projets Délimitation de la capitalisation et champs d’intervention

2) Tableau applicatif de la méthode

Ce deuxième tableau (décomposé ci-dessous par lignes, par soucis de lisibilité) illustre les principaux points d’évaluation constatés au regard des critères décrits ci-dessus. Une synthèse est proposée en conclusion de ce chapitre, fournissant des pistes d’explications par rapport aux principaux écarts et manques constatés. Chaque ligne est présentée individuellement avec quelques lignes de synthèse en chapeau.

a. Conformité avec les prévisions (état de réalisation)

Ainsi, en ce qui concerne la conformité avec les prévisions, le constat principal est que les sources d’informations disponibles en termes d’outils de suivi et d’indicateurs sont essentiellement quantitatives. Les modalités de suivis fondées sur des éléments financiers ou numéraires sont ainsi facilitées, de même que l’analyse de ces données. En revanche, cette conformité est à mettre en balance avec la cohérence et la pertinence de ces éléments quantitatifs par rapports aux objectifs ambitieux et qualitatifs issus de la stratégie du programme. Ce point sera étudié dans les lignes suivantes. On peut cependant déjà noter en creux que, a contrario, les éléments qualitatifs identifiés dans le processus de mise en œuvre du programme (accompagnement des porteurs de projets, liaisons inter-programmes…) sont très difficiles à étalonner avec


33

des éléments prévisionnels concrets. De même, comme dans toute approche quantitative, quand les chiffres manquent, la progression ne peut être constatée (réalisations en communication).

Un phénomène marquant est celui du nombre important de candidatures reçues lors des appels à projets classiques (et du démarrage du premier appel à projets stratégiques), qui se démarque des prévisions (à la hausse), alors que le nombre de projets finalement approuvés est lui très en deçà des prévisions. Cette importante sélectivité doit être interrogée en particulier par rapport au nombre important de projets rejetés pour inéligibilité administrative (malgré une amélioration lors du 2

ème appel).

Démarrage du programme

Lancement des appels à projets et sélection des

projets classiques


Communication, animation et capitalisation, dont communication inter-

programmes (IEVP, IPA)

Les prévisions données dans le cadre logique étant essentiellement quantitatives, la conformité des réalisations ne pourra prendre en compte suffisamment la dimension qualitative, c’est-à-dire la valeur ajoutée des réalisations du programme au regard de sa stratégie. Des dysfonctionnements de l’outil PRESAGE dans les premières années du programme ont complexifié et alourdi les procédures de sélection et de suivi des projets au lieu de les faciliter, comme c’était l’objectif

Les candidatures dépassent de 50% les prévisions initiales, et le taux de sélectivité est de 10% au lieu de 25% (prévisionnel), alors même que le nombre de projets approuvés est inférieur d’un tiers aux prévisions. Le processus de sélection, formellement conforme aux indications du PO/DOMO, a donné lieu à la production de grilles d’instruction évolutives, cependant perçues souvent comme limitées pour évaluer la qualité réelle des projets en termes d’efficacité. La différentiation entre projets classiques et stratégiques est nette et conforme aux descriptions du PO, même si en termes de communication externe, ce message est passé avec retard. En revanche, des appels à projets ciblés n’ont pas eu lieu à ce jour Les modalités d’appui aux porteurs de projets sont conformes à la description du rôle d’assistance du STC.

Le processus d’accompagnement des bénéficiaires est conforme aux prévisions en termes de suivi financier et de gestion, et les outils en ligne, même s’ils sont parfois peu fonctionnels, remplissent leur rôle. En revanche. L’accompagnement sur le fond des projets est moins défini, normé, et ne donne pas lieu à ce jour à des procédures organisées. Le niveau de programmation est correct sur les 2 AP classiques, même si le niveau de consommation est plus faible par rapport aux prévisions. En revanche les délais de paiement sont le plus souvent rapides en comparaison avec d’autres programmes de CTE. Les indicateurs se référant aux productions des projets sont encore au stade prévisionnel, les projets sélectionnés n’étant pas encore en phase de restitution finale

La conformité des réalisations de communication avec les prévisions est difficile à évaluer car en dehors de la part évènementiel le, aucune quantification n’est proposée dans le plan pour jauger le rythme des actions. Le processus de capitalisation étant à ses débuts, nous ne pouvons commenter les réalisations en ce domaine, à part la production d’un plan de capitalisation et d’un cahier des charges pour une sous-traitance à un expert extérieur. Les outils de communication et de travail en liaison avec IEVP et IPA existent mais les contacts ne sont pas à ce jour productifs. Les descriptions des tâches à réaliser étant succinctes, il est également difficile d’analyser la conformité. Cependant, des facteurs indépendants du programme MED entrent en jeu, notamment le retard pris au niveau du programme IEVP MED. Des procédures d’harmonisations avec IPA sont en cours pour favoriser les collaborations et la participation de partenaires IPA sur MED.

b. Cohérence / pertinence par rapport aux objectifs

Autant dans le rédactionnel du PO que dans sa mise en œuvre, la cohérence entre une stratégie ambitieuse et

formulée en termes généralistes au niveau des axes et des objectifs d’une part, et des indicateurs de résultats

très quantitatifs et non ciblés thématiquement d’autre part, introduit une incertitude dont ont pu pâtir certains

projets et présente donc des failles, notamment au regard du fort taux de projets éliminés pour raisons

administratives mineures (bien que stipulées expressément dans le processus et donc conformes aux


34

procédures), et des importantes modifications apportées à un grand nombre de projets entre la phase 1 et la

phase 2 de l’instruction. En effet, il apparaît dès lors que d’une part, l’information formelle sur les contraintes

administratives n’a pas assez été bien perçue par les porteurs de projets potentiellement intéressants pour les

objectifs du programme, d’autre part qu’un projet modifiant son partenariat, ses activités et son budget entre

deux rounds de sélection est susceptible de s’écarter des premiers critères qui avait permis de le sélectionner.

En outre, les faiblesses constatées dans le manque de ciblage du PO initial et la construction des indicateurs du

programme rendent très ardue une analyse au niveau de la pertinence.


lancement des appels à projets et sélection des

projets classiques




Les indicateurs du PO ne marquent pas de saut qualitatif majeur par rapport aux générations précédentes. Les indicateurs de contexte ne sont plus clairement mentionnés, les indicateurs de résultats sont exclusivement quantitatifs et peu thématisés par rapport aux enjeux. Pas de proposition d’indicateurs d’impact en relation avec la finalité du PO. Les indicateurs de programme sont amalgamés aux indicateurs du doc n°2 de la CE sans cohérence interne

Les différents niveaux d’objectifs du PO (colonne 1 du cadre logique) annoncent une ambition que l’on ne retrouve formellement dans les formulaires de candidature et les fiches d’instruction, qui reprennent bien les éléments décrits dans le PO. Cependant, des éléments manquent dans la procédure et les outils : les parties du formulaire de candidature dédiées à la description du projet sont relativement peu importants par rapport à la justification formelle de la conformité des projets au programme, ce qui confère un avantage aux bons « rédacteurs », et pas nécessairement au fond des projets.

La cohérence entre les objectifs de bonne gestion du programme et les outils créés à cette fin est bonne, au point même d’occulter la cohérence entre les objectifs d’accompagnement qualitatif des projets (Obj. 5.2 de l’AT : stimulation des partenariats) et la formalisation organisée de cet accompagnement Les outils PRESAGE de suivi des indicateurs des projets sont utiles comme tableau de bord, et cohérents avec ce qui est demandé aux porteurs de projet, mais manquent d’éléments qualitatifs, comme la typologie des organisations ciblées par les projets, la finalité des réseaux constitués….).

La cohérence entre l’indicateur de sensibilisation de la population de l’espace MED (10%) et les moyens décrits dans le plan de communication du programme est perfectible et sera difficile à établir à moins de qualifier le niveau et la nature des informations transmises (simple encart publicitaire dans des grands quotidiens de la zone ? distribution toutes boîtes à grande échelle ? émission télévisée sur le fond du programme? buzz internet sur un projet?)

c. Performance (coût/efficacité des ressources engagées)

Un point principal se dégage en ce qui concerne la performance du programme, en termes de coût/efficacité

notamment. Il apparaît que les points faibles en ce domaine interviennent en l’absence de procédures de suivi

permettant une meilleure prise en compte au fil de l’eau des pertes d’efficacité, et une meilleure réactivité face

aux aléas survenant toujours au cours d’une période de programmation (ici, dysfonctionnements PRESAGE,

saturation de candidatures, ….)… Autant de facteurs générant de l’indisponibilité des personnels et donc une

adaptabilité nécessaire, soit par augmentation ponctuelle de la ressource humaine, soit par une réorganisation

des procédures, soit par le recours à l’externalisation. Ce dernier point cependant est à manier avec prudence,

car il peut se révéler contre-productif si l’indisponibilité des instances de pilotage ne permet pas de suivre et

d’encadrer les missions externalisées.

A cela s’ajoute un turn-over au niveau des agents du STC, susceptible de créer une rupture dans la transmission

des informations entre partants et arrivants, et donc une perte de continuité dans le programme.


35



projets classiques




La mise en place des structures de gouvernance du programme en début de programmation a sans doute nui à la constitution d’indicateurs plus performants en termes de mesure d’efficacité et d’impact qualitatif du programme et des projets.

L’outil PRESAGE a probablement contribué à une déperdition de disponibilité au moment des premiers appels à projets. En outre, des éléments recueillis au fil des entretiens font apparaître un temps moyen passé sur l’instruction des candidatures de 1 à 2 jours sur le premier appel à projets, ce qui, étalonné avec les temps d’évaluation de programmes communautaires, paraît important. Le niveau de connaissance de l’équipe chargée de l’instruction sur des thématiques aussi diverses et expertes que celles du programme ajoute sans doute à ce phénomène et pose la question d’un recours à une expertise ciblée sur certains thèmes de projets. Aucun plan de gestion des ressources ne permet à ce jour de disposer d’éléments concrets de mesure du temps passé et de l’énergie consacrée au processus de sélection par rapport au temps de gestion, d’animation ou d’organisation des évènements du programme.

Même remarque sur le plan de gestion des ressources. Les changements de personnel à mi-parcours du programme posent question quant au temps investi dans la formation de nouveaux agents et la perte de personnes déjà formées. La question du transfert de compétences est posée. Les procédures décisionnelles ont été optimisées. L’introduction de procédures écrites entre les réunions des comités respecte la traçabilité des décisions prises par les instances du programme tout en gagnant du temps sur certains points formels.

Le coût de la sous-traitance décidée pour mener à bien la capitalisation sans accompagnement préalable harmonisé au stade du dimensionnement de la mission pourrait générer des surcroîts de charge de travail en interne au moment de la mise en œuvre de cette phase importante du programme. A l’inverse, l’externalisation d’une partie du processus de mise en place des appels à projets stratégiques à un expert extérieur, avec une forte implication des autorités nationales, se révèle positive. De même l’absence d’éléments quantifiés et qualifiés suffisants en matière de communication pourrait générer en fin de programmation un travail important de reconstitution des données, sans outil précis de gestion élaboré au préalable.

d. Ajustements apportés par les instances du programme aux problématiques identifiées par

elles pendant le démarrage et la mise en œuvre du programme.

Cette rubrique propose d’identifier, au regard des questionnements ayant émergé au cours de la mise en

œuvre du programme au sein des instances participant à sa gouvernance, et parfois au travers de retours

d’expérience des projets, les réponses proposées au quotidien par ces mêmes instances, et leur évolution vers

un formalisme ou une adaptabilité nouvelle. Ces différents points seront repris



projets classiques




Faible prise en considération des indicateurs créés au démarrage du PO, considérés comme très insuffisants. Manque d’outils de ciblage stratégique au niveau du programme

L’insatisfaction relative des instances du PO quant à la qualité des candidatures présentées a donné lieu à des propositions de réponses, comme la modification des fiches d’instruction, le choix de se tourner vers des appels à projets stratégiques, une

Des attentes émergent en matière de suivi qualitatif des projets, et notamment en ce qui concerne la création d’outils en ce domaine.

Une réflexion se poursuit sur le champ à couvrir par la capitalisation, et les modalités de mise en œuvre de ce travail. Les réponses ne sont pas encore définitives.


36



projets classiques




réflexion sur l’allocation des sommes restant à programmer en fonction des résultats obtenus depuis le début de la programmation.

CONCLUSIONS

En guise de résumé, on peut proposer comme recommandations issues des constats réalisés ci-dessus :

- en termes de conformité : L’analyse du niveau de réalisation du programme en conformité avec le cadre

logique prévisionnel ne peut faire l’abstraction d’une redéfinition des indicateurs du programme vers une

inclusion d’éléments plus qualitatifs et mieux en lien avec les ambitions du programme, la définition des

stratégies d’avenir pour MED et les sollicitations de la Commission européenne. Ce travail sera initié dans

le cahier de recommandations, dont l’objectif est de décliner les actions préconisées en mode

opérationnel et évaluable

- en termes de cohérence : privilégier les éléments qualitatifs de positionnement et de sélection des projets

permettra une amélioration de la qualité des projets à venir et pour la prochaine période de

programmation.

- En termes de pertinence : la question est posée au niveau de la prise en compte réelle de ce qui devrait

représenter le socle de référence en la matière, c'est-à-dire le corpus documentaire du PO. Il faudra sans

doute reconstruire une légitimité de référence en travaillant sur l’historique de la mise en œuvre du

programme plutôt que sur ses documents de base, afin de constituer un cadre logique du programme

conforme aux attentes exprimées et au principe de réalité issu de la mise en œuvre de MED

Dans le même sens, la communication entre les différents organes du programme est suffisamment bonne

pour faciliter les modifications et adaptations d’une solution à un problème ou un questionnement

récurrent (qualité des projets, de l’accompagnement des projets, capitalisation…). Ces questions seront

analysées en étalonnage avec d’autres programmes de manière à enrichir la réflexion en élargissant le

spectre des solutions possibles.

- en termes de performance : le développement d’outils de gestion des ressources, qui, sans être trop

normés car ils deviendraient paralysants, permettraient plus de souplesse et un monitorage plus fin et

réactif de l’efficacité des ressources mises à disposition du programme, en interne comme en externe


37

ELEMENTS DE BENCHMARKING (ETALONNAGE)

PRINCIPE METHODOLOGIQUE DE L’ETALONNAGE

E. Schéma descriptif de la méthode utilisée

Ce processus sera finalisé dans le livrable 2 de la

mission, le cahier de recommandations. A ce stade,

seules des propositions issues de pratiques constatées

au sein de dispositifs extérieurs à MED seront faites en

réponse aux problèmes ou insatisfactions identifiés

par les instances du programme. Les partenaires se

positionneront sur les pratiques leur semblant les plus

intéressantes à décliner sur un plan opérationnel en

vue d’une intégration au programme actuel, ou au

futur programme.

F. Questions-clés et programmes-sources pour l’étalonnage

1) Questions-clés à étalonner

a. Positionnement méthodologique

L’étalonnage est un exercice délicat qui doit être restreint pour livrer son efficacité. Poser a priori des

questionnements « imposés » en fonction d’une pratique exemplaire identifiée en dehors du contexte du

programme à étalonner peut en effet se révéler contre-productif.

Il faut donc partir des besoins identifiés au sein du programme à étalonner par les personnes en charge de ces

programmes, de manière à proposer des pratiques correspondant à ces préoccupations. En effet, ce sont ces

personnes qui utiliseront ou non les pratiques proposées, et il convient donc de prendre leur cadre de

référence pour assurer une prise en compte optimale des propositions émises.

Nous avons donc, à partir des entretiens réalisés et de l’analyse multicritère effectuée dans le chapitre

précédent, identifié les principales questions qui remplissaient les conditions adéquates pour être traitées avec

l’outil « benchmarking ». Ces conditions sont :

- Question identifiée par les instances du programme comme étant source de préoccupation ou

d’insatisfaction, perçues comme un frein à la bonne marche du programme,

- Question ayant déjà fait l’objet, de manière plus ou moins formalisée, de discussions et de réflexions,

et/ou d’initiatives et de mesures en termes de résolution de problème

- Problématique persistante malgré ces traitements

b. Tableau descriptif des questions à traiter

Dans chaque catégorie identifiée par l’analyse multicritères (démarrage du programme - lancement des appels

à projets et sélection des projets classiques - suivi et gestion des projets et du programme - communication,

animation et capitalisation), nous avons identifié une question-clé représentative de ces trois conditions pour

la soumettre à l’étalonnage.


38

D’autres questions liées à la capitalisation des projets notamment sont en cours d’émergence, mais leur

problématisation n’a pas encore suffisamment généré d’actions pour qu’elles soient traitées dans ce chapitre.

Catégorie de référence Question-clé Problématiques recensées

Démarrage du programme Qualité et pertinence des projets5

- Manque de ciblage du PO, de ses axes/objectifs et de ses indicateurs et critères - Manque de lisibilité des attentes du programme pour les porteurs de projets - Routine des porteurs de projets récurrents freinant l’évolutivité du programme par rapport aux attentes - Manque de renouvellement des bénéficiaires potentiels - Manque de définition de procédures de sélection ciblées et adaptées aux attentes - Manque de formulation de ces attentes

Processus de sélection et appels à projets

Modalités d’organisation et de mise en œuvre des appels à projets

- Nombre de candidatures et forme des candidatures (incl. annexes et double version électronique/papier) - Lourdeur du processus de sélection (appels à projets classiques) en termes de ressources mobilisées - Manque de communication sur des critères préalables destinés à limiter en amont le nombre de candidatures - Manque d’expertise thématique pour sélectionner les projets sur le fond - Manque d’implication de l’ensemble des instances partenaires du programme dans le processus de sélection de la pertinence des partenaires - Manque de performance des outils d’évaluation (formulaires et PRESAGE) - problèmes de sous-effectifs

Suivi projets/programme Outils pour le suivi du système

- Rigidité et faible maniabilité de PRESAGE CTE - Manque d’outils de suivi technique et d’animation - Insuffisances dans la gestion et la planification des ressources - Manque de traçabilité et d’accessibilité en matière de suivi programme

Communication Communication programme/publics-cible et grand public

- Manque de coordination entre les différents producteurs de communication eu niveau du programme - rigidité, faible évolutivité et attractivité du site Internet du programme - Manque de mutualisation des connaissances/informations entre projets et entre projets et programme

5 Cette question est portée dans la rubrique démarrage du programme car elle se rattache en grande partie à la définition préalable dans le PO de ciblages stratégique, thématique au niveau des objectifs, ainsi que de critères et de procédures spécifiques liés à ces ciblages préalables (en termes de partenariat, résultats attendus des projets…). Elle est également transversale, car elle impacte ensuite le processus de sélection et de suivi des projets, et donc le programme.


39

2) Programmes-sources

a. Positionnement méthodologique

Les programmes-sources sélectionnés pour la comparaison sont de natures très diverses. En effet, un

programme de la dimension de MED n’est pas aisément comparable à un autre programme de la catégorie

« Interreg B », étant donnée sa zone de couverture géographique et le nombre d’Etats impliqués ou associés.

En outre, rechercher un programme similaire ou comparable d’un point de vue géographique, thématique ou

stratégique ne serait pas pertinent, étant donné que l’évaluation a pour but premier de préconiser des

évolutions au niveau des procédures, du fonctionnement et de l’opérationnalité du programme. A titre

d’exemple, étalonner les performances d’une application informatique de gestion comme PRESAGE ne requiert

pas prioritairement la prise en compte de paramètres stratégiques spécifiques, mais plutôt le niveau

d’adéquation et d’adaptabilité entre les solutions fonctionnelles apportées par l’outil et les besoins de ses

utilisateurs. A ce titre, on peut comparer le système PRESAGE CTE à des systèmes de gestion de projets ou de

dispositifs y compris issus de systèmes extérieurs aux programmes de l’Union européenne.

S’intéresser en particulier à d’autres programmes Interreg reste cependant nécessaire car les contraintes

règlementaires, administratives et financières liées à l’objectif de coopération territoriale et à l’instrument

financier FEDER permettent de filtrer des pratiques qui, dans des contextes règlementaires plus souples ont

toute leur valeur, mais perdraient leur efficacité une fois rapportées au contexte spécifique de ce type

d’instrument. Dans ce contexte ont été priorisés les programmes Interreg IV B concernant des Etats membres

concernés également par MED (pour la prise en compte des contraintes nationales, notamment en termes de

certification), comme SUDOE, Sud-Est Europe, Espace Alpin et le programme Interreg IV C interrégional.

Il est également primordial de recourir à des comparaisons avec les programmes thématiques de l’Union

européenne. En effet, les spécificités liées au ciblage thématique de ces programmes permettent d’identifier

des pratiques intéressantes en fonction des spécificités de formes de partenariats ou de résultats attendus des

projets en fonction de leur orientation thématique. En outre, la plupart de ces programmes ont une longue

expérience des outils de gestion informatisés et du fonctionnement en mode projet (au niveau des outils et

méthodes comme de la structuration des équipes en charge de l’accompagnement des projets), et résultent de

réflexions stratégiques et fonctionnelles approfondies pour des catégories d’acteurs ciblées par rapport à un

thème donné. Enfin, le dimensionnement financier important de ces programmes les a fait évoluer dans le

temps en programmes-cadres, positionnement intéressant à prendre en compte pour celui du successeur de

l’actuel MED.

Nous avons donc opté pour un choix de programmes et de dispositifs dont les pratiques sont utilisables en

mode « géométrie variable », en fonction des questions soumises au benchmarking.

3) Tableau de recensement des programmes et dispositifs consultés

Nous avons classifié ces programmes-sources en trois catégories :

- les autres programmes Interreg (IR)

- les autres programmes communautaires liés aux politiques internes de l’UE, que nous appelleront

« programmes thématiques »

- une catégorie « autres » qui regroupe indifféremment :

les programmes extérieurs de l’Union européenne


40

des programmes similaires issus d’autres organisations internationales (Conseil de l’Europe, système

ONU, OCDE…)

des dispositifs utilisés dans la gestion de projets d’intérêt général au sein d’acteurs non

gouvernementaux (fondations…)

des dispositifs issus de la gestion de programmes et de projets dans le secteur privé concurrentiel.

Catégories de programmes-

sources Programmes pris en compte pour l’étalonnage

Questions adressées par ces programmes

Programmes Interreg Interreg IIIB : SUDOE, SEE, ESPACE ALPIN Interreg IVC:

Programmes thématiques CE

EFTLV6 PCRD CIP/EiE, CIP/TIC LIFE +, CULTURE, …

Autres programmes et dispositifs

Dispositif « EuropeAid », Conseil de l’Europe Appels à projets « système ONU » Fondations internationales Systèmes de gestion / entreprises internationales

ANALYSE DES QUESTIONS SOUMISES A L’ETALONNAGE

A. Tableau méthode :

Les réponses apportées aux questions identifiées par les parties prenantes du programme sont traitées de la

manière suivante.

Options possibles existantes

dans d’autres programmes Bénéfice principal attendu

Type de programme Pré-requis principal

IR7 PT8 Autres9

Pour chaque problématique, les

réponses apportées au sein

d’autres programmes ou

dispositifs sont citées. En

fonction de la priorisation de ces

questions, ces propositions de

réponses seront développées et

adaptées au contexte MED

dans le cahier de

recommandations de

l’évaluation

Il s’agit ici d’indiquer

clairement le ciblage des

réponses apportées, à savoir

l’impact majeur attendu en

termes de cohérence,

pertinence ou performance du

programme.

Selon les possibilités ouvertes

en termes de programmation

ou de gestion dans le

programme actuel, l’impact

attendu sera effectif avant ou

après la fin du programme.

La mise en place des

réponses suggérées implique

de mettre en place un certain

nombre d’actions en amont.

L’importance de ce travail

préalable servira d’élément

d’aide à la décision pour

prioriser :

1) la sélection des réponses

à développer dans le cahier

de recommandations

2) la mise en œuvre de ces

solutions dans le programme

actuel ou dans le futur

programme

La typologie des

programmes et

dispositifs de

référence est indiquée

ici. Selon les cas, le

choix sera fait de

prioriser les réponses

apportées dans des

programmes similaires

(autres programmes

Interreg), ou à des

dispositifs relevant de

modalités de gestion

différentes

6 Programme “Education et Formation tout au long de la vie” (Lifelong Learning Programme – LLP)

7 IR : Interreg 8 PT : Programmes thématiques : PCRD, CIP/EiE,LIFE+, LLP… 9 Cette rubrique peut concerner des programmes nationaux, des programmes hors zone Europe ou d’autres dispositifs publics et privés d’intérêt


41

B. Tableau applicatif (par thème)

Problèmes les plus souvent cités dans les entretiens programme

1) Pertinence et qualité des projets :

Ce thème révèle une insatisfaction généralement constatée par les instances et partenaires du programme,

pour des raisons parfois différentes selon les interlocuteurs, et formulée de manière plus ou moins précise.

L’analyse faite de cette insatisfaction révèle principalement des manques au niveau :

- de la relation/accompagnement aux porteurs de projets,

- du ciblage des attentes du programme en termes de résultats, partenariats et organisation des projets,

- et enfin de l’analyse de la valeur ajoutée des partenaires des projets, notamment pour ceux présents

sur des candidatures multiples




IR10 PT11 Autres12

Accompagnement au montage

de la candidature (individuel

et/ou collectif)

Meilleure connaissance des

projets potentiels, meilleure

adéquation des projets aux

attentes

X X13

Nombre de candidatures

limité en cas

d’accompagnement

individualisé

Appel préalable à

manifestations d’intérêt

s’inscrivant dans un COS(2)14

méditerranéen

Identification des idées-phares

à mettre en valeur dans les

appels à projets

X Evaluations ex ante

disponibles et suffisamment

détaillées pour un

positionnement stratégique

préalable

Appels ciblés par catégorie

d’acteurs, de thèmes ou de

résultats

Meilleure adéquation à la

performance attendue du

programme, meilleure lisibilité

des attentes

X X X15

Ouverture à d’autres publics

cibles (privés ou partenariats

publics/privés)

Renouvellement des acteurs

porteur d’innovation dans les

projets.

X Analyse règlementaire

préalable (aides d’Etat)

2) Modalités d’organisation et de mise en œuvre des appels à projets

Les commentaires plus souvent recueillis sur ce thème concernent :

- le nombre des candidatures et les difficultés de gestion résultant de cet afflux - le phasage du processus de sélection (contenu des différentes phases et plus généralement

du formalisme du formulaire de candidature) - les critères et les modalités de sélection des projets : grilles d’évaluations successives peu

fructueuses, rigidité des critères d’éligibilité formelle, question de l’expertise thématique externe.

10 IR : Interreg 11 PT : Programmes thématiques : PCRD, CIP/EiE,LIFE+, LLP… 12 Cette rubrique peut concerner des programmes nationaux, des programmes hors zone Europe ou d’autres dispositifs publics et privés d’intérêt 13 Programmes d’aides au développement, instruments financiers des fondations nationales ou internationales… 14 COS : Cadre d’Orientation Stratégique, éventuellement construit à une échelle plus large que l’aire géographique du programme 15 Certaines procédures de marchés publics


42




IR16 PT17 Autres18

Appels ciblés, par axe,

thématique, catégorie… étalés

dans le temps

Répartition/planification de la

charge de travail dans le

temps

X X X

Positionnement stratégique

préalablement défini +

calendrier et mobilisation des

RH planifiés en amont

Appels par étapes sous

condition de réalisation19

Meilleure visibilité sur la

consommation X X20

Suivi budgétaire spécifique

élaboré en amont

Evaluation des candidatures par

un pool d’expert

Allègement de la charge de

travail en interne X

Organisation préalable d’un

appel à experts

Vademecum détaillé précisant

les conditions d’accès

(information préalable des

porteurs de projets)

Auto-limitation / adaptation

des candidatures par les

candidats

X X

Elaboration de guidelines et

de messages précis bien en

amont de chaque appel

Alléger la première phase de

sélection en la consacrant à

quelques points-clés liés à la

valeur ajoutée du partenariat et

à la pertinence/faisabilité des

résultats (cadre logique du

projet)

Optimisation du processus

d’évaluation de la phase 1 X

Evaluation ex ante de la

valeur ajoutée attendue pour

le programme en termes de

réalisations concrètes

Détermination de critères

spécifiques (seuils financiers,

partenariat, …)

Limitation du nombre de

candidatures en amont X X

Elaboration préalable de

critères pertinents avec la

stratégie du PO

3) Outils pour le suivi du système

Les remarques faites sur le suivi et la gestion des projets et du programme concernent principalement

PRESAGE et ses problèmes de lisibilité, d’adaptabilité, de maniabilité… Il est parfois nécessaire de créer des

outils de suivi hors PRESAGE pour pallier les imperfections de l’outil et les difficultés à le faire évoluer.

Il ressort également de l’évaluation une absence plus ou moins totale de tableaux de bord de suivi des activités,

affectations,… liés à l’assistance technique, ce qui rend difficile le pointage des activités performantes et de

celles ouvrant des marges de progression certaines.

Enfin, les formats de retransmissions des informations entre les parties concernées par la gestion du système

sont considérés comme peu continus et peu adaptés aux besoins de chacun.

16 IR : Interreg 17 PT : Programmes thématiques : PCRD, CIP/EiE,LIFE+, LLP… 18 Cette rubrique peut concerner des programmes nationaux, des programmes hors zone Europe ou d’autres dispositifs publics et privés d’intérêt 19 C'est-à-dire que le projet peut être construit en 2 étapes de réalisation sur d’un même objectif mais budgété en 2 phases de 2 ans par exemple, la deuxième phase étant conditionnée à la réalisation des livrables de la première. Ce procédé implique de cibler des projets susceptibles d’être découpés en grandes phases successives avec des résultats définis pour chaque phase. 20 Certaines procédures de marchés publics


43




IR21 PT22 Autres23

Logiciel dédié exclusivement au

programme

Adaptabilité en mode « temps

réel » et adéquation aux

spécificités du PO

X X X24

Interopérabilité possible avec

les autres systèmes et outils

existants sur la zone

Espace collaboratif d’échange

de données entre les instances

de gestion (ressources

documentaires, historique des

procédures, …)

Traçabilité et accessibilité

rapide au corpus d’information

et de procédures du

programme

X X

Définition des droits et

conditions d’accès des

acteurs concernés

Outil informatique permettant

une adaptabilité des données

extraites aux attentes de tous

les utilisateurs du système

(tableaux de bords,

cartographies, systèmes

d’alerte...)

Maniabilité du système et gain

de temps X X

Analyse des besoins

préalable (et révisable en

continu), système de base de

données préétabli

4) Communication programme/publics-cible et grand public

Si le site web du programme est pointé en priorité comme susceptible d’amélioration, l’analyse des documents

de communication et les remarques entendues en entretiens pointent également un manque de précision de la

stratégie opérationnelle de mise en œuvre du plan de communication, et des lacunes en matière d’articulation

entre les différents producteurs de communication et d’information.




IR25 PT26 Autres27

Site-portail permettant une

accessibilité élargie aux

données du programme au

niveau régional, national et

transnational (base de données

projets sur période en cours et

périodes précédentes, …)

Transparence, et optimisation

de la sollicitation directe des

instances de gestion par les

publics

X X X

Organisation et gestion en

mode « temps réel » avec

ressources dédiées et

formation des administrateurs

Portails thématiques compilant

les ressources et informations

provenant des projets et de

leurs réseaux

Mutualisation et meilleure

accessibilité des

connaissances

X X Architecture du portail

adaptée et facile d’utilisation

21 IR : Interreg 22 PT : Programmes thématiques : PCRD, CIP/EiE,LIFE+, LLP… 23 Cette rubrique peut concerner des programmes nationaux, des programmes hors zone Europe ou d’autres dispositifs publics et privés d’intérêt 24

Pour la rubrique « outils de suivi », les systèmes proposés s’inspirent des outils de suivi de certaines politiques publiques urbaines (par

ex : sécurité des personnes, projets de rénovation urbaine), ou utilisés par les entreprises ou fondations internationales pour la gestion et le suivi de projets 25 IR : Interreg 26 PT : Programmes thématiques : PCRD, CIP/EiE,LIFE+, LLP… 27 Cette rubrique peut concerner des programmes nationaux, des programmes hors zone Europe ou d’autres dispositifs publics et privés d’intérêt


44

CONCLUSIONS

Les apports de l’analyse contextuelle des questions vécues comme problématiques en termes de gestion du

programme et des projets peuvent être résumés ainsi :

- Nombre d’autres programmes ont fait face à des questionnements similaires ou apparentés, et ont mis en

place dans le temps des solutions transposables à des degrés divers au sein de MED ou de son successeur. Des

bonnes pratiques sont notamment observables dans d’autres programmes Interreg / thématiques en matière

de ciblage des appels à projets, d’outils de gestion et de suivi des opérations et de structuration des équipes en

matière de gouvernance et d’assistance technique.

- Selon le positionnement des acteurs MED par rapport aux options stratégiques proposées dans le présent

rapport (priorisation des options par la prise en compte de leur efficacité attendue par rapport aux conditions à

remplir pour mettre en œuvre ces options dans le cadre de MED), ces réponses seront retravaillées et adaptées

au contexte MED, dans une optique d’intégration à court, moyen ou long terme.


45

PARTIE 3: EVALUATION PROJETS


46

RAPPEL METHODOLOGIE

ETAT DES LIEUX DE LA SELECTION DES PROJETS

1/ Sources d’informations

Les sources d’information suivantes ont été étudiées dans la phase préparatoire de l’évaluation projet (constitution d’une base de données, réalisation de la grille de critère pour la sélection du panel de projets à évaluer, rédaction des guides d’entretien) :

- Candidatures des projets sélectionnés et fiches d’évaluation 1ère

et 2ème

phases : ces documents ont été téléchargés sur le site Présage et ont fait l’objet d’une lecture croisée afin d’analyser les conditions de réussite pour qu’un projet soit sélectionné. Ils ont permis également une première classification des projets par typologie (cf. ci-dessous)

- Candidatures des projets rejetés : ces documents ont été téléchargés sur le site Présage et ont fait l’objet d’une lecture comparative avec les candidatures sélectionnées afin d’analyser les raisons de l’échec d’une candidature (lecture comparative entre les candidatures sélectionnées et les candidatures rejetées en deuxième phase seulement).


47

CLASSIFICATION DES PROJETS PAR TYPOLOGIE

L’étude des candidatures des projets sélectionnés et non sélectionnés, à partir de la base de données

d’évaluation, a permis d’établir des similitudes quant à l’organisation du partenariat et des activités.

Avant les entretiens permettant de vérifier les points observés de manière récurrente dans les

candidatures, les hypothèses de l’évaluation ont permis d’établir une classification des projets en

quatre catégories distinctes. Pour chaque catégorie spécifiée, la forme du partenariat et des résultats

du projet ainsi que les types d’activités attendues sont différenciées.

Cette classification a pour but de permettre une meilleure lisibilité en matière de structuration de

projets, et pourra permettre d’orienter le ciblage des prochains appels à projets ou du prochain

programme en fonction des typologies de projets attendues sur un thème ou une forme de résultats

donnés

1/ Les projets « réseau » :

Dans ce type de projet, le partenariat est souvent multi-acteurs, et implique donc toute une série

d'acteurs capables de contribuer aux objectifs du projet. Les partenaires peuvent être des autorités

locales, des organismes consulaires, des partenaires sociaux, des associations, ainsi que des centres

de recherche et de formation professionnelle, y compris des universités… La participation de

décideurs politiques, tels que les autorités locales, régionales et nationales garantit la durabilité du

partenariat. Ce type de projet n'est pas exclusivement conçu pour le montage de nouveaux réseaux.

Les membres de réseaux existants peuvent souhaiter former de nouveaux réseaux pour travailler

dans des domaines complémentaires ou pour mettre à profit leur expertise combinée dans de

nouveaux domaines. Ainsi, un projet réseau est souvent la reconduite d’un projet ou l’assemblage

de projets similaires.

Quelque soit le type de réseau formé, les objectifs d’un projet « réseau » sont de renforcer les liens

entre les divers «acteurs» impliqués, afin d'améliorer la qualité, la dimension méditerranéenne et la

visibilité d'activités ou de questions d'intérêt commun.

Les réseaux constitués ont renforcés peuvent être des réseaux de pairs ou des réseaux multipartites,

c'est-à-dire associant des structures de nature différente.

PROJETS RESEAUX

Finalité Forme des résultats Activités Partenariat

Projets réseaux de pairs Actions communes de lobbying (du lobbying régional au lobbying européen)

Workshops, séminaires (avec implication plus systématiques d’institutionnels et managing authorities)

Partenaires d’un réseau déjà constitué ou en préfiguration + présence d’institutionnels

Projets réseaux multipartites

Actions communes de lobbying (du lobbying régional au lobbying européen)

Workshops, séminaires (avec implication plus systématiques d’institutionnels et managing authorities)

Assemblage de réseaux constitués + présence d’institutionnels

Exemples de projets relevant de cette typologie dans MED : Medgovernance, Maremed…


48

2/Les projets « innovants »

Ce sont des projets dans lesquels les partenaires transfèrent ou développement de l’innovation.

Projet de transfert d’innovation : il permet de répondre aux besoins de formation diagnostiqués dans

un secteur d’activité, en adaptant des outils innovants mis en œuvre chez un autre partenaire. Les

partenaires d’un tel projet développent le type d’activités suivantes :

l'adaptation socioculturelle, juridique, linguistique, méthodologique de l'innovation

sélectionnée.

l'expérimentation des résultats obtenus, auprès des publics cibles du projet ;

l'intégration de ces résultats dans les pratiques professionnelles des acteurs ;

la reconnaissance institutionnelle de ces résultats du projet par les systèmes régionaux,

nationaux, européens et/ou sectoriels de formation professionnelle.

Les activités de diffusion sont essentielles à la réussite de ce type de projet, au travers

notamment de l'implication des publics-cibles dès le stade de la conception des projets.

Projet de développement de l’innovation : dans ce cadre, l'innovation désigne le fait d'adopter une

nouvelle approche pour résoudre des problèmes auxquels les approches traditionnelles ne

permettent pas de répondre. Ce type de projet doit améliorer la qualité et la promotion de

l'innovation, de manière à ce que les outils, méthodes ou concepts développés par le projet puissent

être utilisés ou adaptés par les partenaires en fonction de leurs spécificités. Outre les activités

décrites ci-dessus, les partenaires doivent au préalable :

Définir des méthodes communes, approches tangibles et outils permettant d’améliorer

la situation de départ. Ces définitions doivent placer la dimension innovante du projet

dans son contexte et la mettre en relation avec les besoins des groupes cibles ou le

problème à résoudre.

PROJETS D’INNOVATION

Finalité Forme des résultats Activités Partenariat

Transfert d’innovation Action plan formalisant le transfert d’une méthode innovante

Workshops, expérimentations, projets pilotes

partenariat dissemblable, plusieurs niveaux sont représentés

Développement de l’innovation

Méthode commune innovante et transférable

Workshops, expérimentations, projets pilotes

partenariat dissemblable, plusieurs niveaux sont représentés

Exemples de projets relevant de cette typologie dans MED : In-Flow-ence, zero waste…

3/Les projets « atypiques »

Les projets peuvent être atypiques pour trois raisons :

Leur partenariat n’a pas les caractéristiques de celui d’un projet réseau ou d’un projet

innovant.

La forme du résultat n’est ni la constitution ou le renforcement d’un réseau, ni le

développement ou le transfert de méthode innovante

La thématique du projet est unique ou rarement développée au sein du programme


49

METHODE DES ENTRETIENS

CONSTRUCTION DU PANEL DES PROJETS A EVALUER

1/Rappel méthode

Principes retenus :

12 projets ont été sélectionnés dans les 2 appels (projets classiques). Les projets stratégiques, en

raison des délais de sélection, n’ont pas fait l’objet d’analyse au cours de l’évaluation 2010.

De même, les projets étant à des stades d’avancement différents (pour certains en démarrage récent),

nous avons limité les critères de sélection des projets à la genèse et à la sélection des projets. Nous

avons cependant traité les problématiques liées au suivi et à la gestion des projets en entretien

Les évaluations sont réalisées sur la base d’un guide d’entretien

L’évaluation comprend, au cours de l’année 2010, une réunion de travail avec le chef de file du projet

et le cas échéant, de certains de ses partenaires. Au cours de l’année 2011, nous participerons à une

activité transnationale ou locale de quelques projets du panel.

Au-delà des éléments quantitatifs et qualitatifs propres à l’évaluation du projet lui-même, l’objectif

principal est l’analyse des interactions entre la forme des projets et les principaux messages et

orientations du programme et de sa mise en œuvre.

Le panel de projets est issu d’une analyse multicritères définie par le tableau.

Devant la difficulté d’organiser des réunions avec certain projets, une liste complémentaire a été

établie (toujours via l’analyse multicritères), afin d’aboutir aux 12 évaluations prévues dans le cahier

des charges.

2/Définition des critères pour la sélection

Critères pour la notation Notation et pondération Sources et moyens de vérification

Cette rubrique détaille les points pris en compte dans l’analyse des projets

Les règles de notation et de pondération sont précisées dans cette colonne

Les documents de références ayant servi à la vérification des données sont précisés pour chaque détail du critère

Liste des critères : 1) Typologie du projet - 2) Représentativité du partenariat – 3) - Représentativité thématique – 4) Dimensionnement budgétaire – 5) Processus de sélection des projets

Comme l’illustre le tableau ci-dessus, chaque critère est orienté vers un thème qualitatif précis correspondant

aux hypothèses de l’évaluation, et prenant en compte les points-clés à analyser pour extraire des données

d’analyse susceptibles de représenter une valeur ajoutée pour l’analyse du programme.

Le premier critère reprend bien sûr la classification des projets telle qu’établie plus haut dans le document. La

pondération indiquée pour tous les autres critères prend également en compte la différentiation des types de

projets.

Les 5 tableaux ci-dessous reprennent pour chaque critère le détail, le système de notation et les sources

utilisées.


50

Thème couvert par les critères


Re

pré

sen

tati

vité

th

ém

atiq

ue

1) Correspondance avec les axes/objectifs du PO MED: a. conformité de la formulation des candidatures avec les critères d'éligibilité de l'axe/objectif du PO b. prise en compte de spécificités / critères liés aux orientations thématiques des axes/objectifs du PO

Notation de 0 à 3: 0: aucune correspondance avec le critère ou critère non renseigné 1: faible correspondance avec le critère 2: bonne correspondance avec le critère 3: excellente correspondance avec le critère Coefficient de pondération : 2

- pré-candidature et candidature - PO et DOMO

2) cohérence avec les PO mainstream de la zone et les politiques régionales / nationales liées (incluant leurs évolutions dans le temps)


- pré-candidature et candidature - PO et DOMO - Lignes directrices des politiques nationales/régionales

3) Pertinence du positionnement thématique avec les enjeux transnationaux MED (issus du diagnostic et de l'analyse AFOM du programme)


- pré-candidature et candidature - PO et DOMO

Re

pré

sen

tati

vité

du

par

ten

aria

t

Légitimité des partenaires: a. Capacité financière et opérationelle du chef de file (ingénierie et management, reconnaissance par les autres partenaires) b. Expérience et reconnaissance des partenaires : en termes de coopération et d'expertise sur le fonds, en termes de compétences et de mission par rapport au thème du projet c. Représentativité territoriale des partenaires d. complémentarité entre partenaires incluant leur connaissance mutuelle, leur historique de coopération, leur pertinence par rapport aux WP du projet...


- pré-candidature et candidature - documents justificatifs et statutaires des organisations partenaires - participation à d'autres projets, sur le programme MED, d'autres programmes et/ou des programmes antérieurs - PO et DOMO


51



Typ

olo

gie

du

pro

jet

1) Niveau de maturité du projet (projets "réseaux"): * a. genèse et historique du projet b. capitalisation à partir de projets antérieurs au niveau local ou transnational c. modèle financier (sources de financement diversifiées, projet correspondant à une partie d'opération plus vaste...) d. forme des résultats attendus du projet

Notation de 0 à 3: 0: aucune correspondance avec le critère ou critère non renseigné 1: faible correspondance avec le critère 2: bonne correspondance avec le critère 3: excellente correspondance avec le critère Coefficient de pondération :

- pré-candidature et candidature - documents justificatifs et statutaires des organisations partenaires - participation à d'autres projets, sur le programme MED, d'autres programmes et/ou des programmes antérieurs

1bis) Niveau d'innovation du projet (projets "innovants"): * a. genèse et historique du projet b. degré de nouveauté ou d'innovation apporté par rapport à une pratique, un produit ou un procédé antérieur (par rapport au territoire considéré et/ou aux pratiques/équipements du secteur considéré...) c. modèle financier (sources de financement diversifiées, projet correspondant à une partie d'opération plus vaste...) d. forme des résultats attendus du projet


- pré-candidature et candidature - documents justificatifs et statutaires des organisations partenaires - documents ou expertises de référence (secteur, innovation)

1ter) Projets avec une approche thématique spécifique (projets "atypiques"):* a. pertinence de l'originalité du positionnement thématique b. apport au programme de ce positionnement atypique c. impact du positionnement sur le modèle financier et la forme des résultats attendus du projet


- pré-candidature et candidature - documents justificatifs et statutaires des organisations partenaires - documents ou expertises de référence (sectorielle, thématique)

Dim

en

sio

nn

em

en

t b

ud

géta

ire

1) Adéquation des moyens et des ressources pour atteindre les objectifs du projet a.par rapport aux capacités financières/techniques des partenaires b.par rapport aux standards de la thématique et/ou du secteur de réalisation du projet c.cohérence avec les modalités de réalisation des activités et de production des résultats du projet


- pré-candidature et candidature - documents justificatifs et statutaires des organisations partenaires - indicateurs du projet et du programme

2) Cohérence avec le niveau de consommation de la mesure du programme par rapport au nombre et à la dimension des projets tels que mentionnés dans les indicateurs/critères... du PO


- pré-candidature et candidature + annexes - indicateurs du projet et du programme


52



3) Coût-efficacité du budget par rapport à la forme des résultats du projet a. lisibilité de l'effet levier attendu du résultat du projet (en valeur ajoutée financière, opérationnelle, technique…) b. traçabilité de l'affectation budgétaire aux résultats


- pré-candidature et candidature - indicateurs du projet et du programme

Pro

cess

us

de

sé

lect

ion

du

pro

jet

1) Importance des modifications apportées entre les phases 1 et 2 du processus de sélection: a. modifications du partenariat : maintien des caractéristiques du nouveau partenariat/objectif du projet b. modifications budgétaires en cohérence avec le maintien des objectifs c. modifications du plan d'activité / maintien des objectifs du projet

Notation de 0 à 3: 0: modification radicale risquant de dénaturer le projet 1: modification importante 2: modification faible 3: aucune modification - le projet est conforme aux attentes

- pré-candidature et candidature (incluant version modifiée) - rapports d'instruction

2) Notation du projet en phase 1 a. correspondance avec grille d'évaluation/critères de sélection PO b. correspondance avec les spécificités de l'axe/objectif sollicité

Notation de 0 à 3: 0: aucune correspondance avec le critère ou critère non renseigné 1: faible correspondance avec le critère 2: bonne correspondance avec le critère 3: excellente correspondance avec le critère

- pré-candidature et candidature - rapport d'instruction

3) Notation du projet en phase 2 a. correspondance avec grille d'évaluation/critères de sélection PO b. correspondance avec les spécificités de l'axe/objectif sollicité


- pré-candidature et candidature - rapport d'instruction - notification et convention

4) Représentation d'une candidature après rejet initial** a. Amélioration quantitative et qualitative de la candidature b. prise en compte des remarques initialement formulées lors du rejet


- pré-candidatures et candidatures successives - rapports d'instruction successifs - notifications successives et convention

* Choix du critère en fonction de la typologie du projet

** Prise en compte uniquement en cas de projets entrant dans le champ du critère


53

3/Liste des projets sélectionnés

Le tableau ci-dessous présente les projets sélectionnés.

Acronyme Type de projets et forme des résultats A/M

2008 Teenergy schools Innovation/bonnes pratiques 2.2

C.U.L.T.UR.E Réseau 4.2

Rururbal Réseau/bonnes pratiques 4.1

Medgovernance Réseau / recherche 4.1

SOSTENUTO Innovation/transfert de méthodes (atypique)

1.1

ZERO WASTE Innovation/transfert de méthode 1.1

FORET MODELE Réseau/bonnes pratiques 1.1

2009 MEDPAN NORTH Réseau/mise à niveau 2.1

In.FLOW.ence Innovation/transfert de méthodes 4.1

R&D Industry Réseau/bonnes pratiques 1.1

MAREMED Réseau 2.1

TOSCA Réseau/bonnes pratiques 2.3

CYCLO Innovation 3.1

METHODE DES ENTRETIENS

L’analyse des projets sélectionnés par l’échantillonnage est faite sur la base d’entretiens. Dans

l’évaluation 2010, ces entretiens ont eu lieu avec le chef de file du projet. Par la suite, une participation

à l’une des activités de quelques projets sélectionnés permettra de compléter les premières analyses

issues des entretiens

1/ Le guide d’entretien

Ce guide (cf. annexe) est organisé en plusieurs parties, chacune d’entre elle permettant d’analyser

les points suivant :

Les questionnements sur le projet :

Historique et origine du projet : cette partie a tout d’abord l’objectif de préciser les points

clés de la candidature. Les informations données par les porteurs de projet lors des

entretiens (en dehors des questions de forme liées à la candidature) sur leur projet

permettent indirectement d’évaluer la pertinence des rubriques de la candidature. Dans

cette partie, les porteurs de projet interviewés décrivent également la formation de leur

partenariat (évaluation de la catégorie d’acteurs présents dans le programme et de leur accès

à celui-ci).

Forme des résultats : cette partie permet de catégoriser les résultats attendus par les

partenaires à l’issu de leur projet, au-delà des livrables décrits dans la candidature.

Avancement du projet : cette partie permet de vérifier l’exécution des activités et du budget

par rapport aux prévisions inscrites dans la candidature. La «souplesse » du programme


54

quant à la possibilité d’apporter des modifications (budgétaires ou calendrier), et les

procédures de ces modifications sont examinés dans cette partie.

Pérennisation du projet : cette partie permet aux porteurs de projet de se positionner sur les

modalités de possibles poursuites de leur projet

Les questionnements sur le programme :

Connaissance et compréhension du programme : cette partie permet de comprendre

comment et pourquoi les acteurs interviewés se sont positionnés sur le programme, et donc

indirectement d’évaluer la capacité du programme à attirer les porteurs de projet.

Contacts avec les instances du programme : cette partie permet de définir l’opinion et les

attentes des porteurs de projet interrogés quant aux procédures mises en place par les

autorités du programme (candidature – vie du projet). Elle permet également d’établir un

état des lieux des relations entre les partenaires des projets et les membres du STC en charge

du suivi.

Capitalisation : cette partie permet d’aborder avec les porteurs de projet leurs attentes et

besoins quant aux activités de capitalisation proposées aux projets par le programme. Elle

permet également aux partenaires interrogés de donner un avis « général » sur ce que pourra

être une prochaine génération du programme.

2/ Les modalités de l’entretien

L’entretien est réalisé auprès du chef de file du projet, dans les locaux de son organisation. Sont

présents le coordinateur technique ainsi que le coordinateur administratif et financier. La présence de

ces deux représentants est en effet essentielle pour le suivi du guide d’entretien.

L’entretien dure entre 2h30 et 3h30 (hors participation à des activités). Nous rappelons au début de la

réunion les objectifs et méthodologie de notre mission, et précisons que l’entretien est anonyme. Ainsi

dans ce rapport, le positionnement des différents porteurs de projet sur les points clés définis plus bas,

n’est jamais relié à un projet précis.

Malgré le guide d’entretien qui nous a servi de base, il s’agissait d’un entretien « ouvert », et ceci afin

d’obtenir un maximum d’informations analysables. Beaucoup de partenaires avaient préparé

l’entretien par des notes. Les entretiens autant que possible se sont déroulés dans la langue des

partenaires afin de faciliter la participation de toutes les personnes présentes à la discussion.


55

ANALYSE DE LA “VIE DU PROJET”

Méthode de lecture de la grille d’analyse :

Les analyses des points B, C et D sont réalisés à partir du tableau suivant

Points clés Points forts/attentes Points faibles/améliorations possibles

Un point clé est un élément fondamental pour le porteur de projet interviewé; il s’agit d’un élément dont le partenaire pense qu’il a une importante valeur dans son argumentaire. Cet élément devient un point clé pour l’évaluation quand il est abordé dans plus du quart des entretiens.

Il s’agit ici des réponses apportées par le programme que le partenaire juge comme pertinentes pour l’avancée du projet. Pour le partenaire, leurs attentes sont des compléments à apporter par le programme pour renforcer ces points forts. Sont reportés dans les tableaux de synthèse seuls les points forts significatifs (relayés par plus du quart des porteurs de projets interrogés) et ceux où les informations ont pu être consolidées par les analyses de la partie « évaluation programme »

Il s’agit ici des réponses apportées par le programme que le partenaire juge insuffisantes ou inadaptées pour l’avancée du projet. Le partenaire s’est ensuite positionné sur les améliorations nécessaires que le programme doit selon lui mettre en œuvre pour pallier à ces points faibles. Sont reportés dans les tableaux de synthèse seuls les points faibles significatifs (relayés par plus du quart des porteurs de projets interrogés) et ceux où les informations ont pu être consolidées par les analyses de la partie « évaluation programme »

1/ Les points clés sur la candidature, gestion du projet, suivi par les porteurs de projet et les autorités du programme : positionnement des porteurs de projet.

Analyse du processus général du projet, du montage de la candidature (formation du partenariat,

choix du programme Med…) à l’exécution des activités en passant par la gestion (financière et

technique) du projet.


Choix du programme MED (stratégie du programme, procédures, exigence d’éligibilité)

Programme cohérent en termes de zones éligibles. Par rapport à d’autres programmes de coopération, il permet de mettre en œuvre des activités plus opérationnelles sur le terrain.

Espace intéressant pour pallier au manque d’études communes aux problématiques méditerranéennes dans certaines thématiques

Points forts « circonstanciels » : quand le programme est adapté temporellement et géographiquement (zone d’éligibilité)

Stratégie et objectifs communs pour les partenaires de l’espace MED, ce qui en fait un programme pertinent sur la zone ; mais caractéristiques des EM très différentes qui complexifient parfois la mise en œuvre des projets.

Exclusion de certains partenaires de structure modeste, du fait de devoir avancer les fonds. Absence d’avance pénalisante. Certains partenaires vont peut être devoir avoir recours à un prêt.

Rigueur et lourdeur des procédures en règle générale, qui sont un frein pour certains partenaires. Cette lourdeur des procédures est présentée comme une des raisons du choix de certains partenaires jouant le rôle de « spécialiste » ou « d’interface » entre le programme et le partenariat.

Pas de référence, manque de clarté sur l’éligibilité des dépenses.

Décalage entre la procédure des pays IPA et les procédures inhérentes à l’utilisation des fonds FEDER par les pays tiers ; ce décalage n’encourage pas la coopération avec les pays tiers contrairement à la volonté affichée.


56


Partenariat Utilisation de la base de données proposée par le programme pour la recherche de partenaires. Base de données à actualiser

Partenaires Med Ouest plus pertinents pour expérimenter des cadres de coopération renforcés. Obligation d’élargir un partenariat parfois déjà constitué pour satisfaire les conditions de l’éligibilité géographique et de la représentativité. Peu d’informations sur l’éligibilité des partenaires en phase de montage de candidature

Candidature (forme de la candidature, et le processus de sélection en 2 phases)

Intérêt des 2 phases pour mieux définir le projet (des macros aux micros objectifs)

Difficulté de montrer les résultats concrets du projet dans certaines parties du formulaire, trop de synthèse à cause de la limitation des caractères. Le projet devient donc un « projet à la table » En règle générale, complexité de Présage, des règles et outils mis à disposition par les autorités du programme pour la phase de dépôt des candidatures. Processus de sélection trop long Manque de critères d’évaluation pour la transparence du processus de sélection. Manque d’experts techniques ou scientifiques sur la sélection


Suivi du projet (gestion via Présage, suivi et contact avec les membres du STC)

Bonne disponibilité des membres du STC, réponses rapides pour la résolution de problèmes.

L’outil Présage facilite le suivi quotidien du projet et la consommation des partenaires

Difficulté de s’adapter à un nouvel outil de gestion pour chaque programme. Nécessité d’harmoniser les outils de gestion.

Trop de détails redondants demandés dans les rapports d’activités.

Les partenaires, et surtout le chef de file passent plus de temps sur la gestion que sur les activités techniques. Les petits projets (petits budgets) sont notamment pénalisés par les coûts de gestion qui sont les mêmes pour tous les projets.

Pas d’accès aux outils de suivi financier par les partenaires.

Inefficience du système de certification, différent d’un Etat Membre à l’autre, surtout pour les Etats Membres dans lesquels l’Etat participe au processus de certification.

Contradiction entre le délai des structures publiques et la rigidité des règles du STC concernant le paiement des factures et les remontées de dépenses

Peu de participation du STC aux activités du projet


57


Budget (nature et plafonnement des lignes budgétaires, équilibre entre partenaires, modifications)

Possibilité de modifier le budget, d’adapter l’exécution financière à la réalité de l’exécution des activités

Budget artificiel parfois à cause des exigences de l’équilibre du partenariat.

Possibilité limitée de financer des actions concrètes

Le plafonnement à 40% des ressources humaines n’est pas compatible avec la réalisation des activités exclusivement en interne par le partenaire

2/Croisement avec les analyses « programme »

Choix du programme et partenariat :

Il apparaît que le choix de se positionner sur le programme MED pour les porteurs de projet est guidé

majoritairement par les préoccupations suivantes :

Coopérations ou a minima connaissance via des réseaux préexistant des partenaires de

l’espace méditerranéen : le programme MED est le territoire le plus cohérent en termes

d’éligibilité géographique pour continuer ou renforcer cette coopération.

Idée qu’un programme de coopération transnational favorise la possibilité de réaliser des

actions « concrètes »

Idée de faire suite à un projet réalisé au cours de la période de programmation précédente

dans le programme MEDOCC. Une majorité des partenaires ont d’ailleurs une expérience

précédente dans cet espace de coopération.

Les partenaires se tournent vers le programme malgré des procédures qu’ils jugent pour la plupart

longues et complexes. Ces procédures, si elles sont vus comme un point faible du programme, ne sont

pas pour autant pas une entrave pour les partenaires suffisamment motivés ou dont c’est la fonction

principale dans le projet; elles sont ressenties plutôt comme une caractéristiques communes à tous les

programmes de coopération, même si les différences de procédure (budgétaires, de gestion, de

sélection…) entre programmes et l’adaptation que ces différences impliquent sont parfois mal

comprises.

Si la nature complexe des procédures n’entrave pas la volonté des partenaires de se positionner sur le

programme, la nécessité d’avancer les fonds pour l’exécution financière du projet est vue pour la

majorité des partenaires comme un handicap certain, voire un frein pour l’accès de certains acteurs

au programme. L’absence d’avance au démarrage du projet est ainsi regrettée. Dans des cas de

difficulté financière extrême, certains partenaires sont contraints de quitter le partenariat ou de

recourir à des solutions financières « de secours » (recours à l’emprunt pour pallier à l’avance).

La formation du partenariat n’est pas une étape problématique du montage du projet pour une

grande partie des porteurs. Dans la majorité des cas, au sein d’un partenariat, une partie des

partenaires se connaissent en amont du projet (appartenance à un même réseau, projet antérieur

réalisé entre eux). La recherche de partenaires complémentaires se réalise en général grâce à un des

membres du groupe initial ; quand ce n’est pas le cas, la base de données mise en place par le

programme sur son site Internet est jugée comme un outil efficace pour se mettre en relation avec

d’autres partenaires potentiels.

Lorsqu’un partenariat est déjà formé, la nécessité de l’élargir pour répondre aux exigences de

représentativité prévues par le programme est souvent vue comme un frein pour la mise en œuvre


58

efficace du projet. En effet dans ce cas de figure, l’ajout d’un nouveau partenaire n’apporte aucune

plus-value au projet, il s’agit plus d’un partenariat de complaisance.

Budget et candidature

Plus que l’enveloppe globale attribuée au projet, c’est la répartition du budget entre les différentes

lignes qui est mise en question par une majorité des partenaires. Le niveau de détail demandé dès la

candidature est vu comme difficile à atteindre, voire parfois irréaliste quand un projet dure 2 ans et

plus. Le budget d’une candidature est ainsi souvent vu comme un artifice, une obligation formelle.

Le plafonnement de certaines lignes est souvent ressenti comme une contrainte. La limite des 40% à

ne pas dépasser pour la ligne des ressources humaines est notamment vue comme incompatible pour

un projet dont les activités sont toutes exécutées en interne chez les partenaires.

Toutefois, le caractère formel du budget est contrebalancé par la possibilité prévue dans le

programme de procéder à des modifications. La procédure de celles-ci est perçue par la majorité des

partenaires comme étant souple et facile d’accès.

La candidature et le processus de sélection sont majoritairement remis en cause. Si le processus de

sélection en 2 étapes permet, selon certains partenaires, de définir de façon satisfaisante les activités

et objectifs (maturation du projet entre les partenaires grâce à ces 2 phases), la forme de la

candidature n’est pas satisfaisante pour la majorité des partenaires. Elle ne permet de rendre compte

du caractère concret d’un projet, et ne donne pas la possibilité aux partenaires de développer le cadre

logique de leurs activités. Ceci est vrai à cause de la nature des informations demandées mais

également à cause de l’obligation formelle de limiter le nombre de caractères. Pour une grande partie

des partenaires, la candidature ne s’adapte pas au projet, c’est au contraire au projet de s’adapter à

la candidature. L’utilisation de l’outil PRESAGE pour la mise en ligne des informations est perçue

comme une contrainte technique supplémentaire et une perte de temps par certains.

Au-delà de la candidature, c’est le processus de sélection qui pose problème à la majorité des

partenaires. Trop long, il est également vu comme peu transparent, notamment à cause du manque

d’informations que reçoivent les porteurs de projet dans cette phase. L’évaluation des projets est

ressentie comme formelle, la majorité des partenaires regrettent qu’il n’y aucune réelle évaluation

technique de leur candidature. Quelques projets remettent en cause la capacité des gestionnaires du

programme d’être compétents ou simplement informés sur tous les thèmes traités par le programme.

Suivi et gestion du projet

La majorité des partenaires considèrent la gestion du projet trop lourde, les activités inhérentes à

cette gestion prenant souvent trop de temps au détriment des réalisations techniques. C’est surtout le

processus de remontée et de validation des dépenses qui est ici visé.

Cette lourdeur est la plupart du temps attribuée à l’outil Présage. Si les chefs de file des projets

reconnaissent que l’outil permet une gestion financière transparente et un suivi efficace de l’exécution

du budget de leurs partenaires, l’utilisation même de l’outil est contraignante et techniquement peu

évidente. C’est un temps supplémentaire attribué aux activités de gestion, d’autant plus que la mise

en ligne des informations budgétaires ne remplace pas l’obligation de fournir ces éléments sous un

format « papier ».

La longueur du processus est aggravée par le système de certification différent d’un Etat Membre à un

autre. Cette différence créé un décalage entre les partenaires, certains pouvant se trouver pénaliser

de devoir attendre que l’ensemble des dépenses du partenariat soient validées (même s’il est possible

via PRESAGE de procéder à des demandes de paiement différées).


59

Si la gestion est souvent problématique, tous les partenaires s’accordent pour dire que les membres

du STC sont présents et efficaces pour répondre à leurs demandes et résoudre leurs difficultés dans

cette phase de leur projet. Les partenaires se sentent soutenus dans leurs possibles interrogations.

Néanmoins, ils regrettent que ce suivi soit majoritairement centré sur le suivi financier ou formel de la

candidature. Il manque selon les partenaires une implication des autorités du programme dans leurs

activités, et il manque surtout une évaluation technique de leurs résultats. Pour la moitié des projets,

un membre du STC est venu participer une fois au moins à un Comité de Pilotage. Cette présence a

permis de résoudre des difficultés ou questionnements liés à la gestion, mais les partenaires ont

ressenti un manque d’intérêt de la part du membre du STC présent quant aux contenus techniques du

projet.

ANALYSE DE LA COMMUNICATION

1/ Les points clés sur la communication du programme (activités et outils de communication) : le

positionnement des porteurs de projet interrogés


La communication mise en place par les autorités du programme à destination des porteurs de projet (site web, sollicitations du STC)

Demandes régulières d’informations par le STC en vu de communiquer sur les projets.

Site web peu actualisé, notamment pour la section projet

Site web qui s’apparente plus à un outil de communication sur le programme qu’à un outil de promotion des projets.

Les évènements (type évènements annuels) de communication organisés par le programme

Evènements qui permettent aux projets d’être visibles via l’organisation d’exposition

Evènements auxquels les porteurs de projet assistent peu. Le type d’interventions et de débats sont en règle générale peu en adéquation avec les préoccupations des partenaires

Les manuels et guides mis à disposition par les autorités du programme (opinion sur les messages diffusés par ces outils)

Multiples outils existant pour accompagner les porteurs de projet tout au long de la vie du projet.

Guides et « fact sheets » qui ne pallient pas toujours à la complexité des procédures du programme.

Pas toujours de connaissance de ces guides

2/ croisement avec les analyses « programme »

Le site web du programme

La majorité des partenaires ne consultent pas ou que très rarement le site du programme. De manière

générale, le site est vu comme ne communiquant pas assez sur les projets. La base de données projet

n’est pas assez alimentée, et les informations sur les projets (diffusion de leurs activités, de leurs

résultats) peu visibles. Le site est ainsi vu comme un outil de communication sur le programme, et non

sur le projet. Et même lorsqu’il s’agit d’informations sur le programme, celles-ci sont perçues comme

insuffisantes pour les porteurs de projet.

Les évènements de communication organisés par le programme

Environ un quart des partenaires interrogés ont déjà assisté à un évènement annuel organisé par le

programme. Ces évènements sont pour les porteurs de projet une bonne occasion de se rendre plus

visible au sein du programme, notamment quand ils participent aux expositions. Néanmoins, au-delà


60

de ce moment d’exposition, les thématiques débattues lors de ces évènements paraissent

déconnectées des préoccupations des projets et trop centrées sur la gouvernance du programme.

Guides mis à disposition par le programme

Bien qu’ils soient téléchargeables sur le site web du programme, la majorité des partenaires a peu de

connaissance de l’existence de ces guides. Ils n’ont pas le réflexe d’aller systématiquement consulter le

site. L’avis des partenaires sur ces outils d’aide à l’exécution du projet est partagé. S’ils sont un appui

notamment pour l’utilisation de Présage ou le processus de remontée de dépenses, ils restent vagues

sur des procédures plus complexes (pas de définition suffisamment claire de l’éligibilité des dépenses

notamment).

ANALYSE DE LA CAPITALISATION

1/Les points clés des attentes des porteurs de projets et leur positionnement


Intérêt pour les porteurs de projet de mettre en place des activités de capitalisation

Importance de la diffusion, pour s’assurer de la dissémination de la méthodologie et actions pilotes sur des territoires autres que ceux du partenariat

Partage sur les bonnes pratiques et les erreurs à ne plus commettre

souhait d’avoir une liste de projets similaires

Attente d’outils méthodologiques pour assurer une capitalisation « utile » pour le projet

Importance de la capitalisation locale et régionale pour la diffusion des résultats, avant de mettre en place une capitalisation entre projets.

Attention à ne pas capitaliser pour diffuser des résultats sans penser à une plus value pour les projets

Les évènements de capitalisation organisés par le programme

Attente ; un évènement regroupant des tables rondes de différents programmes pour discuter sur la même thématique et discuter à propos des futurs programmes

Evènements organisés par le programme peu adaptés, difficulté de partager efficacement avec d’autres projets

2/Croisement avec les analyses « programme »

A ce stade, les activités de capitalisation des partenaires ne sont pas encore mises en œuvre.

Néanmoins, la majorité des partenaires ont déjà une idée de ce que devrait être une capitalisation

utile pour les projets.

La moitié des porteurs de projet pensent que la capitalisation doit d’abord être une diffusion des

résultats du projet au niveau local et régional chez chaque partenaire, avant d’être un partage des

résultats entre les projets. En effet, le transfert des méthodes développé au cours du projet au niveau

régionale semble être un gage de réussite pour la majorité des porteurs de projet.

Néanmoins, ils perçoivent également à ce stade l’utilité d’une capitalisation basée sur le partage de

résultats entre projets du programme. Cependant la majorité des partenaires ne connaissent que très

faiblement d’autres projets du programme qui se positionnent sur la même thématique. Il apparait

que cette méconnaissance appelle un effort de la part du programme pour mettre en place des outils

favorisant l’interaction des projets. Quant à la forme que doit prendre ce partage de résultats, un

évènement dédié à la capitalisation type « forum des projets » paraît intéressant pour les partenaires,

à condition qu’il y ait une réelle plus-value pour le projet.


61

CONCLUSIONS

Les appréciations portées par les partenaires des projets sont par nature différentiés et parfois comporte aussi

des contradictions. En résumé nous pouvons retenir les éléments suivants :

La candidature est majoritairement un moment jugé difficile, d’adaptation du projet à une forme de

candidature fortement critiquée. Plus le projet est complexe ou innovant dans son partenariat ou ses activités

par exemple, plus difficile est cette adaptation. La standardisation d’une même forme pour tous les thèmes et

tous les types d’activités crée de fortes distordions entre la candidature et la réalisation du projet.

L’appui apporté par les gestionnaires du programme et particulièrement le STC est très apprécié dans sa

mission de suivi des projets. La complexité due au « cumul » des règles du programme et des règles nationales

(particulièrement dans les Etats Membres où la certification est centralisée) est considérée comme un

investissement temps trop important par rapport aux activités des projets. Cette situation entraine parfois le

recours à des partenaires dont la mission principale est la « gestion » du projet. Le système PRESAGE est plutôt

vécu comme un élément de facilitation pour le suivi.

Beaucoup d’attentes sont perceptibles concernant la communication au niveau du programme,

particulièrement par des partenaires « nouveaux » dans le programme. Beaucoup de projets considèrent avec

regret que le website reste trop orienté vers la gestion.

Les attentes concernant la capitalisation sont très grandes. Elles manifestent un besoin pour les projets de

« sortir » de rapports trop marqués par la gestion au niveau du programme. Les projets veulent se faire

connaitre, voire parfois reconnaitre, en mettant en valeur leurs résultats.


62

ARTIE 4: SYNTHESES

RECOMMANDATIONS


63

RAPPEL METHODE

La présente analyse est basée sur :

L’hypothèse d’évaluation première de cette évaluation in itinere, la recherche des interdépendances

entres les projets et le programme MED. Cela signifie que les projets n’ont pas été évalués ici

seulement par rapport à leur pertinence vis-à-vis des attentes du programme, mais aussi comme une

déclinaison des atouts et faiblesses du programme.

L’évaluation des projets, sélectionnés selon la méthode décrite dans les documents précédents

(projets classiques car les projets stratégiques n’avaient pas encore été sélectionnés en 2010)

L’analyse de l’ensemble du processus de mise en œuvre du programme et les entretiens avec les

autorités nationales.

Une analyse documentaire et une comparaison avec d’autres programmes

Le programme MED comporte quelques caractéristiques, ou constats, que l’on peut résumer par les points

suivants :

La présence d’un public cible dans la zone MED, important, divers et ayant le plus souvent une

expérience forte, acquise dans les programmes précédents. Cet élément a été un atout dans la mise

en œuvre du programme et d’une partie des projets. A l’opposé le taux de « renouvellement » des

acteurs engagés reste faible par rapport aux programmes précédents malgré des thèmes de

coopération nouveaux. Le nombre de candidature a été très important provoquant des difficultés dans

le processus de sélection (particulièrement en 2008)

Les objectifs souvent très généraux du programme ont provoqué des attentes assez vagues parfois

peu réalistes de ce que le programme interreg permet ou pas. Cette situation risque de créer une

difficulté de la mesure des résultats in fine.

La dimension d’échange entre les gestionnaires du programme s’est particulièrement manifestée au

cours de la phase de lancement des appels à projets « stratégiques ».

Les efforts importants des organes de gestion du programme ont permis une maitrise de la situation

dans les deux premières phases d’appels à projets et suivi. Un déséquilibre peut se créer entre la

dimension gestion générale du programme, aux détrimenst d’une analyse et d’un suivi des résultats.

SYNTHESE MECANISMES DE MISE EN OEUVRE DU PROGRAMME

Le processus général de mise en œuvre du programme peut être caractérisé en 3 grandes phases :

1. L’obligation de moyens

La phase de candidature, appel à projets et sélection peut être définie comme la démonstration d’une

obligation de moyens à laquelle sont soumis les projets. L’ensemble de l’argumentation que doivent faire les

candidats peut se résumer ainsi.

La phase 2 de la sélection renforce cette idée car en plus d’une « démonstration » sur le thème choisi, les

candidats doivent rajouter les éléments nécessaires pour justifier de leur capacité à réaliser les activités du

projet. La démarche initiée dans les appels à projets stratégiques va d’ailleurs dans le même sens en

demandant plus de précisions (description).


64

Cette démonstration ne s’accompagne pas par exemple d’une analyse de la pertinence du choix de chaque

partenaire en fonction de sa compétence vis-à-vis des sujets traités.

Cette phase pour les projets « classiques » a été entièrement réalisée par le STC avec un processus de

consultation des autorités nationales.

2. L’obligation de conformité

C’est l’élément qui caractérise la démarche de suivi. L’ensemble des moyens développés pour le suivi des

projets tend à aider les projets à être en conformité avec les règlements en vigueur, les contrôles éventuels et

parfois avec la démarche décrite dans la candidature.

Ces caractéristiques sont essentiellement celle d’un STC dans sa fonction « secrétariat de gestion ». Cette

partie du travail est particulièrement apprécié par les partenaires des projets

3. L’absence d’obligation, ou de suivi, des résultats.

Les résultats attendus du projet font l’objet d’une démonstration dans la candidature, mais ne font pas l’objet de suivi ni de contrôles spécifiques. Contrairement aux deux premières phases, celle-ci n’est pas « internalisée » par les gestionnaires du programme, mais en partie externalisée dans la démarche de « capitalisation » confiée pour la plus grande partie à des prestataires externes à ce stade du programme. Ces 3 composantes orientent, selon nous, les voies de progrès et les recommandations pour le programme. Les partenaires des projets ont bien compris ces 3 piliers et la valeur relative qui va être donné à chacun :

Les candidatures sont souvent organisées comme une mise en « conformité » avec la démonstration

de moyens demandée. Par exemple, le nombre de partenaires en mesure de bénéficier des résultats

est augmenté de quelques partenaires nécessaires pour un affichage compatible avec une couverture

géographique méditerranéenne. Cet élément peut expliquer en partie le fait que l’on trouve dans des

projets sur des thèmes différents les mêmes partenaires, particulièrement dans les plus petits des

Etats Membres de la zone MED.

Les thèmes et travaux réels du projet sont parfois « noyés » dans un discours sur la gouvernance, ou le

polycentrisme. Le budget est « ramené » à un montant moyen jugé « conforme ».

Pour la phase de réalisation, les projets se mettent en conformité avec les obligations de gestion et

avec les règles nationales qui s’imposent. Malgré le poids de ces procédures, nous pouvons noter que

pour la majorité des projets regroupant des partenaires très consommateurs de programmes

Interreg, elles ne semblent pas un handicap insurmontable.

Pour la phase de résultats ; les projets (particulièrement ceux qui ont une démarche

d’expérimentation/innovation) adaptent autant que possible les avancées et les acquis aux éléments

déclaratifs de la candidature, d’où des écarts importants.

Pour la communication, généralement les initiatives émergent plus en phase de réalisation qu’au

moment de la candidature.

Ensuite, les projets qui souhaitent partager leur expérience cherchent dans INTERACT, la capitalisation

MED ou d’autres instruments, un écho à leur travail.

Il ne s’agit pas ici de dire que les projets atteignent ou pas leurs objectifs et leurs résultats.

Du fait de l’absence d’un suivi des résultats et d’un encadrement de la capitalisation, c’est

l’improvisation qui domine.

Les partenaires des projets sont aussi en attente d’une reconnaissance de leurs résultats. C'est-à-dire

qu’ils souhaitent que leurs travaux soient mis en valeur par des experts ou autres instances

scientifiques. Une certaine frustration né du fait que la majorité des échanges avec les organes du

programme soit « réduit » à des problèmes de gestion.


65

ANALYSE DE LA CORRESPONDANCE PROGRAMME/PROJETS

L’étude spécifique du couple « thématique de projet / résultats attendus et forme des résultats » fait

apparaître 3 catégories, chaque catégorie ayant des besoins propres concernant les 3 phases décrites

précédemment, candidature/suivi/résultats.

Les énergies renouvelables, les TIC par exemple, appartiennent, le plus souvent, à la catégorie des projets que

l’on peut classer dans le groupe « innovation, projets pilotes ». Leur démarche est majoritairement une

démarche d’expérimentation. L’absence de processus de suivi et de capitalisation/mutualisation des résultats

efficaces représente une perte de valeur ajoutée du projet, répercutée sur le programme.

Dans ce type de projets, la qualité les résultats attendus est directement en relation avec un critère-clef : la

pertinence/compétence des partenaires sur le sujet traité.

Les projets traitant de gouvernance, polycentrisme etc., s’inscrivent dans une logique « d’étude » et de

construction/consolidation de réseau. Leur objectif de résultat est parfois d’aboutir à un « modèle » ou à un

outil de gouvernance (observatoire, vademecum…). Là aussi la plus value, si elle n’est pas encadrée, est perdue

pour le programme.

La troisième catégorie appartient aux thématiques « transversales ». Ce sont les thèmes qui « s’imposent »

dans tout processus de coopération territoriale : la gestion de l’espace, le changement climatique, les risques

naturels. Pour ces thèmes, le besoin principal est l’échange d’expériences et d’informations, qui est très

important pour faire progresser les pratiques locales et mettre en œuvre à l’échelle d’un espace géographique

macro-régional une mutualisation des résultats. Candidater à chaque nouveau programme interreg n’apporte

rien de différent par rapport au programme précédent, le besoin reste le même sur des sujets où l’échange est

plus important que « l’innovation ».

Ces 3 principales catégories de projets nécessiteraient des candidatures, un suivi et une forme de gestion des

résultats différents.

Aujourd’hui le tronc commun unique proposé dans les appels à projets classiques ne permet pas l’expression

des résultats et une capitalisation de valeur ajoutée pour l’espace MED et son programme.

Les travaux engagés pour les projets stratégiques traduisent, pour l’instant au moins en phase de candidature,

d’une amélioration des pratiques.


66

CAPITALISATION, MUTUALISATION, RETOUR D ’EXPERIENCE

Les 3 expressions sont apparues au cours des entretiens avec les partenaires des projets, mais la réflexion peut

être élargie à l’échelle du programme. Aujourd’hui le terme « capitalisation » tel qu’il est utilisé dans les

programmes Interreg recouvre plusieurs sens différents et plusieurs besoins parfois contradictoires.

Cet amalgame contribue, selon nous, à une certaine confusion et une insatisfaction de tous, et rend la réflexion

à l’échelle macro-régionale difficile.

Ces trois termes devraient correspondre à 3 objectifs spécifiques :

(1) L’objectif de « retour d’expérience »

Le besoin pour les gestionnaires du programme et les Etats Membres est d’avoir un véritable « retour

d’expérience » sur l’ensemble de la mise en œuvre du programme et des projets afin d’en tirer les éléments

permettant l’amélioration du programme actuel, et surtout la construction d’un nouveau programme de

coopération. L’évaluation in itinere est un élément permettant ce retour d’expérience au même titre que les

outils de suivi du programme.

(2) L’objectif de « mutualisation »

Pour contribuer à atteindre les objectifs du PO, le programme a besoin d’une démarche permettant « la

mutualisation » des résultats, c'est-à-dire d’instruments permettant de mettre en commun les différentes

productions des projets (plate forme transnationale ?).

Ce besoin existe pour les projets classiques et évidemment devient une exigence forte pour les projets

stratégiques. Par exemple c’est l’ensemble de la mise en réseau des résultats de tous les projets d’un thème

donné qui permettra de savoir si un progrès a été réalisé en matière de sécurité maritime, de dépollution ou

d’énergies renouvelables par exemple.

Les nouveaux projets dans un domaine donné devraient avoir pour exigence de s’appuyer sur ces acquis. De

même, cette mutualisation pourrait servir de base pour une grille d’évaluation technique des futurs projets et

répondre à la question : où et en quoi un nouveau projet contribue à développer un domaine ou le

consolider (cf. paragraphe précédent « pertinence » des projets)?

Aujourd’hui les éléments pour une possible mutualisation existent, mais ils sont dispersés. L’absence de

démarche construite dans ce domaine favorise la répétition des mêmes thèmes de projets aux mêmes endroits

avec les mêmes acteurs d’un programme à l’autre. Cette situation pénalise également l’approche macro-

régionale. Elle pourrait contribuer à en définir les objectifs.

(3) L’objectif de « capitalisation »

La capitalisation28

dans un tel programme a pour objectif direct de garder une « trace » des principales activités

d’une démarche de travail transnationale et si possible de s’en faire l’écho.

Le processus de capitalisation, par différentes méthodes et outils de communication, plaquette, séminaires etc.

contribue à une diffusion, dans un cercle plus ou moins large, de connaissances.

28 Le processus de capitalisation défini par des chercheurs en sciences humaines : L'analyse de l'expérience est ce qui pourrait définir le plus

simplement possible la capitalisation. Plus précisément, c'est ” le passage de l'expérience à la connaissance partageable. ” (De Zutter)

Les objets de la capitalisation. La capitalisation tente de mettre en mots, de définir le contenu d'une expérience. Elle porte donc sur des

activités, c'est-à-dire des actions réalisées par des individus dans un domaine défini. (Laetitia Morlat)


67

Actuellement pour le programme MED, des actions sont engagées dans le domaine de la capitalisation (marché

de prestation) et une réflexion est en cours sur les futurs programmes, assimilable à un processus de retour

d’expérience. L’ensemble du dispositif reste néanmoins à développer fortement.

PROPOSITIONS PRECONISATIONS

PROPOSITION D’ORGANISATION GENERALE GESTION DU PROGRAMME SUIVI DES

PROJETS

Le schéma général d’organisation pourrait être le suivant

Précision sur les termes utilisés :

(1) L’objectif principal de l’instruction sélection pourrait être de pouvoir évaluer la pertinence d’un projet

selon deux questions : les résultats du projet permettent-ils un progrès dans le thème choisit ? Cette

question nécessite une grille d’évaluation faisant l’état de l’art thème par thème de ce que l’on attend

d’un projet interreg. Le partenaire est-il en mesure de réaliser les activités décrites ? pas uniquement

du point de vue des capacités mais de la compétence ? Cette question nécessite aussi une grille faisant

L’absence d’une instance de suivi permettant une réelle mesure de la plus value provoque une répétition d’un programme à l’autre des déficits constatés. Cette dimension semble nécessaire pour conforter le rapport au territoire et définir une pertinence macro-régionale des sujets traités

AUG EM

Instruction sélection

Secrétariat technique

de gestion (4)

Secrétariat technique

d’animation (4)

Objectif :

Pertinence des projets /

thématique (1)

Objectif

Efficacité/efficience (2)

Capitaliser/mutualiser la

plus value des projets (3)

Comité scientifique ou

comité d’orientation (5)


68

le rapport Etat Membre par Etat Membre de l’organisation des compétences (documents existant

dans certains programmes de coopération)

(2) L’objectif de mesure de l’efficacité efficience pourrait être renforcé par une organisation du suivi

intégrant plus de conseils pour l’optimisation des projets. Cette pratique est déjà en cours avec la

participation du STC à certains Comités de Pilotage des projets et dans le suivi fait par l’autorité de

gestion. L’idée est de généraliser le conseil.

(3) L’objectif de capitalisation mutualisation de la plus value des projets pourrait correspondre à une

organisation nouvelle qui associe une expertise en matière de coopération et d’une expertise

scientifique (correspondant aux thèmes des projets). Ces deux expertises ayant pour objectif de

mutualiser les résultats et de permettre de donner aux gestionnaires du programme les éléments pour

un retour d’expérience (cf. paragraphe suivant).

(4) Le secrétariat technique de gestion et d’animation correspond à l’idée de définir, à côté des missions

actuelles du STC, des missions permettant d’apporter un conseil au projet afin d’en améliorer les

résultats.

(5) Comité scientifique ou comité d’orientation. Il s’agit d’accompagner la mise en œuvre du programme

par un travail d’expertise et de mise en valeur du contenu des projets et sortir le programme d’une

image trop fortement marquée par la dimension « gestion ». Cette pratique existe dans plusieurs

programmes européens, et des expériences sont en cours dans Interreg


69

RECOMMANDATION GENERALE

Le schéma suivant à pour objet de faire un lien entre les éléments de synthèse de l’évaluation décrits

précédemment et les objectifs courts (paragraphe suivant) et long terme du programme (préparation d’un

prochain programme).M

D’ici la fin du programme Pour un prochain programme

Constituer un premier comité scientifique à partir des experts

présents dans les projets stratégiques par exemple

Nouvelle organisation des organes de suivi/animation/ communication du

programme

Objectif : Améliorer la

capitalisation/mutualisation, le retour d’expérience

Appel à projet « innovation »

Organiser une plate forme de

mutualisation des résultats par thèmes

(portail internet)

Appel à projet « réseau » ayant pour objectif la création d’outils

Dégager la plus value et la

pertinence pour la mise en œuvre d’un nouveau programme à une

échelle macro-régionale

Appel à projet de type fast track en lien avec instance du programme pour les

thématiques « transversales » (changement climatiques, risques,

gestion du territoire) Ou nouveaux appel stratégiques avec

objectif de gestion partagé d’un thème à

l’échelle macro-régionale (ex sécurité maritime)


70

PRECONISATION A COURS TERME : EVALUATION DES SCENARIOS D’UTILISATION DES

FONDS DISPONIBLES DANS LA DERNIERE PHASE DE PROGRAMMATION

Les propositions qui suivent sont « ouvertes », elles sont rédigées à partir des informations dont nous

disposons à ce jour.

Option 1 : Un ou des appels à projets thématiques ciblés

Concernant les thèmes possibles :

Des thèmes qui complètent les travaux des projets actuels « classiques » et stratégiques mais en

restant dans les objectifs du PO. Par exemple les e-services (télémédecine, formation à distance), le

tourisme durable. Pour favoriser la « plus value » recherchée il faudrait un cahier des charges plus

précis sur le type et la forme des résultats attendus, comme la Commission le fait pour les appels

concernant certaines initiatives européenne « on attend des résultats dans le domaine x pour faciliter

tel type d’activité » Avec des demandes de livrables à minima de type « cahier des charges » pour

mise en œuvre dans d’autres territoires.

Des thèmes s’éloignant un peu des thématiques du PO mais s’inscrivant dans les travaux actuels

européens pour 2014-2020. Par exemple la croissance verte ou la question de la faible densité de

population de certains espaces de montagnes, les iles ? Evidemment les mêmes exigences que dans le

cas précédent sont souhaitables.

Dans les deux cas, la proposition de mise en place d’un comité scientifique ou groupe expert, interne au projet,

ayant une connaissance du domaine traité permettrait de préparer une capitalisation/mutualisation des

résultats. Ce type d’accompagnement permet aussi de s’assurer que l’expérimentation s’inscrit bien dans un

processus conforme à l’état de l’art même si elle est de petite taille.

Option 2 : Abondement budgétaire des projets existants :

Cette option pourrait s’inscrire dans le besoin de mutualisation et de retour d’expérience déjà cité.

Cela signifie que des fonds complémentaires seraient attribués sous réserve de la réalisation de certaines

activités de mise en valeur des résultats ou de mutualisation entre projets. Il s’agirait par exemple de

transformer des observatoires, des protocoles techniques en véritable plateformes d’échange de données

partagées.

D’autres activités pourraient être acceptées si elles contribuent à renforcer une expérimentation en la

dupliquant ou en créant une formation spécifique dans un domaine clef.

La difficulté de cette option réside évidemment dans les critères de choix des projets bénéficiant de cet

abondement: la consommation budgétaire (facteur insuffisant), les thèmes s’ils sont jugés importants pour le

programme (ceux de l’option 1),…

Option 3 : Un appel ciblé sur un thème ayant pour objectif de contribuer à la préparation d’un futur

programme à une échelle macro-régionale.

Dans cette option, 1 ou 2 projets seulement seraient ciblés. La démarche pourrait pour partie s’inscrire dans le

processus de mutualisation / retour d’expérience déjà décrit.

La démarche s’apparenterait à un travail de recherche de type « think tank » (laboratoire d’idées).


71

La difficulté de cette option est de définir les contours du projet, c'est-à-dire travailler à partir de certains

éléments au préalable :

Un travail de prospective sur la zone méditerranéenne permettant de définir des objectifs réalistes

pour des politiques de coopération (une sorte de « document d’application » d’une stratégie court

terme, objectifs opérationnels).

La question de la gouvernance des programmes et des publics-cibles des programmes pour définir les

options d’architecture possibles dans le domaine.

Option 4 : Un dernier appel à projet stratégique

Cette option permettrait d’utiliser les instruments déjà mis en place par le programme. Le thème pourrait être

un thème jugé « manquant » à l’issue de la sélection des premiers projets.

Pour éviter l’affichage trop important d’une dimension « top down », celle-ci pourrait être remplacée par des

exigences dans la construction du partenariat. Par exemple dans le Programme Cadre (recherche) ou d’autres

initiatives européennes, il est précisé que pour être partenaire il faut constituer au préalable un consortium du

type : Chercheurs + Financeurs + Opérateur + Comité d’utilisateur.

Propositions transversales

Quelle que soit les options retenues, 3 propositions transversales nous semble prioritaires car porteuses de

résultats à court terme :

L’organisation d’un suivi scientifique interne aux projets ou sous la forme d’un comité à l’échelle d’un

ou plusieurs thème du programme. Cette proposition pourrait être limitée aux projets stratégiques.

Une réflexion pour la mise en œuvre de plate forme d’échange pour la mutualisation des résultats (à

minima portail internet par thème).

Poursuivre le travail de retour d’expérience concernant la gouvernance et le contenu du programme

en associant les travaux des missions, d’expertise (appel à projets stratégique) de capitalisation,

d’évaluation.


72

PARTIE 5 : ANNEXES


73

GUIDES D’ENTRETIENS

PROJETS

Rappel des objectifs : L’objectif principal est, à partir de ces entretiens de déterminer les éléments concrets de la plus value possible au niveau du projet et du programme. C’est aussi d’adapter les recommandations à venir aux attentes spécifiques. Departing from the enquiries, the goal is to determine the precise elements for a possible surplus value at the project and the program’s level. It is also to adapt the recommendations to come to the specific expectations. Historique / origine du projet

Origine de l’idée, combler un manque ? faire progresser ou partager, une idée, une méthode ? constituer un groupement d’acteurs partageant les mêmes objectifs, les mêmes valeurs ?

Parcours de l’idée au projet (incluant éventuellement poursuite d’un autre projet et sa description)

Partenaires : qui, comment, pourquoi ? Ceux qu’on aurait voulu avoir (ou qui auraient voulu venir) mais qui ne sont pas venus (raisons internes ou externes eg éligibilité)

Qui sont selon vous les acteurs clefs du projet ?

Quel est le partenaire qui a la plus grande expérience dans le thème du projet ?

Project’s history / origin

The idea origin, to fill a need? To improve or to share an idea, a method? To constitute a group of actors sharing the same objectives, the same values?

Project’s idea course (including eventually the pursuit of another project and its description)

Partners: who, how, why? Those that we would like to have (or that would have liked to join the project) but that haven’t followed (internal or external reasons eg eligibility)

Who are according to you the key actors of the project?

Who is the partner who is more experimented on the project’s theme?

Descriptif du projet et forme des résultats/Project’s and form results’ description

Descriptif du projet

Finalité et (forme des) Résultat(s) à court, moyen et long terme (incl. effets induits non prévus…)

Partenaires ? les rôles de chacun ? plutôt gestionnaire, opérationnel, politique, autre ?

Activités-clés

Comment classez-vous le projet plutôt construction ou renforcement d’un réseau ? réalisation d’une expérimentation ? d’un transfert de méthodes ? autre ?

Quel est le résultat qui ferait que le projet peut être considéré comme un succès ? et par qui ? et à quel moment, pendant ou après le déroulement du projet ?

Projects’ description

Finality and (form of) result(s) at a short, medium and long term (including induced unplanned effects ...)

Partners? Each one role? More management, operational, political, other?

Key activities

How do you classify the project, more as a network building or reinforcing? The making of an experiment? Of a methods’ transfer? Other?

What is the result which would make the project to be considered as a success? And by whom? And at what moment, during or after the project’s sequence?

Avancement du projet / Project’s progress

Avancement du projet

activités/planning/budget,

résultats

modifications en cours ou souhaitées…

Project’s progress

activities/planning/budget,

results

current or wished modifications …


74

Pérennisation/Durability

Pérennisation et suite à donner en fin de projet ? projet stratégique ?

autres programmes, à nouveau MED ?

Autres sources de financement ?

autres acteurs ?

Quelle est la plus value principale du projet ?

Durability and sequence to be given at the end of the project? Strategic project?

Other programs, MED again?

Other financing sources?

Other actors?

What is the main surplus value of the project

Connaissance et compréhension du programme MED / Knowledge and understanding of MED program:

Dans quelle circonstances avez-vous connu le programme (quand, comment…),

Que pensez-vous des objectifs du programme.

En quoi votre projet contribue à ces objectifs ?

Le programme actuel est-il différent du précédent ? dans quel domaine ?

In what circumstances have you known the project (when, how...),

What do you think about the program’ goals.

In what way you project contributes to these goals?

Is the current program different from the former one? In what field?

Positionnement sur MED / Positioning on MED

Quel est le critère principal qui explique que vous êtes dans ce programme et pas un autre ? la zone éligible ? les financements ? la durée ? autre ?

Quelle était votre impression de départ et évolution au fur et à mesure du processus de sélection et d’implémentation ? pourquoi

Which is the main criterion explaining that you are in this program and not in another one? The eligible area? The financing? The length? Other?

Which were your departing impression and its evolution as the selection and implementing processes’ gone along? Why?

Contacts avec les instances du programme / Contacts with the program’s entreaties

Modalités : documents, réunions et séminaires, hot line

Utilisation de Présage

interlocuteurs,

fréquence des contacts,

moments-clés : sélection, implémentation, certification…)

Avez-vous des suggestions qui pourraient aider les projets à mieux fonctionner ?

Comment juger vous, vos relations avec les instances de gestion du programme ? avez-vous des éléments de comparaison avec d’autres programmes ?

Modalities : documents, meetings and seminars, hot line

Présage’s use

Interlocutors,

Contacts’ frequency ,

Key moments: selection, implementing, certification…)

Do you have any suggestions which could help projects to work better?

How do you judge your relationships with the program’s management entreaties? Do you have any comparison elements on other programs?

capitalisation projet/programme / Project/program’s alisation

Connaissance/rencontre/partenariat avec d’autres projets MED ? En dehors de MED ?

Suggestions pour aider à la capitalisation du projet ? Dans le cadre du programme ? En dehors ?

Suggestions pour la future génération de programmes INTERREG ?

Knowledge/meeting/partnership with other MED projects? Outside MED?

Suggestions to help the project’s capitalisation? In the program’s frame? Outside it?

Suggestions for the future generation of INTERREG programs?

Documentation et autre information /Documentation and other information

Quels documents pouvez-vous nous donner pour comprendre votre projet ?

A quelle activité pensez-vous qu’il faut participer pour comprendre la plus value de votre projet ?

Which documents can you give to us to make us understand your project?

Which activity do you think that one can attend/participate to understand the surplus-value of your project?


75

AUTORITES NATIONALES

The general objectives of the MED program «national authorities» ‘evaluation inquiry:

1. To have information about the Member State expectations regarding the program and the projects. 2. To collect an opinion regarding the choice of the projects to be assessed (classics and strategies). 3. To collect an opinion about the general modalities of the programs implementation. 4. To have information about the team’s functioning towards the program and/or the projects. 5. To collect the specific expectations regarding the in itinere evaluation

1h30 to 2h30 maximum will be needed (according to the importance of the subjects to be treated). The meeting

can be individual or collective according to the team availabilities and wishes.

Les objectifs généraux de l’enquête évaluation « autorités nationales » du programme MED:

1. Avoir des informations sur les attentes de l’Etat Membre vis-à-vis du programme et des projets 2. Recueillir un avis concernant le choix des projets à évaluer (classiques et stratégiques) 3. Recueillir un avis sur les modalités générales de mise en œuvre du programme. 4. Avoir des informations sur le fonctionnement de l’équipe vis-à-vis du programme et/ou des projets 5. Recueillir les attentes spécifiques par rapport à l’évaluation in itinere

1h30 à 2h30 maximum seront nécessaire (selon l’importance des sujets à traiter). L’entretien peut être individuel

ou collectif selon les disponibilités et souhaits des équipes

The expectations regarding the program and the projects/ Les attentes vis-à-vis du programme et des projets

Which were your main expectations regarding the programme at the MED starting up in 2008? Upon which elements were based such expectations :

Evaluation of the needs and the strategic stakes at the national and regional levels?

Evaluation ex post of the previous program?

Contact with potential partners for future projects

Other

Regarding the projects, did you have any particular expectation?

Quelles étaient vos principales attentes vis-à-vis du programme au démarrage de MED en 2008 ? Sur quels éléments étaient basées ces attentes :

Evaluation des besoins, des enjeux stratégiques au niveau national, régional ?

Evaluation ex post du programme précédent ?

Connaissance des partenaires potentiels pour les futurs projets

Autres..

Concernant les projets aviez vous des attentes particulières ?

Your opinion regarding the projects to be assessed, classics and strategies // Votre avis concernant les projets à

évaluer, classiques et stratégiques

Do you have any specific proposal regarding some projects which could be the subject of evaluation? Do you have any wishes regarding criteria to take into account to build a project panel? For instance:

The project size?

Partner’s category?

Treated subjects?

Expected results type?

History of the project or the partnership?

Management modalities?

Multiple participations?

Avez-vous des propositions spécifiques concernant certains projets qui pourraient faire l’objet de l’évaluation ? Avez-vous des souhaits concernant les critères à prendre en compte pour construire le panel de projets ?, par exemple :

Taille du projet ?

Catégorie de partenaires ?

Sujets traités ?

Type de résultats attendus ?

Histoire du projet ou du partenariat ?

Modalités de gestion ?

Participations multiples ?


76

Your opinion regarding the program’s organisation and management modalities// Votre avis concernant les

modalités d’organisation / gestion du programme

Which are, according to you, the strengths and the weaknesses concerning the program’s main organisation?

The program documents,

The management authority and the JTS,

The management authorities, selection and follow up committee,

The calls for projects,

Projects selection,

Other partner types

The use of an extranet as a managing tool

Other? Which elements could be subject for improvements? And why?

The same presented previously,

Other? Which suggestions could you make to improve the future steps of the program:

The future calls for projects,

The capitalisation phase,

The program’s closure,

For a future program …

Quels sont selon vous les points forts et les points faibles concernant l’organisation générale du programme ?

Les documents du programme,

L’autorité de gestion et le STC,

Les instances de gestion, comité de sélection et de suivi,

Les appels à projet,

La sélection des projets,

Les types de partenaires

L’utilisation d’une plateforme informatique

Autres ? Quels éléments pourraient faire l’objet d’améliorations ? et pourquoi ?

Les mêmes que cités précédemment,

D’autres ? Quelles suggestions pour améliorer les étapes futures du programme :

Les futurs appels à projet,

La phase de capitalisation,

La clôture du programme,

Pour un futur programme…

Which is your team’s organisation for this program// Quelle est l’organisation de votre équipe pour ce

programme

How is your team organised for the follow up of the program and/or the projects:

Concerning the advice to give to the projects carriers,

Concerning the opinions about the applications,

The participation into committees,

For the communication about the project, information meetings, etc.

Projects visiting?

Other?

Comment votre équipe est organisée pour suivre le programme et/ou les projets :

Concernant le conseil aux porteurs de projet.

Concernant les avis sur les candidatures,

La participation aux comités,

A la communication sur le programme, réunions d’informations etc.

Visites de projets ?

Autres ?

Which are your expectations concerning the evaluation in itinere// Quelles sont vos attentes concernant

l’évaluation in itinere

Which are your specific expectations regarding the evaluation:

To assess a specific question, concerning the program or the projects,

The potential impact of some projects’ results,

To direct the future calls for projects?

Other …

Quelles sont vos attentes spécifiques par rapport à l’évaluation :

Pour évaluer une question spécifique, concernant le programme ou les projets,

L’impact potentiel des résultats certains projets

Pour orienter les futurs appels à projet ?

Autres…


77

STC /AUG- JTS /MA

ENTRETIENS AVEC STC/ INTERVIEWS WITH JTS

Chargés d’instruction et de suivi des projets / In charge with instruction and follow-up of the projects

Instruction des projets

Quels ont été la communication et l’appui apportés aux porteurs de projets (temps passé à cette tâche et moyens mis en œuvre) ?

Quelle forme prend l’appui aux porteurs de projet pour la pré-candidature et entre les deux phases ?

Comment ont été élaborés les critères de notations ?

Quels ont été les principaux motifs de refus ?

Comment se déroulait la prise en charge des candidatures à évaluer par les instructeurs ? Comment s’échangeaient les avis croisés entre les instructeurs sur un même dossier ?

Pourquoi y a-t-il eu le choix d’organiser la phase de candidature en 2 phases?

Quels ont été les retours des porteurs de projet sur le processus mis en place pour la candidature et l’instruction ?

Quid des projets stratégiques?

Quelle expertise pour l’instruction? Quels sont les outils pour l’expertise? Quel processus de vérification (compétences des partenaires...ect..) ?

Quels ont été les liens avec les Autorités nationales au cours du processus d’instruction?

Avez-vous des remarques/avis sur les autres missions du STC (suivi des projets, suivi financier, communication)

Instruction of the projects

Which were the communication and the support brought to the carriers of projects (time spent to this task and means implemented)?

Which form takes the support with the carriers of project for the pre-candidature and between the two phases?

How the criteria of notations were elaborate?

Which were the principal reasons for refusal?

How was held the assumption of responsibility of the applications to be evaluated by the instructors? How were the opinions crossed between the instructors on the same file exchanged?

Why the choice was made to organize the applications’ phase in 2 phases?

Which was the feedback of the project carriers on the process set up for the application and the instruction?

Quid of the strategic projects?

Which expertise for the instruction? Which are the tools for the expertise? Which process of checking (competences of the partners… etc.)?

Which were the bonds with the national Authorities during the process of instruction?

Do you have remarks/opinion on the other missions of the JTS (followed projects, financial follow-up, and communication)?

Suivi des projets

Quelle est votre définition du suivi ?

Quelles sont les procédures mises en place ? quels sont les principaux outils de suivi ? quelles sont les modalités d’utilisation de ces outils?

Quelles sont les procédures mises en place pour l’animation collective (ré unions…)? Quelles sont celles mises en place pour le suivi individuel ?

Participez-vous à des activités de projets ? Qu’apprenez-vous lors de ces activités ? Faites-vous une intervention au cours de cette participation ?s’agit-il seulement d’une participation « auditeur » ?

Quelle aide apportez-vous à la résolution de problèmes des porteurs de projets ? lesquels ?

Quel retour d’expérience sur les demandes des porteurs de projet ? Quelle capitalisation/mise en commun entre les membres du STC si les demandes sont faites de manière répétée ?

Comment se réalise l’actualisation des infos sur le site (FAQ…) et à quelle fréquence ?

Comment est organisée l’évaluation (suivi des indicateurs) ?

Avez-vous des remarques/avis sur les autres missions du STC (instruction des projets, suivi financier, communication)

Follow-up of the projects

Which is your definition of the follow-up?

Which are the procedures implemented? Which are the principal tools of follow-up? Which are the methods of use of these tools?

Which are the procedures implemented for collective animation (meetings…)? Which are those implemented for the individual follow-up?

Do you take part in activities of projects? What do you learn at the time of such activities? Do you make an intervention during this participation? Is it only about participation as a “listener”?

Which help do you bring to the resolution of problems carriers of projects? Which ones?

Which experience feedback on the requests of the carriers of project? Which capitalization/shared between the members of the JTS if the requests are made in a repeated way?

How the actualization of the information is carried out on site (FAQ…) and at which frequency?

How the evaluation is organized (followed indicators)?

Do you have remarks/opinion on the other missions of the JTS (instruction of the projects, financial follow-up, and communication)?


78

Suivi financier

Le responsable financier a-t-il pris part à l’évaluation des budgets lors de la phase de la sélection ?

Quels sont les problèmes les plus récurrents ?

Quel est le délai pour le remboursement Feder après réception des demandes de paiement ?

Quel temps vous paraît-il nécessaire pour un porteur de projet, en terme de gestion ?

Quelles sont vos relations avec les autorités nationales de certification et les contrôleurs (de manière générale avec les parties prenantes du processus de certification) ?

Comment intégrez-vous les modifications des partenaires ? quelles modalités de modification (a priori/a posteriori) ? Dégagement d’office ?

Part d’adaptation dans les demandes de modifications ?

Que pensez-vous des outils à votre disposition ? (Présage ? Certifications nationales ?) Quels sont les manques identifiés (ex : extraction de données insuffisante) ?)

Contrôles : quel est le retour d’expérience que vous faites des contrôles menés sur les projets ? y a-t-il des évolutions de la procédure suite aux résultats ?

Suivi financier du programme : quelle procédure ? (préparation comité de suivi…)

Avez-vous des remarques/avis sur les autres missions du STC (instruction des projets, suivi des projets, communication)

Financial follow-up

Did the financial person in charge take part with the evaluation of the budgets at the time of the selection’s phase?

Which are the recurring problems?

Which is the time for ERDF refunding after reception of the requests for payment?

Which time does it appear to you necessary for a carrier of project, in terms of management?

Which are your relations with the national authorities of certification and the controllers (in a general way with the recipients of the process of certification)?

How do you integrate the modifications of the partners? Which methods of modification (a priori/a posteriori)? De-commitment rule n+2?

Part of adaptation in the requests for modifications? What do you think of the tools at your disposal?

(Présage? National certifications?) Which are the identified lacks (ex: insufficient retrieval of data)?)

Controls: which is the experience feedback that you make of the controls carried out on the projects? Are there evolutions of the procedure following the results?

Financial follow-up of the program: which procedure? (Committee preparation of follow-up…)

Do you have remarks/opinion on the other missions of the JTS (instruction of the projects, follow-up of the projects, communication)?

Communication / Animation

Plan de communication : quelles sont les procédures d’évaluation / Y a-t-il un retour d’expérience (réunions de diffusion, site internet, articles de presse…) ?

Comment s’est construite la stratégie de communication ? comment les objectifs ont-ils été fixés ? Comment le plan de communication a-t-il été rédigé ? Comment se sont construits les messages clés ?

Comment est organisé le partage animation/communication ? (qui fait quoi)

Quelle communication vers les publics autres que les porteurs de projets ? comment avez-vous essayé d’attirer d’autres publics ?

Ont-ils des outils pour mesurer les retours positifs ou négatifs de la communication des messages ?

Comment pensez-vous être perçus par les porteurs de projets et les porteurs potentiels ?

Quels réajustements avez-vous apporté à votre stratégie de communication depuis le début du programme, et comment ?

Quelles sont les nouveautés par rapport à l’ancienne programmation ?

Quelles sont les prévisions ? (thématiques/documents/site) ?

Avez-vous des remarques/avis sur les autres missions du STC (instruction des projets, suivi des projets, suivi financier)

Communication/Organisation

Plan of communication: which are the procedures of evaluation/Had it an experience feedback (meetings of diffusion, Internet site, articles of press…)?

How was the strategy of communication built? How the objectives were fixed? How the plan of communication was written? How were the key messages built?

How is organized the division organisation/communication? (Who makes what)

What communication towards the public others that carriers of projects? How did you try to attract the other public ones?

Do they have tools to measure the positive or negative returns of the communication of the messages?

How do you think of being perceived by the carriers of projects and the carrier’s potential?

Which readjustments did you bring to your strategy of communication since the beginning of the program, and how?

Which are the innovations compared to the old programming?

Which are the forecasts? (Sets of themes/documents/site)?

Do you have remarks/opinion on the other missions of the JTS (instruction of the projects, follow-up of the projects, financial follow-up)?


79

QUESTIONS TRANSVERSALES

Quelles sont les procédures de communication interne ? Quelle appréciation en avez-vous ?

Quelles sont les procédures de management ?

Existe-t-il d’autres tâches qui ne sont pas encore affectée alors qu’elles devraient l’être ?

TRANSVERSE QUESTIONS

Which are the procedures of internal communication? Which appreciation do you have some?

Which are the procedures of management? Are there other tasks which are not yet affected whereas they should be it?

Entretiens AUG/Interviews MA

Liens AUG /Etat fr/ Etats Membres/ Région PACA/ STC/autres programmes interreg ? (gouvernance)

Bonds MA /French State/ Member States/ PACA Region/ JTS/Other INTERREG programs? (Governorship)

AUG / service de l’Etat en région, national ? - Instruction des projets - Suivi des projets - Vie du programme/

L’objectif est de comprendre comment et ou agisse les relations à chaque grande étape des appels à projets et au niveau de la vie du programme en général ?

MA/service of the State in area, national? - Instruction of the projects - Follow-up of the projects - Program’s life

The objective is to include/understand how and where

acts the relations with each great stage of the calls to

projects and the standard of living of the program in

general?

AUG Etats Membres/ ? - Instruction des projets - Suivi des projets - Vie du programme

MA Member States/? - Instruction of the projects - Follow-up of the projects - Program’s life

AUG / Région PACA ? - Instruction des projets - Suivi des projets - Vie du programme

MA / PACA region? - Instruction of the projects - Follow-up of the projects

- Program’s life

AUG / STC ? - Instruction des projets - Suivi des projets - Vie du programme

MA / JTS? - Instruction of the projects - Follow-up of the projects

- Program’s life

AUG / autre programme interreg ? - Instruction des projets - Suivi des projets - Vie du programme

MA / Other INTERREG Programs? - Instruction of the projects - Follow-up of the projects - Program’s life

Historique et construction du programme/ History and construction of the program.

(1) Quelles ont été les principales étapes de la construction du programme ? d’un point de vu formel mais aussi informel ?

(2) Si le programme est différents (ou pas) du précédent où, quand il y a t il eu des avancées ou des échecs ?

(3) Qui, quels partenaires ont le plus « orienté » le programme et particulièrement le PO ?

(4) Les évaluations et retours d’expériences du programme précédent IIIB ont-ils été pris en compte ?

(5) Où se situe, où pourrait se situer les principales innovations (ouvertures) pour un nouveau programme ? En matière d’orientations thématiques ? en matière de public cible ? L’absence de participation du secteur privé, même dans la recherche est-elle définitive ?

1) Which were the principal stages of the construction of the program? Of a formal but also informal point of view?

(2) If the program is different (or not) of the precedent where, when there it were projections or failures?

(3) Who, which partners the most “directed” the program and particularly OP?

(4) Were the evaluations and experience feedbacks of the preceding IIIB program taken into account?

(5) Where is located, where could be found the principal innovations (openings) for a new program? Regarding orientations sets of themes? Regarding target public? Is the absence of participation of the private sector, even in research, final?


80

Communication / Animation/ Animation. Communication / Organisation

(1) Quel rôle pensez vous que la communication sur le programme pourrait jouer ? quel rôle a-t-elle joué dans l’actuelle programmation ?

(2) Pensez vous que les opérations de communication ont joué un rôle d’échange avec les publics cibles ou simplement d’échange d’informations

1. Which role do you think that the communication on the program could play? Which role did it play in the current programming?

2. Do you think that the operations of communication played a part of exchange with the public targeted or were they simply exchanges of information?

Questions transversals/ TRANSVERSE QUESTIONS

(3) Quels sont pour vous les principaux acquits de ce programme par rapport au précédent ? les principaux échecs ?

(4) Quels sont les premiers enseignements du volet « projets stratégiques » du programme à l’issu d’un appel à projet ?

(5) Quels sont les 3 exigences premières pour un futur programme ? sont-elles issues de retours d’expériences, d’observations plus générales ?

(6) Entre gouvernance du programme et contenu (ou résultats attendus) où se situe les principaux progrès à faire ?

3. Which are for you the main assets of this program compared to the precedent? The main failures?

4. Which is the knowledge of the “strategic projects” program’s window in terms of results for a call to project?

5. Which are the 3 first requirements for a future program? Are they resulting from more general observation, experience feedbacks?

6. Between governorship of the program and contents (or awaited results) where is the main progress to make?


81

LISTE ENTRETIENS

Acronyme/Acronym Partenaires/Partners Personne(s) présente(s)

/Presented persons

Teenergy schools Provincia de Lucca M. Lazzaroni / F. Lazzari

C.U.L.T.UR.E Regione Campania S. Volpe / D. Michelino/ F. Guzzi / F. Zardo

Rururbal Consell Comarcal Vallès Oriental C Garrido / K. Nikopoulou/ E. Frago

Medgovernance Regione Toscana L. Polverini/M. Tozzi / M. Sori /

SOSTENUTO Association A.M.I André Akutsa

ZERO WASTE Efxini Poli M. Groueva

FORET MODELE Office du Développement Agricole et Rural de Corse / CESEFOR

C. Benedetti/ R. Castellini

MEDPAN NORTH WWF France C. Piante / JP de Palma

In.FLOW.ence ANCI E. Pucciariello / A. Vigoli

R&D Industry Maribor University B. Krsnik Horvat / S. Strancar

MAREMED Région PACA C. Lochet/B. Vasselin/C. Humblot

TOSCA Toulon Var Technologie C. Blottière / C. Codina

CYCLO Comune di Chiaravalle S. Campanella / V. Acanfora

Etat member/ Member State Date et lieu de l’entretien/Date and place of interview

Portugal Marseille, le 26/05/2010

France Marseille, le 04/06/2010

Italie Rome, le 3/06/2010

Espagne Madrid, le 2/06/2010

Chypre Chania, le 23/06/2010

Slovénie Thessalonique, le 22/09/2010

Malte Reçu par mail 06/ 2010/send by mail 06/2010

RAPPORT D’EVALUATION - Programme Med€¦ · En 2011 des évaluations spécifiques concernant des...

Documents

Transcript of RAPPORT D’EVALUATION - Programme Med€¦ · En 2011 des évaluations spécifiques concernant des...