Evaluation externe du PREDIT 4 - Home - …€¦ · MEDDE Evaluation PREDIT 4 – Synthèse ......

MEDDE Evaluation PREDIT 4 – Synthèse © BearingPoint France SAS 2013

1

Evaluation externe du PREDIT 4 Synthèse Avril 2013

Version 1.0


2

Sommaire

0. INTRODUCTION ET DEMARCHE.................................................................. 3

1. CONCLUSIONS .................................................................................................. 5

1.1. Un financement significatif et stable en faveur de la recherche et de l’innovation sur les transports mais essentiellement distribué via des appels à projets peu influencés par le PREDIT ..................................................................................................... 5

1.2. Des projets financés qui sont de bonne qualité scientifique mais des éléments de valorisation qui restent difficiles à démontrer ........................................................................... 6

1.3. Une mobilisation des acteurs équilibrée dans les groupes opérationnels mais qui est en baisse par rapport au PREDIT 3.......................................................................................... 7

1.4. Un financement fort dans le domaine de l’énergie et la compétitivité mais un soutien des thématiques de mobilité urbaine et de transport des marchandises ainsi que des transports ferroviaires loin de l’ambition initiale ............................................. 8

1.5. Le PREDIT n’a pas apporté une vision suffisamment claire sur les priorités de recherche dans les transports ..................................................................................................................... 9

1.6. Le PREDIT devra revoir son rôle par renforcer l’articulation entre le programme national et l’échelon européen ........................................................................................ 9

1.7. Le PREDIT n’a pas réussi à trouver sa valeur ajoutée dans un paysage en évolution................................................................................................................................................................. 10

2. RECOMMANDATIONS.................................................................................... 11

2.1. Recommandations stratégiques................................................................................................... 11

2.2. Recommandations opérationnelles ............................................................................................ 11


3

0. Introduction et démarche Le programme de recherche et d’innovation dans les transports terrestres (PREDIT) est un programme interministériel qui associe les efforts de plusieurs acteurs :

- les ministères chargés du développement durable (MEDDE), du redressement productif (MRP) et de la recherche (MESR) ; et

- les agences de l’innovation (OSEO), de l’environnement et de la maîtrise de l’énergie (ADEME) ainsi que l’agence nationale de la recherche (ANR).

Le PREDIT opère dans le cadre de la recherche et de l’innovation en réponse aux enjeux environnementaux, économiques et sociaux. Il en est aujourd’hui à sa quatrième édition (2008-2013)1. Le PREDIT n’administre en propre budget aucun crédit incitatif à la recherche et à l’innovation. Les objectifs budgétaires, établis pour les 5 années du programme, tels qu’ils ressortent du protocole d’accord signé en 2008, reposent sur une consolidation de crédit incitatifs qui restent administrés par les cinq financeurs (MEDDE, FUI, OSEO, ANR, ADEME). Les objectifs budgétaires du programme pour la période 2008-2012 s’élèvent ainsi à 400 M€. Les projections de financements par financeurs et par thématiques sur la période 2008 à 2012 sont présentées dans le tableau ci-dessous. Projections de financements sur la période 2008 à 2012 en millions d’euros (protocole d’accord) MEDDE ADEME FUI ANR OSEO Total Energie et environnement (G01)

5 30 40 40 30 145

Qualité et sécurité des systèmes de transport (GO2)

10 0 20 30 10 70

Mobilités dans les régions urbaines (GO3)

10 20 10 15 10 65

Logistique et transport de marchandises (GO4)

10 20 5 5 5 45

Compétitivité de l'industrie des transports (GO5)

0 0 25 10 30 65

Politiques de transport (GO6)

5 5 0 0 0 10

Total 40 75 100 100 85 400 Le PREDIT 4 est doté de deux instances de décision et d’orientation, que sont le comité de pilotage et le conseil d’orientation stratégique, de 6 groupes opérationnels (GO) et d’un secrétaire permanent, qui assure notamment l’interface entre le comité de pilotage et les groupes opérationnels. Le secrétaire permanent est placé auprès du directeur de la Direction de la Recherche et de l’Innovation (DRI) du MEDDE et est assisté dans sa tâche par le bureau des Grands Programmes. La DRI agit d’une part en tant que financeur du PREDIT et d’autre part en

1 Initialement prévu de 2008 à 2012, la décision a été prise au printemps 2012 d’étendre le programme PREDIT 4 jusqu’à fin 2013


4

assurant le secrétariat de ce programme interministériel, connu comme le « secrétariat permanent » du PREDIT (SPP). Les groupes opérationnels sont les structures actives d’animation du programme PREDIT. Ils se réunissent en moyenne 2 à 3 fois par an en réunion plénière et organisent par ailleurs des séminaires de suivi scientifique des groupes. Chaque groupe opérationnel s’appuie sur un secrétaire chef de file issu d’un des financeurs, un président externe à l’administration ainsi qu’un « bureau » de 3 à 5 membres supplémentaires. Le consortium BearingPoint-Technopolis a été mandaté pour conduire une évaluation externe du PREDIT 4, portant un jugement sur l’efficacité du PREDIT 4 et sur sa contribution aux objectifs de recherche dans le domaine des transports sur les plans stratégique, scientifique et de l’organisation. L’évaluation couvre l’ensemble des projets et des activités du programme PREDIT sur la période 2008-2012. Cela inclut donc l’ensemble des projets sélectionnés pendant cette période et/ou les projets hérités de la période précédente pour lesquels les Groupes Opérationnels ont participé au suivi scientifique et/ou à la valorisation. L’évaluation a été construite à partir des outils suivants :

- 40 entretiens avec les acteurs clés du programme PREDIT et avec les acteurs de la recherche et développement en France ;

- une analyse financière et des activités des groupes opérationnels ; - une expertise « ex post » d’une quarantaine de projets conduite par deux experts

différents ; - une enquête en ligne conduite auprès des porteurs de projet financés par les appels

à projet et des porteurs de projet non retenus. Cette enquête a été complétée par quelques entretiens téléphoniques ;

- des études de cas permettant d’étudier certains projets, clusters de projet ou acteurs plus en détails ;

- une comparaison avec le système de soutien à la recherche et l’innovation en Suède ;

- 4 ateliers thématiques pour porter un jugement sur la qualité des résultats des projets et donc du programme et positionner les résultats obtenus au regard de l’environnement du programme (projets des pôles de compétitivité, projets du Programme Cadre de Recherche et Développement de la Commission européenne PCRD).

L’étude a été pilotée par un comité de suivi réunissant les représentants des financeurs du programme : MESR, ANR, DGCIS, MEDDE, ADEME. L’équipe d’évaluation a également participé à quatre réunions avec le comité de pilotage d’évaluation du PREDIT, composé d’une quinzaine de personnes et présidé par Jacqueline Lecourtier. Ce comité de pilotage a été mandaté par le gouvernement pour donner un avis sur la suite du PREDIT. Cette synthèse présente les principales conclusions de l’étude ainsi que des recommandations proposées pour la suite du PREDIT.


5

1. Conclusions

1.1. Un financement significatif et stable en faveur de la recherche et de l’innovation sur les transports mais essentiellement distribué via des appels à projets peu influencés par le PREDIT

Avec des montants de financement de la recherche à 350 M€ à fin octobre 20122 (1 121 projets financés), le PREDIT 4 est proche de l’ambition initiale du programme dans un contexte de contraintes budgétaires. Les projets plus proches du marché, financés par le FUI et OSEO, ont dépassé les objectifs et couvrent plus des deux tiers des montants incitatifs. A l’inverse, les financements de l’ADEME (moins d’un tiers de l’ambition initiale) et du MEDDE (moins de la moitié de l’ambition initiale) sont très loin des montants inscrits dans le protocole d’accord. Ce décalage important influe sur la crédibilité globale du programme, d’autant qu’il est dans la lignée du PREDIT 3 et que le rôle des groupes opérationnels est plus le important sur les projets de ces financeurs. Figure 1 - Comparaison des financements attribués (de 2008 à octobre 2012) aux

objectifs financiers initiaux par financeur

Source : analyse BearingPoint de la base projets PREDIT 4, octobre 2012. Les financements dans le cadre du PREDIT ont permis en moyenne un effet de levier direct3 de 3,2 ce qui est en augmentation par rapport au PREDIT 3 (3,0), notamment à cause des financements croissants via les appels à projets du FUI qui ont un effet de levier direct élevé. Il existe une évolution importante entre les programmes PREDIT 3 et PREDIT 4 dans la part des projets traités réellement par les Groupes Opérationnels. Seulement 4% des montants et 10% des projets (25% des projets hors financements OSEO) ont été financés à la suite d’appels à projets traités directement par les Groupes Opérationnels, alors que cette proportion s’élevait à 50% pour le programme PREDIT 3. Cette évolution a fortement réduit l’attractivité et l’influence des Groupes Opérationnels ainsi que la taille des projets qui pouvaient être financés dans ce cadre.

2 Les financements d’OSEO en 2012, non enregistrés dans la base en octobre 2012, date d’arrêt statistique, se sont élevés à 20,3 M€. 3 Ratio entre le montant total du projet et le montant de la subvention publique


6

Figure 2 - Répartition des montants des financements par projets (hors projets

OSEO) pour les programmes PREDIT 3 et PREDIT 4

Source : analyse BearingPoint de la base projets PREDIT 4, octobre 2012.

1.2. Des projets financés qui sont de bonne qualité scientifique mais des éléments de valorisation qui restent difficiles à démontrer

Les résultats d’expertise ex-post sur un échantillon de 36 projets démontrent qu’en moyenne les projets financés dans le PREDIT 4 sont de bonne qualité scientifique et industrielle. Il reste assez difficile d’évaluer d’une manière globale les résultats valorisés des projets au vu du nombre assez faible de projets terminés et de suivi. Il n’existe pas de suivi systématique des résultats scientifiques des projets financés et les systèmes de pilotage de projet sont peu développés. Les projets du PREDIT 4 génèrent des réalisations comparables en nombre aux réalisations des projets PREDIT 3 selon une enquête conduite auprès des porteurs de projets. Selon cette enquête, chaque projet a donné lieu en moyenne à 3 publications et 3 présentations dans les conférences internationales. En revanche les domaines de publications, présentations et de brevets sont les domaines les moins bien notés dans l’expertise ex-post. A ce stade, les projets financés dans le cadre du PREDIT 4 n’ont pas généré de résultats économiques ou industriels remarquables et ne semblent pas proposer de rupture scientifique ou technologique. Ils produisent en revanche indéniablement des connaissances technologiques et scientifiques.


7

1.3. Une mobilisation des acteurs équilibrée dans les groupes opérationnels mais qui est en baisse par rapport au PREDIT 3

Le PREDIT 4 a su mobiliser environ 170 personnes externes à l’administration avec une répartition relativement équilibrée entre acteurs privés et publics. Ce nombre est en baisse par rapport au PREDIT 3.

Source : secrétaires chef de file; analyse BearingPoint-Technopolis Lors du lancement du programme, le taux de renouvellement des membres des groupes opérationnels par rapport au PREDIT 3 a été conséquent, même si les postes clés de président et de vice-président sont occupés essentiellement par des personnes ayant une expérience du ou des programme(s) précédent(s). L’implication des collectivités territoriales reste très faible dans les groupes opérationnels, même si certaines collectivités ont pu être impliquées dans des expérimentations. Plusieurs groupes opérationnels ont souffert d’un taux d’assiduité assez faible, avec un nombre officiel de 40 à 50 membres mais un noyau dur de seulement 8 à 10 personnes. Il ressort que plusieurs acteurs industriels majeurs s’investissent davantage dans les pôles de compétitivité et/ou les structures IEED/IRT4 associées pour le montage de projets et la recherche de partenariats. La labellisation donnée par les pôles pour le FUI et l’ANR les rendent très attractifs par rapport aux budgets plus limités des Appels A Propositions (AAP) du MEDDE. Ces acteurs restent néanmoins impliqués dans les projets financés dans le cadre du PREDIT. Le GO1 « énergie et environnement » est l’exception avec une participation des financeurs FUI et ANR et des liens forts avec le comité de programme ANR qui concernent les transports terrestres. A l’autre extrémité, le GO5 « compétitivité » n’existait plus en fin de période en tant que groupe opérationnel. L’absence de pilotage de ce groupe va contre les principes de la démarche qualité du PREDIT et contredit l’esprit interministériel du PREDIT.

4 IEED : Institut d'Excellence Energies Décarbonées ; IRT : Institut de Recherche Technologique

Figure 3 – Typologie de la répartition des membres des groupes opérationnels


8

La perte d’influence de certains groupes opérationnels sur l’orientation des financements et le faible taux d’assiduité (qui est la conséquente de la perte d’influence) ont fortement affaibli le rôle théorique attendu de coordination des financements entre Ministères et agences.

1.4. Un financement fort dans le domaine de l’énergie et la compétitivité mais un soutien des thématiques de mobilité urbaine et de transport des marchandises ainsi que des transports ferroviaires loin de l’ambition initiale

Parmi les thématiques du PREDIT 4, les montants de financements les plus importants ont été alloués aux domaines « énergie et environnement » et « compétitivité ». Ces deux domaines couvrent 70% des financements et sont proches ou au-dessus des ambitions initiales du programme.

Figure 4 - Comparaison des financements attribués (2008 à octobre 2012) aux objectifs financiers initiaux par groupe opérationnel (thématique)

Les financements de la thématique « mobilités dans les régions urbaines » sont en-deçà de 15% du montant du protocole d’accord. Ce domaine a également été sous-financé dans le cadre du PREDIT 3. Il est peu financé par les appels à projets FUI, ANR et ADEME et les aides financières OSEO. Les recherches en sciences humaines et sociales (SHS) pour cette thématique et pour celle des « politiques publiques des transports » présentent une importance croissante pour l’innovation dans les transports. D’une part, elles apportent une meilleure analyse micro-économique du comportement des individus en interaction avec les systèmes de transports. D’autre part, via l’analyse économique des systèmes qu’elles réalisent, elles offrent des outils d’aide à la décision aux ministères. En même temps, l’exploitation des résultats de ces projets SHS, reste faible au sein du MEDDE et des collectivités territoriales. Le lien entre les services de gestion de la recherche et les services métiers au sein de l’Etat ou des collectivités est à renforcer pour maximiser la valeur ajoutée des investissements dans la recherche.


9

Les financements sur la thématique « logistique et transport de marchandises » s’élèvent à seulement 50% de l’ambition initiale, correspondant à un domaine qui a été sous-financé pendant le PREDIT 4, comme il l’avait été pendant le PREDIT 3. Les experts s’accordent sur le fait qu’une partie importante des verrous dans le domaine de la logistique ne sont pas technologiques mais organisationnels. Entre 75 et 80% des financements du PREDIT ont concerné des projets des transports de route par rapport à 20 à 25% sur les domaines ferroviaires5. Les projets sur les transports par voie d’eau constituent 1 à 2% des projets. Cette prédominance de la route est nettement plus forte que pour le 7ème PCRD, pour lequel la part « Route » a constitué 41% des financements entre 2007 et 20136 et ne semble pas entièrement en cohérence avec les orientations de politiques publiques des transports.

1.5. Le PREDIT n’a pas apporté une vision suffisamment claire sur les priorités de recherche dans les transports

La structuration des groupes opérationnels cadre les orientations prioritaires du PREDIT mais il n’existe pas de programme stratégique et reconnu par les différents financeurs. Les programmes de travail élaborés par les groupes opérationnels sont de nature hétérogènes et ne précisent pas de chaînes enjeux-objectifs suffisamment claires. Dans un paysage de recherche et d’innovation qui se complexifie, les acteurs publics et privés de la recherche demandent des orientations stratégiques long-terme et multi-financeurs. Les instances de gouvernance du PREDIT (comité de pilotage et conseil d’orientation) ont fonctionné efficacement pour assurer la gestion du programme. Ils n’ont en revanche pas réussi à apporter d’impulsion stratégique sur les activités du programme. Par ailleurs ils ont apporté une influence insuffisante sur les appels à projets des financeurs pour assurer la coordination.

1.6. Le PREDIT devra revoir son rôle par renforcer l’articulation entre le programme national et l’échelon européen

Une articulation plus forte entre les programmes nationaux des transports et les programmes européens est une demande forte des acteurs publics et privés de la recherche. La participation de la France au comité de programme transports du PCRD est positivement perçue par la Commission européenne mais l’articulation entre le PREDIT et les programmes européens (PCRD notamment) ne semble pas suffisante. En particulier, il y a nécessité d’articuler davantage le programme national avec les plateformes technologiques européennes liées au transport terrestre (ERRAC et ERTRAC7). D’autres pays européens ont su créer des plateformes nationales qui déclinent au niveau national les feuilles de route européennes (positionnement aval) ou ont su positionner leurs programmes nationaux de recherche en amont, permettant ensuite de faire remonter certaines thématiques pertinentes au niveau européen. Le positionnement de la France et du PREDIT dans ce contexte nécessite clarification. 5 Source : analyse sur un échantillon de 200 projets 6 Source : données mises à disposition par le MESR 7 ERRAC : European Rail Research Advisory Council ; ERTRAC : European Road Transport Research Advisory Council


10

1.7. Le PREDIT n’a pas réussi à trouver sa valeur ajoutée dans un paysage en évolution

Par rapport aux différents rôles au sein du système de recherche et d’innovation dans les transports, le PREDIT 4 s’est affaibli en comparaison des programmes qui l’ont précédé :

• Les objectifs du programme ne sont pas suffisamment clairs et n’apportent pas de vision stratégique. Par ailleurs, le fait de ne pas avoir été déclinés en objectifs spécifiques comme cela avait été le cas pour le PREDIT 3, renforce l’idée d’objectifs flous ;

• Les instances de gouvernance n’ont pas su coordonner les politiques de recherche, même si certains acteurs, tels que le secrétaire permanent du PREDIT ou certains Présidents de groupes opérationnels, ont joué ce rôle pivot de coordination des financements ;

• La majorité des groupes opérationnels n’ont plus de rôle de pilotage par rapport aux financeurs majeurs comme cela était le cas lors des éditions précédentes du programme ;

• Les gros acteurs de l’industrie et de la recherche s’investissent dans les pôles de compétitivité pour le montage des projets de R&D et la recherche de partenariats et délaissent dans le même temps le PREDIT ;

• Le PREDIT 4 est devenu un programme qui n’a peu ou pas d’influence sur une partie considérable des financements mais qui continue à orienter les financements de projets de taille plus réduite que les projets ANR ou FUI ;

• Le PREDIT 4 a une valeur ajoutée pour ces financements notamment sur les problématiques de mobilité et/ou politiques de transports qui sont des thématiques qui intéressent peu les principaux financeurs qui soutiennent plutôt des gros projets (ANR et FUI).

Dans le domaine de la diffusion et la valorisation, le rôle du PREDIT est reconnu, qu’il s’agisse des séminaires multi-financeurs ou des actions de communication (site web, petits déjeuners presse, etc.).


11

2. Recommandations

2.1. Recommandations stratégiques

Recommandation S1 : continuer à coordonner la recherche et l’innovation dans le domaine des transports terrestres et assurer des engagements budgétaires stables et réalistes de l’ADEME et du MEDDE sur la programmation de crédits incitatifs pour 2014 et 2015. Recommandation S2 : prévoir une phase de 6 à 12 mois d’élaboration de domaines prioritaires de recherche partagé avec les financeurs principaux, les acteurs industriels et laboratoires de recherche avant le lancement d’un nouveau programme interministériel sur les transports. Recommandation S3 : définir des feuilles de route nationales en lien avec les feuilles de route définies par les plateformes technologiques européennes (ETP) et imposer l’orientation des financements nationaux vers les thématiques définies par les feuilles de route nationales. Recommandation S4 : Revoir en profondeur les objectifs et modes de fonctionnement du PREDIT pour les projets technologiques. Nous proposons de construire le futur programme sur la base des orientations suivantes :

• Il y a besoin d’une instance stratégique qui peut être une structure « PREDIT » ou un comité stratégique de filière pour donner des orientations stratégiques sur les thèmes prioritaires de recherche en transports ;

• L’instance stratégique doit assurer la collaboration avec les institutions européennes sur les programmes de recherche dans les transports en ayant une participation active et continue dans les plateformes technologiques européennes ;

• Les financeurs doivent concevoir les appels à projets en lien avec la feuille de route élaborée par l’instance stratégique. L’instance stratégique joue un rôle de coordination entre financeurs lors de la sélection ;

• Les pôles de compétitivité et les structures de recherche locales (telles que les IRT ou les IEED) doivent prendre en charge l’émergence des projets en réponse aux appels à projets des financeurs ;

• Les financeurs organisent des actions de diffusion et valorisation des résultats des projets en lien avec les pôles de compétitivité.

2.2. Recommandations opérationnelles

Recommandation O1 (PREDIT) : mettre en œuvre un outil interministériel permettant de mesurer les résultats des projets de R&D et d’innovation financés. Recommandation O2 (PREDIT) : prévoir un représentant des collectivités territoriales dans les futures instances interministérielles permettant de renforcer la collaboration entre les collectivités territoriales et la stratégie nationale de recherche et d’innovation dans les transports terrestres. Recommandation O3 (MEDDE) : focaliser les efforts de crédits incitatifs futurs du MEDDE sur les thématiques de sciences humaines et sociales (SHS) et les services de la mobilité en


12

mettant en réseau les pôles de compétitivité sur ces thématiques. Recommandation O4 (MEDDE) : étudier la mutualisation des ressources d’études et de recherche au service des politiques publiques de transports au MEDDE afin de renforcer l’exploitation directe des résultats des projets de recherche et augmenter l’efficacité de l’ensemble

Evaluation externe du PREDIT 4 - Home - …€¦ · MEDDE Evaluation PREDIT 4 – Synthèse ......

Documents

Transcript of Evaluation externe du PREDIT 4 - Home - …€¦ · MEDDE Evaluation PREDIT 4 – Synthèse ......