Evaluation des politiques d’emploi

Méthodologie et Enseignements Bruno CréponMarc FerracciLaurent Lequien

Quelques questions introductives

• L'effet des politiques d'emploi est-il celui que l'on attend?

• Peut on mesurer cet effet?• Peut on apprendre sur les politiques passées pour

optimiser les politiques futures• Sommes nous équipés pour le faire• Jusqu'où peut on apprendre des expériences

étrangères?

Qu’est ce que l’évaluation(telle qu’elle s’est développée récemment)

• Développement récent des méthodes depuis 15 ans (Heckman…)

• Basée sur des données microéconomiques• Suivi des individus bénéficiant d’une politique,

avant, pendant, après.• Contraste entre la situation d’individus

bénéficiant ou non de la politique• Seule des politiques ne concernant pas la totalité

de la population sont concernées

Quelques exemples

• Stages de formation : une partie des chômeurs participe à des stages de formation d’autres non

• Emplois subventionnés du secteur public ou du secteur privé

• Prime de retour à l’embauche• Politique d’accompagnement des chômeurs

Trois niveaux d’évaluation

1. Les effets mesurés vont-ils dans le sens attendu?

2. Identifier les déterminants du comportement des individus face au dispositif

3. Effet global du dispositif sur la société, et non plus seulement sur les traités – quels effets induits

Aspect interne de la politique

Aspect externe

But éventuel: étendre le dispositif à toute la population

Quels enseignements tire-t-on des évaluations effectuées

• On peut dans certains cas apprendre sur l'ensemble des points précédents

• Avec un degré de fiabilité décroissant• A la première question et parfois la

deuxième on peut répondre et produire des résultats qui ont la force de l’évidence.

• Ceci impose néanmoins un effort

Individus « traités »

Variable de résultat

observée

Individus « non traités »

Variable de résultat

observée

Evaluation effectuée =résultat des traités par rapport au résultat des non traités

Individus «traités » si ils n’avaient pas

été traités

Variable de résultat

inobservée

Vrai effet de la mesure =résultat des traités par rapport à ce qu’ils auraient été si ils n’avaient pas été traités

Evaluation effectuée= situation des traités – situation des non traités = situation des traités – situation des traités si ils

n’avaient pas été traités+ situation des traités si ils n’avaient pas été

traité – situation des non traité= Vrai effet de la mesure+ effet populationLe problème central dans l’évaluation est de dissocier dans les évolutions observées ce qui tient à l’effet de la mesure de ce qui tient à la population

Expérimenter

• L’expérimentation permet de résoudre le problème de l'effet population.

• Tirer deux populations (assez grandes) au hasard dans la population éligible et affecter l’une d’entre elle au traitement.

• Le tirage au hasard (et la grande taille) garantissent que les populations sont semblablesen tout autre point que le traitement

Autres méthodes● Informations riches sur les caractéristiques: Apparier chaque traité avec un non traité identique en tout caractéristique observable● Informations riches sur les trajectoires: Tirerparti du fait que les individus sont traités àdifférents moments● Suivi de populations éligibles et non éligibles avant et aprés : appréciation grossière Bien mais les résultats restent sujets à la critiqueSeules les expérimentations produisent des résultats indiscutables

Différentes politiques favorisant le retour à l’emploi - Exemples

• SSP (Canada). Prime perçue si retour à l’emploi. Durée: 36 mois. Dispositif expérimental

• EITC (USA). Crédit d’impôt. Durée: illimitée, 5140 $ maximum*.

• WFTC (UK). Crédit d’impôt. Durée: illimitée, 6000 £ maximum*.

• Prime pour l’emploi (FR). Crédit d’impôt. Durée: illimitée, 475€ maximum*.

* Chiffres OCDE 2005, valables pour un couple avec un enfant

L’expérience du SSP

Contexte:– Dispositif ciblé sur les parents isolés– Eligibilité: retrouver un emploi, après avoir

perçu pendant un an un revenu d’assistance– Prime perçue pendant 3 ans tant que l’on a un

emploiEffets significatifs sur le retour à l’emploi

SPP – Taux d’emploi

Source: Card, Hyslop, 2004

SSP – Identifier les comportements

Le SSP est une expérience contrôléePossibilité de mettre en évidence un effet

directPossibilité d'estimer (aisé) et de valider

d'un modèle de comportementPossibilité de simuler l'effet de variation des

paramètres du dispositif

SSP – Un modèle structurel qui rend bien compte de la situation

Source: Card, Hyslop, 2004

SSP – Simulation de variantes

Source: Card, Hyslop, 2004

SSP- Effets de bouclage

• Quantifier l’effet sur les bénéficiaires du SSPUn consensus existe sur les méthodes, les

résultats sont robustes. Analyses coûts bénéfices au niveau des bénéficiaires.

Question importante: comment évaluer l’effet du SSP sur la société?

Analyse coûts/bénéfices global beaucoup plus complexe. Beaucoup d'hypothèses. L'évaluation en dépend. On n'a plus l'évidenceprécédente

Evaluations frustres mais résultats essentiels EITC et WFTC

• Deux programmes similaires :– EITC (USA). – WFTC (UK).

• Subvention du retour à l’emploi par crédit d'impôt

• Quels effets? Quelles différences? Comment les comprendre ?

Earned Income Tax credit

• Crédit d’impôts pour les bas revenus, créé en 1975 destinéaux individus ayant des enfants

• Grande réforme en 1986. Crédit beaucoup plus généreux : le retour à l'emploi est beaucoup plus attractif

• Cette réforme n’a théoriquement pas d’effet sur les femmes sans enfants

• Principe de l’évaluation: comparer les différences d’offre de travail entre les femmes avec et sans enfants, avant et après la réforme

• Limitation: pas de modèle structurel, on mesure seulement l’effet global, et on ne connaît pas le mécanisme en jeu

Participation des femmes (sans diplomes)

Femme avec enfant avant 1986

0,479

Femme sans enfant avant 1986

0.784

Femme sans enfant après 1986

0,761

Femme avec enfant après 1986

0,497

Différence= - 0,023Différence=0,018

Différence de différence = 0,018 - ( - 0,023) = 0,041

WFTC

• Programme similaire à l’EITC • Même méthode d’évaluation, mais résultat différent:

cette réforme n’a pas marché aussi bien que l’EITCon ne sait pas pourquoi cette réforme n’a pas l’effet escompté…

• Une réponse assez grossière et une compréhension limitée

Meilleures données, meilleur cadre d’observation: permettrait l'estimation d'un modèle expliquant pourquoi EITC marche et pas le WFTC

Cas de la France:Spécificités de la PPE

• Prime de retour l'emploi• Montant relativement faible (10 fois moins qu’aux

USA)• Versée en une foisPeu d'études : à priori, la PPE a au mieux un effet

modeste et temporaire sur le retour à l’emploi

Les politiques actives d’emploi• Trois outils essentiels:

- Formation- Contrats aidés dans le secteur marchand ou non

marchand- Subventions à l’embaucheRésutats

• Proximité du marché du travail gage de succés –éloignement peu devenir néfaste

• Faible effet de la formation sur la sortie du chômage, voire négatif (effet de lock-in). Impact sur la qualité de l’emploi retrouvé mal connu

• Des publics différents appellent des mesures différentes

Politiques en Suisse (Sianesi 2001)

Des résultats qui font consensus

• Des résultats là où les données existent• Suisse

– Appariement : Gerflin et al.– Durée : Lalive et al.

• France – Brodaty Crépon Fougère– Even et Klein (panel de la DARES)

0

10

20

30

40

50

60

70

80

90

août-9

7nov

-97fév

r-98

mai-98

août-9

8nov

-98fév

r-99

mai-99

août-9

9nov

-99fév

r-00

mai-00

août-0

0nov

-00fév

r-01

mai-01

août-0

1nov

-01fév

r-02

mai-02

août-0

2nov

-02fév

r-03

Source : Dares, Panel des bénéficiaires de politique d'emploi

CIE

Témoins

Source : Even Klein 2005

0

10

20

30

40

50

60

août-9

7nov

-97fév

r-98

mai-98

août-9

8nov

-98fév

r-99

mai-99

août-9

9nov

-99fév

r-00

mai-00

août-0

0nov

-00fév

r-01

mai-01

août-0

1nov

-01fév

r-02

mai-02

août-0

2nov

-02fév

r-03

Source : Dares, Panel des bénéficiaires de politique d'emploi

CEStémoins

0

10

20

30

40

50

60

août-9

7nov

-97fév

r-98

mai-98

août-9

8nov

-98fév

r-99

mai-99

août-9

9nov

-99fév

r-00

mai-00

août-0

0nov

-00fév

r-01

mai-01

août-0

1nov

-01fév

r-02

mai-02

août-0

2nov

-02fév

r-03

Source : Dares, Panel des bénéficiaires de politiques d'emploi

SIFE

Témoins

Contrôle - Sanctions - Accompagnement

• Les politiques modifiant Contrôle, Sanctions et Accompagnement modifient fréquement l'ensemble de ces paramètres à la fois

• Difficile d'identifier l'effet précis de l'un d'entre eux.

Le contrôle de l’effort effectif de recherche: effets différenciés

• Van den Berg et VD Klauw (2004) => aucun effet significatif sur le retour à l’emploi des individus les plus employables du contrôle .

• Dolton et O’Neill, 1996 ; Blundell et al. 2004 efficace lorsque ciblé sur des individus dont les perspectives d’emploi sont plus mauvaises.

Conclusion: profilage condition d'efficacité d’un système de contrôle

L’effet positif des sanctions sur le retour à l’emploi

• Abbring et al. (2005) => les sanctions doublent durablement les taux de sortie du chômage aux Pays-Bas.

• Van den Berg et al. (2005) résultats similaires et de même ampleur pour des individus recevant un revenu d’assistance aux Pays-Bas.

• Lalive et al. (2002) : l’avertissement préalableaux sanctions augmente aussi le taux de sortie.

Efficacité de l’accompagnement et de l’aide à la recherche d’emploi

• Crépon, Gurgand, Dejemeppe : Effets positifs, sur la sortie du chômage mais plus forts sur la durée de l’emploi retrouvé

• Van den Berg et Van der Klauw (2004): faible effet sur le retour à l’emploi car l’accompagnement est réduit, au profit du contrôle

• Expérimentation aux Etats Unis :effets positif de l'accompagnement

Conclusion

• A l'évidence, l'effet des politiques n'est pas toujours celui que l'on attend

• On peut apprendre des expériences étrangères mais on ne peut pas que s'appuyer sur elles

• Evaluer les politiques d'emploi en France se heurte à plusieurs difficultés– Réticence à la mise en oeuvre d'expérimentation– Absence de fichier longitudinaux : suivi des

individus, chômage-dispositifs-emploi.– Problème du passage de l'étude à une évaluation

partagée reconnue institutionnellement