Malaise dans l’évaluation: une conférence organisée par l’AFD et l’EUDN

L’Agence Française du Développemment et l’EUDN (European Development Research Network) organisaient hier leur 9ème conférence commune. Cette année, le thème sélectionné était le suivant: « Malaise dans l’évaluation: quelles leçons tirer de l’expérience du développement? ».

L’équipe du Bopobs était présente à cette journée de réflexion et a souhaité partager l’essentiel avec vous.

Malaise dans l'évaluation: quelles leçons tirer de l'expérience du développement?

Pourquoi avoir choisi ce thème?

Dov Zerah, Directeur Général de l’AFD et François Bourguignon, Président de l’EUDN, ont ouvert la conférence en s’exprimant sur le choix du thème avant d’annoncer un record en termes d’inscription.

Le thème est, en effet, au coeur de l’actualité: « A l’heure où l’aide est sévèrement critiquée pour son efficacité limitée, l’évaluation est entrée dans une nouvelle phase ». D’après les deux maîtres de cérémonie, il y a une demande pour plus de transparence, d’efficacité et de redevabilité dans le domaine de l’aide au développement.

Une matinée pour contextualiser et lancer le débat

Sir James Mirrlees, Prix Nobel d’Economie 1996, était le seul intervenant de la première session. Il a dressé un panorama des différents instruments d’évaluation des politiques économiques de ces 50 dernières années. Il a abordé les thèmes d’évaluation des programmes de développement et de croissance en s’interrogeant sur la définition même de la croissance et sur la difficulté d’évaluer un programme en appréhendant tous ses effets, positifs comme négatifs, directs ou indirects.

Une deuxième session, portant sur « l’expérimentation et l’évaluation d’impact: (ses) avantages et (ses) limites » a été l’occasion d’un véritable débat autour de la méthode d’expérience contrôlée (dite de « randomization »). Jean David Naudet, chef économiste de l’AFD, a partagé l’expérience de l’AFD concernant la méthode d’expérience contrôlée. Il a déclaré que cette méthode n’était pas adaptée aux projets soutenus par l’AFD, souvent trop complexes. Paul Gertler, Professeur à l’Université de Berkeley en Californie, ne partageait pas cet avis et a souhaité démontrer l’intérêt de cette méthode, à condition que certaines conditions soient remplies.

(Ce débat est poursuivi en bas de ce billet de blog)

Paul Gertler a défendu la méthode de "randomization" face à Jean-David Naudet, plus critique

Une après-midi qui élargit le débat puis le clôt autour de la problématique du développement

Après une conférence de presse à laquelle les intervenants étaient conviés, le débat a repris sur le thème: « La gestion par indicateurs est-elle gage d’efficacité? ».

Jodi Nelson, de la Fondation Bill & Melinda Gates, a eu une approche intéressante. Selon elle, ce n’est pas l’évaluation qui connaît un malaise, c’est le manque de stratégie claire des organisations, caritatives ou non. « Les indicateurs de performance ne sont que des outils d’évaluation utiles lorsqu’ils renvoient à une stratégie orientée sur les résultats ». Elle défend ainsi l’approche de la Méthode du Cadre logique (Logical Framework Approach) qui permet de « cibler sur les objectifs la planification, l’analyse, l’appréciation, le suivi et l’évaluation de projets et programmes ». Cette intervention a replacé le débat dans un cadre plus large, en tentant d’identifier l’une des causes de ce « malaise de l’évaluation ».

La dernière session avait pour thème « L’évaluation appliquée au développement et à l’aide au développement ». Quatre intervenants participaient à cette séance de conclusion où l’accent était mis sur le fossé qui peut exister entre les objectifs de développement et les résultats effectifs: face à cet écart, les bénéficiaires de l’Aide Publique au Développement hésitent souvent à révéler au public les résultats de cette aide. Michael Clemens, du Center for Global Development, déclarait en guise de conclusion de ce débat: « les courants en faveur des objectifs et des résultats n’ont pas de raison de s’opposer. Ils ont des objectifs communs: démontrer à un public sceptique que les interventions en faveur du développement obtiennent des résultats. La fixation de nouveaux objectifs aujourd’hui est l’occasion pour eux de se rapprocher et d’établir une coopération fructueuse ».

A la fin de la journée, une interrogation demeure pour le Bopobs: que penser de la méthode d’expérience contrôlée (dite de « randomization »)?

Paul Gertler, de l’université de Berkeley, affirme que cette méthode est efficace car elle permet de répondre à la question: « Que serait-il advenu si je n’étais pas intervenu? ». Comparé un groupe de « contrôle » à un groupe bénéficiaire est, selon lui, le meilleur moyen d’assurer la validité interne de son évaluation.

Si elle a été décevante pour l’AFD, Jean-David Naudet explique que cette méthode n’est pas adaptée à une grande majorité des projets de développement. Selon lui, elle serait uniquement adaptée à des problématiques « caractérisées par un nombre limité d’intrants homogènes, un processus éprouvé et testé, (…) une appropriation rapide et durable par les bénéficiaires, une participation large et stable et un ensemble de réalisations (outcomes) quantifiables à court terme ». L’AFD a commencé à évaluer ses projets en 2005 et a réalisé, à ce jour, deux études d’impact avec la méthode d’expérience contrôlée: l’une sur Sky au Cambodge, un dispositif de micro-assurance maladie, et l’autre sur Al Amana, un système de microfinance en milieu rural au Maroc, créé  1997.

Alors que la méthode d’expérience contrôlée est prônée par de nombreux chercheurs, dont Ester Duflo et Abhijit Banerjee au sein du J-Pal (Poverty Action Lab) du MIT, souvent considéré comme le lieu de naissance de cette méthode, le point de vue de l’AFD apporte un nouvel élément au débat.

Le J-Pal est reconnu pour sa méthode d'évaluation d'impact par "randomization"

Publicités