Termes de Référence pour l’évaluation externe du programme PASEC dans le cadre du financement de l’AFD pour la période 2013-2016

1. Le contexte La qualité de l’éducation est au cœur de la mise en œuvre des politiques sectorielles et le nouvel agenda pour l’éducation en 2030 met fortement l’accent sur l’amélioration de la qualité. Les pays d’Afrique sub-saharienne (ASS) ont beaucoup progressé dans l’accès à l’enseignement de base, mais la massification entraîne des tensions dans les systèmes éducatifs au niveau de la qualité de l’éducation. Il importe de donner aux Etats et aux ministères du secteur les moyens i) de mesurer les résultats de leurs politiques sur les acquisitions des élèves et ii) de prendre des décisions raisonnées sur leurs stratégies d’amélioration de la qualité. Dans cette perspective, ils ont besoin d’une part de données objectives sur les compétences développées par les élèves et les conditions de l’enseignement et d’autre part, d’analyses sur le degré d’efficacité des stratégies développées par des pays « comparables ». Le Programme d’Analyse des Systèmes Educatifs (PASEC) est, à l’heure actuelle, le principal et plus ambitieux programme d’évaluation adapté aux besoins des pays d’ASS francophone, même s’il ne se limite pas à cette région. Le PASEC a été créé en 1991 par la CONFEMEN, la Conférence des Ministres de l’Education des Etats et Gouvernements de la Francophonie. Depuis sa création, le PASEC a mené 35 évaluations nationales dans 24 pays, notamment en ASS mais également depuis 2011 dans plusieurs pays en Asie du sud-est (Cambodge, Laos et Vietnam). Ces évaluations ont permis d’alimenter le débat public sur l’éducation et d’orienter la prise de décision dans les pays participants. Pendant cette période, le PASEC a également contribué à renforcer les capacités techniques d’évaluation dans ces pays. Depuis 2012, le programme a opéré une réforme en profondeur de sa méthodologie et de ses outils d’évaluation pour mieux répondre aux besoins des pays et rejoindre les standards scientifiques internationaux. Ce travail a abouti au lancement de la première évaluation internationale comparative du PASEC en 2014. Le rapport de cette évaluation qui présente les résultats d’apprentissage des élèves au début et à la fin du cycle primaire en lecture et en mathématiques dans dix pays francophones ASS (Bénin, Burkina Faso, Burundi, Cameroun, Congo, Côte d’Ivoire, Niger, Sénégal, Tchad et Togo), a été lancé et publié en décembre 2015. Le rapport d’évaluation présente les scores des élèves dans les dix pays et propose des pistes de réflexion mettant en relation les résultats des élèves et les facteurs liés à l’apprentissage. Le financement du programme est assuré à la fois par les pays participants (à hauteur d’environ 17.5% du coût total des évaluations), par la CONFEMEN à travers l’enveloppe des contributions volontaires des pays membres, par l’AFD, par la Banque Mondiale et par la Coopération Suisse. L’évaluation du PASEC sera une opportunité de réfléchir au positionnement de cet appui et de procéder à un examen attentif et externe de la qualité des productions du Programme et de l’efficacité et la viabilité de l’appui apporté aux pays participants. Cet examen s’impose dans la perspective de la poursuite des interventions de l’AFD en appui au secteur de l’éducation, en particulier dans les pays d’ASS, en vue d’améliorer sa qualité et de renforcer le pilotage des systèmes éducatifs. 1

2. Les objectifs de l’évaluation 2.1 Objectif global Le principal objectif assigné à cette évaluation est de faire le bilan de la mise en œuvre du programme régional PASEC depuis 2013 et d’analyser en regard de ces résultats les perspectives que le programme envisage pour les années à venir. Le volet rétrospectif de cette évaluation consiste à apprécier la performance du programme PASEC, à travers ses réalisations et l’appui apporté aux pays participants. A partir de l’examen de la stratégie 2016-2025 dont le PASEC vient de se doter, le volet prospectif de l’évaluation, étroitement lié aux constats et aux conclusions du volet rétrospectif, consiste à identifier des recommandations stratégiques et opérationnelles pour permettre au prochain cycle du programme d’atteindre ses objectifs. 2.2 Objectifs spécifiques de l’évaluation Les principaux objectifs assignés au programme PASEC pour la période 2013-2016 sont : 1. L’amélioration de l’efficacité du programme d’évaluation des compétences des élèves par  la réalisation d’enquêtes pour deux niveaux du primaire (2ème et 6ème années) et, à terme, pour le collège ;  l’analyse comparée des performances des systèmes éducatifs des pays d’ASS francophones (au moins 10 pays à court terme) pour la 2ème et 6ème année du primaire;  le renforcement des capacités des équipes nationales en charge de l’évaluation des apprentissages des élèves et des cadres nationaux en charge du pilotage des systèmes éducatifs de la région. 2. Le renforcement des capacités de la CONFEMEN à améliorer la gouvernance du PASEC et à le rendre à terme autonome financièrement. Afin d’apprécier la performance du programme, l’évaluation portera sur les questions suivantes1 : 2.2.1

Pertinence des approches du programme en regard des besoins des pays participants et en regard de la gouvernance du programme

La pertinence du PASEC devrait être évaluée à deux niveaux distincts ; Il s’agit d’une part d’apprécier si l’approche du PASEC telle qu’elle a été menée dans les pays et en fonction des étapes de sa mise en œuvre a permis de répondre aux besoins initialement identifiés, notamment en termes de réalisation d’évaluations, d’analyse des performances des systèmes éducatifs et de compétences professionnelles renforcées au niveau national. Il s’agit d’autre part d’apprécier si les efforts d’amélioration de la gouvernance et le pilotage du PASEC ont été cohérents avec les problèmes constatés. L’évaluation devrait notamment apporter des éléments de réponse aux questions suivantes :

1

Ces questions sont données à titre indicatif pour aider les consultants à formuler les questions définitives qui seront validées par le comité de pilotage de l’évaluation.

2

Q1 : Dans quelle mesure le programme PASEC a-t-il répondu correctement aux problèmes identifiés dans les pays participants? Q2 : Dans quelle mesure le programme PASEC a-t-il répondu correctement aux problèmes identifiés sur la gouvernance et le pilotage du programme? 2.2.2

Efficacité et efficience des interventions PASEC dans les pays et au niveau régional

Le PASEC continue à susciter une forte attente des pays et à réaliser des évaluations avec un nombre croissant de pays. Le programme est actuellement structuré autour de trois axes majeurs: (i) La production de données et d’analyses sur les systèmes éducatifs ; (ii) Le renforcement des capacités nationales en évaluation ; (iii) Le dialogue politique sur l’évaluation. En termes de programmation pour la période 2013-2016, le PASEC se focalise sur la réalisation de neuf objectifs spécifiques (cf. plan d’action en Annexe X pour plus de détails): Objectif spécifique 1 : Mener les enquête nationales, en diffuser les résultats Objectif spécifique 2: Mettre en œuvre l’évaluation groupée pour le primaire et produire des analyses et des rapports au niveau international et national, diffuser les résultats, organiser un atelier international et 10 ateliers nationaux Objectif spécifique 3 : Adopter et mettre en œuvre une stratégie pour évaluer l’enseignement de base Objectif spécifique 4 : Renforcer les capacités nationales, appuyer la mise en place de dispositifs nationaux et la mise en place d’un réseau de décideurs Objectif spécifique 5 : Assurer le fonctionnement des organes de pilotage du PASEC Objectif spécifique 6 : Renforcer la communication du PASEC Objectif spécifique 7 : Assurer au PASEC les ressources humaines nécessaires à son bon fonctionnement Objectif spécifique 8 : Doter le PASEC d’un équipement et d’une documentation adaptés à ses besoins Objectif spécifique 9 : Audit et contrôle interne

L’évaluation devrait dresser un bilan exhaustif des réalisations du PASEC et apporter des éléments de réponses aux questions suivantes : Q3 : Dans quelle mesure l’action du PASEC a-t-elle réalisé ces objectifs? Cette appréciation devra comparer les objectifs fixés au départ avec les résultats atteints. L’intérêt est également d’identifier et d’analyser les facteurs clés qui ont influencé la réalisation ou la non-réalisation des objectifs. Q4 : Dans quelle mesure le PASEC a-t-il utilisé les moyens financiers, humains et organisationnels à sa disposition de façon rationnelle ? Cette partie devra analyser si les objectifs ont été atteints à moindre coût.

3

2.2.3

Viabilité de la gouvernance du programme et des dispositifs PASEC dans les pays

Le maître d’ouvrage du programme est la CONFEMEN, qui a créé le PASEC et en cofinance les activités. La CONFEMEN est une institution internationale réunissant les ministres de l’éducation des Etats et Gouvernements de la Francophonie dont le siège est à Dakar, Sénégal. Elle a pour organe exécutif un Bureau où siègent 14 ministres de l’éducation représentant les pays membres de la CONFEMEN (44 pays). Le PASEC, qui est le programme phare de la CONFEMEN, procède depuis 2012 à une réforme de sa gouvernance. Un des enjeux du programme est d’accompagner sa propre réforme afin de donner plus de stabilité à son action. Cela passe par une plus grande autonomie du programme PASEC par rapport au fonctionnement de la CONFEMEN, afin que le PASEC puisse mieux maîtriser les enjeux techniques, scientifiques, financiers et politiques de son activité. En ce qui concerne les actions du PASEC dans les pays participants, le programme inclut une composante importante sur le renforcement des capacités nationales. Cela passe notamment par un appui technique aux équipes nationales, mais également par la mise en place d’un réseau de décideurs. Dans ce contexte, l’évaluation vise à apprécier si les effets des actions de renforcement des capacités perdureront après la fin de l’intervention du PASEC. L’évaluation de la viabilité du PASEC devrait apporter des éléments de réponse à des questions telles que : Q5: Quelle appréciation peut-on avoir de la viabilité de la nouvelle structure de gouvernance du PASEC ? Cette appréciation devrait distinguer la viabilité institutionnelle, technique ainsi que financière. Q6: Quelles sont les opportunités de partenariats ou de synergies qui ont été ou sont mises à profit pour augmenter la viabilité et l’impact de l’action du PASEC ? Il est important ici de faire la part entre les synergies intra (entre activités du PASEC) et synergies extra (entre les activités du PASEC et les programmes d’autres partenaires). Q7: Quelles approches ont été privilégiées pour s’assurer de la durabilité des actions et des résultats du PASEC dans les pays participants et quels sont les points de force et les points de faiblesse de ces approches? L’évaluation devrait surtout apprécier la probabilité d’obtenir des bénéfices durables sur le long terme du fait du renforcement des capacités nationales suite à l’appui du PASEC. 2.2.4

Impact de l’action du PASEC dans les pays

En finançant le PASEC, l’AFD a recherché à contribuer à l’amélioration du pilotage par la qualité des systèmes éducatifs des pays d’Afrique subsaharienne en renforçant l’efficacité et l’autonomie du dispositif sous-régional PASEC d’évaluation des compétences des élèves. Les effets attendus par l’AFD sont que :

4

 Les pays d’ASS disposent de mesures fiables et comparables des performances de leurs systèmes éducatifs, au niveau régional pour la 2ème et 6 ème année du primaire. Ils disposent d’analyses comparées de l’efficacité et de l’équité de leur école.  Les cadres locaux en charge de l’évaluation des compétences des élèves sont formés à l’utilisation des outils et au traitement des données selon des standards internationaux et appuyés pour la réalisation des rapports nationaux.  Les décideurs sont sensibilisés et formés au rôle de l’analyse de la performance qualitative d’un système pour le choix des politiques sectorielles.  Les capacités de pilotage des systèmes éducatifs en faveur de la qualité de l’éducation en ASS sont améliorées. L’évaluation de l’impact de l’action du PASEC peut se décliner à travers les questions suivantes : Q8: Quel est l’impact des activités du PASEC en termes de mise à disposition de mesures fiables et comparables des performances des systèmes éducatifs dans les pays ASS francophones? Q9: Quel est l’impact de l’appui technique du PASEC aux pays en termes de renforcement des capacités techniques d’évaluation des équipes nationales? Quels sont les facteurs qui facilitent/empêchent la durabilité de cet impact? Il est attendu de mettre en évidence des exemples de bonnes et mauvaises pratiques. Q10: Quels sont les impacts/effets directs et indirects de la mise en place d’un réseau de décideurs et le renforcement des structures nationales d’évaluation pour améliorer la prise en compte des résultats dans les politiques nationales ? Quels sont les facteurs qui facilitent/empêchent la prise en compte des résultats aux niveaux nationaux (mettre en évidence des exemples de bonnes et de mauvaises pratiques)?

3. Résultats attendus La consultation doit déboucher sur un rapport d’évaluation qui permet de : (i)

Faire le bilan de la performance du programme PASEC et identifier les freins à ces réalisations en abordant les 5 dimensions de l’évaluation : la pertinence ; l’efficacité, l’efficience, la viabilité des interventions du PASEC et l’impact de son action (Cf. points 2.2.1. à 2.2.4) ;

(ii)

Dégager les éléments d’ajustements à opérer pour que le PASEC soit en mesure de répondre, en tant que plateforme d’expertise et de renforcement des capacités nationales, aux attentes actuelles et futures des pays participants et des partenaires du secteur de l’éducation.

4. La méthodologie et l’organisation du travail Le consultant est appelé à mener une évaluation rigoureuse et participative. Les méthodes proposées par les consultants devront permettre de générer les données et les analyses nécessaires pour répondre aux questions de l’évaluation. Les activités que le consultant doit mener incluent mais ne se limitent pas nécessairement aux tâches suivantes :  procéder à une revue systématique de toute la documentation;

5

 s’entretenir avec et réaliser des enquêtes auprès des acteurs impliqués dans la conception, la gestion et la mise en œuvre du PASEC, des autorités et des cadres de tous les pays partenaires où se développe le programme, ainsi que des partenaires techniques et financiers qui l’appuient (questionnaires, entretiens) ;  mener trois études de cas portant sur trois pays ayant bénéficié ou bénéficiant de l’appui du PASEC. Le choix de ces pays se fera en concertation avec le comité du pilotage de l’évaluation. Le consultant sera amené à faire au moins une mission de terrain par pays ;  mettre en perspective les interventions du PASEC par rapport à d’autres expériences et initiatives similaires (SACMEQ, EGRA, PISA, Learning Metrics Task Force). Le consultant pourra proposer des activités jugées nécessaires à la réalisation des objectifs attendus. Il pourra notamment proposer des analyses complémentaires sur certains des aspects de l’évaluation dans les 3 pays dans la mesure où celles-ci seraient susceptibles d’être conduites dans le cadre de l’étude et d’apporter des enseignements indispensables à la bonne analyse de l’Initiative. 5. Profil de l’expertise nécessaire L’évaluation sera réalisée par une équipe pluridisciplinaire dont les rôles et la manière de fonctionner auront été précisés dans l’offre technique. Elle sera pilotée par un chef d’équipe, expert en évaluation de projets éducatifs, ayant au minimum le profil suivant : 

Diplôme universitaire avancé (au moins BAC+5) dans le domaine des sciences sociales, sciences humaines, politique publique, sciences de l’éducation, formation des enseignants ou tout autre domaine connexe ;



Au moins 10 ans d’expérience dans l’application de méthodes qualitatives et quantitatives de l’évaluation dans le domaine de l’éducation dont au moins 5 ans dans plusieurs pays d’Afrique subsaharienne, notamment francophones ;



Une compréhension approfondie et des connaissances étendues concernant les systèmes éducatifs et l’évaluation des apprentissages des élèves dans les pays concernés par l’évaluation, confirmées par un minimum de trois expériences professionnelles pertinentes ;



Au moins deux expériences dans la direction d’équipes d’évaluation dans le domaine de l’éducation dans différents pays ;



Au moins 3 expériences dans l’évaluation d’institutions, programmes et projets d’évaluation des apprentissages des élèves (en tant que chef ou membre d’équipe);



Expertise avérée dans la mise en œuvre d’un programme d’évaluation des acquis scolaires et/ou dans l’appui aux services et institutions chargés du pilotage des dispositifs nationaux d’évaluation des acquis scolaires ;



Excellente connaissance des procédures Développement ou de bailleurs comparables ;



Excellente maîtrise de la langue française, à l’écrit et à l’oral ;

de

l’Agence

Française

de

6



Excellentes capacités de communication avec des partenaires multiples ;



Excellentes capacités rédactionnelles.

L’équipe d’évaluateurs devra inclure les compétences d’expertise suivantes ; 

Expertise en évaluations des apprentissages des élèves et en conception, pilotage et gestion de programme d’évaluation des apprentissages;



Expertise en évaluations des programmes de renforcement des capacités ;



Expertise en analyse qualitative et quantitative des effets et résultats d’un projet ou d’un dispositif ;



Expertise en analyse économique du coût et de l’efficience de dispositifs ou de politiques, notamment dans le domaine de l’éducation ;



Expertise en conduite du changement dans le cadre d’institutions en charge de politiques publiques.

L’équipe proposée devra au minimum présenter les critères suivants : 

Diplôme universitaire avancé (BAC+5) dans le domaine des sciences sociales, sciences humaines, politique publique, sciences de l’éducation, formation des enseignants ou tout autre domaine connexe ;



Au moins 5 ans d’expérience dans leur domaine ;



Expérience avérée en Afrique subsaharienne dans le secteur de l’éducation par la participation à des projets ou à leur évaluation ;



Expérience avérée dans l’application de méthodes qualitatives et quantitatives de l’évaluation dans le domaine de l’éducation ;



Très bonnes connaissances des procédures Développement ou de bailleurs comparables ;



Excellentes capacités d’expression et de rédaction en français.

de

l’Agence

Française

de

La préférence sera donnée aux équipes d’évaluation multiculturelles avec équilibre entre les sexes et la représentation géographique. L’inclusion de consultants locaux dans l’équipe d’évaluation est très appréciée. 6. Durée La prestation totale pour la réalisation de cette évaluation est estimée à environ 50 hommes/jours. La prestation interviendra sur une période de trois mois et demi et débutera après signature du contrat entre le consultant et l’AFD. Le calendrier prévisionnel de la consultation porte sur la période allant de mi-avril à fin juillet 2016. 7. Rapports Les livrables sont :  La note méthodologique détaillée révisée sur la base des discussions avec le comité de pilotage explicitant l’approche méthodologique proposée par le consultant sélectionné en complément de l’offre technique présentée dans sa réponse à l’appel

7

d’offres. Cette note devra présenter la logique d’intervention du programme, expliciter la liste et la formulation des questions de l’évaluation, faire un premier point sur les informations fournies par le dispositif de suivi du programme, présenter l’approche méthodologique qui sera adoptée, y compris le choix des trois pays sur lesquels porteront les études de cas. Cette note méthodologique détaillée devra être remise 30 jours après l’ordre de service ;  Un rapport d’étape de l’évaluation au plus tard 8 semaines après la validation de la note méthodologique détaillée pour faire le point sur : la conduite de l’étude, présenter les premiers éléments de réponse aux questions évaluatives et proposer d’éventuels ajustements méthodologiques ;  Le rapport de l’évaluation qui sera soumis dans sa version provisoire et sa version finale (cette dernière incorpore toutes les remarques que le comité de suivi aura émis sur la base de la version provisoire et les éléments pouvant être tirés de l’atelier de restitution). Le rapport intègrera une synthèse d’une quinzaine de pages maximum. La version finale devra être disponible dans les 15 jours suivant l’organisation d’un atelier de restitution du rapport provisoire.  Une présentation des analyses, conclusions et propositions de l’étude lors d’un atelier de restitution final et dans une synthèse publiable des résultats, en introduction du rapport final. 8. Suivi de la mise en œuvre Les consultants travailleront encadrés par un comité de pilotage. Ce comité assurera les missions suivantes : (i) validation de l’approche méthodologique proposée par les consultants et (ii) suivi et validation du rapport provisoire et final de l’évaluation. Le comité de pilotage de cette évaluation sera composé d’un représentant de l’AFD, d’un représentant de la CONFEMEN, d’un représentant de la Banque Mondiale d’un représentant de la Coopération Suisse et d’un représentant d’un pays ayant participé à l’évaluation.

8