Termes de Référence Spécifiques Evaluation et audit technique du projet "Renouvellement du Port Minéralier de Nouadhibou" CONTRAT-CADRE BENEFICIAIRES 2009- LOT n° 2 EuropeAid/127054/C/SER/multi
Table de Matières 1. 1.1 1.2 1.3 1.4
2.
INFORMATIONS GÉNÉRALES ......................................................................................................... 4 Pays bénéficiaire ....................................................................................................................................................4 Contexte.................................................................................................................................................................4 Présentation du projet ............................................................................................................................................4 Programmes liés et autres activités des bailleurs de fonds.....................................................................................5
DESCRIPTION DES PRESTATIONS.................................................................................................. 5
2.1 Objectif général .....................................................................................................................................................5 2.2 Objectifs particuliers..............................................................................................................................................5 A. Evaluation ......................................................................................................................................................................5 B. Audit Technique.............................................................................................................................................................6 2.3 Services demandés.................................................................................................................................................6 A. Evaluation ......................................................................................................................................................................6 B. Audit Technique.............................................................................................................................................................8 2.4 Résultats à atteindre .............................................................................................................................................10
3. 3.1 3.2 3.3
4. 4.1 4.2 4.3 4.4
5. 5.1 5.2 5.3 5.4
6. 6.1 6.2 6.3 6.4 6.5 6.6
7. 7.1 7.2 7.3
PROFIL DES EXPERTS ..................................................................................................................... 10 Nombre d’experts demandés par catégorie et nombre d’hommes/jour par expert ...............................................10 Profils par expert: Expert 01 Chef de mission, Ingénieur Ponts et Chaussées ou BTP ........................................10 Profils par expert: Expert 02 Ingénieur en génie Mécanique ...............................................................................10
LIEU ET DURÉE ................................................................................................................................ 11 Période de démarrage...........................................................................................................................................11 Échéance ou durée prévue ...................................................................................................................................11 Calendrier indicatif : ............................................................................................................................................12 Lieu de la prestation.............................................................................................................................................12
RAPPORTS ......................................................................................................................................... 12 Contenu................................................................................................................................................................12 Langue .................................................................................................................................................................12 Calendrier de remise du rapport et des commentaires (évaluation/audit technique) ............................................13 Nombre d'exemplaires des rapports .....................................................................................................................13
INFORMATION ADMINISTRATIVE............................................................................................... 13 Interviews si nécessaire en indiquant pour quels experts/position .......................................................................13 Eventuelles limitations de la sous-traitance en raison de l'intérêt du projet .........................................................13 Langue du Contrat spécifique ..............................................................................................................................13 Demande d'une méthodologie succincte quand nécessaire ..................................................................................13 Présence d'un membre du Management team requise ou non pour le briefing et/ou débriefing ..........................13 Autres types de coûts autorisés à prévoir sous "Remboursables" ........................................................................13
DIVERS ............................................................................................................................................... 14 Visibilité ..............................................................................................................................................................14 Confidentialité .....................................................................................................................................................14 Calendrier musulman...........................................................................................................................................14
ANNEXE 1: DOCUMENTS ESSENTIELS POUR L'EVALUATION ......................................................... 15 ANNEXE 2 : PRESENTATION ET STRUCTURE DU RAPPORT FINAL D'EVALUATION .................. 16 1. 2. 3. 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 4. 5. 6 6.1. 6.2. 7.
Résumé ................................................................................................................................................................16 Introduction..........................................................................................................................................................16 Réponses aux questions/constatations..................................................................................................................16 Problèmes et besoins (Pertinence) .......................................................................................................................16 Réalisation de l'objectif (Efficacité)....................................................................................................................17 Gestion saine et bon rapport coût-efficacité (Efficience).....................................................................................18 Effets plus généraux (Impact) ..............................................................................................................................18 Probabilité de poursuite des résultats obtenus (Viabilité) ....................................................................................19 Renforcement mutuel (Cohérence) ......................................................................................................................19 Valeur ajoutée communautaire ............................................................................................................................20 Visibilité ..............................................................................................................................................................20 Appréciation générale ..........................................................................................................................................20 Conclusions et recommandations.........................................................................................................................20 Conclusions .........................................................................................................................................................20 Recommandations................................................................................................................................................21 Annexes du rapport..............................................................................................................................................21
ANNEXE 3 – OBSERVATIONS METHODOLOGIQUES .......................................................................... 22 ANNEXE 4 – GRILLE D'APPRECIATION DE LA QUALITE ................................................................... 23 ANNEXE 5 – MODELE DE RESUME DE RAPPORT D'EVALUATION DU CAD.................................. 25
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 2 sur 25
Liste des abréviations BAD BEI CAD CCCE CE CPT DAO DUE FADES FED IESBA IFAC ISA ISQC MCQ MET MMI MMT MMV MRE MSC MT NCF NPM OCDE ON PDM SNIM SMART SYSMIN TDR TM UE UM WILAYA
BANQUE AFRICAINE DE DEVELOPPEMENT BANQUE EUROPEENNE D'INVESTISSEMENT COMITE D'ASSISTANCE POUR LE DEVELOPPEMENT CAISSE CENTRALE DE COOPERATION ECONOMIQUE COMMUNAUTE EUROPEENNE CAHIER DE PRESCRIPTIONS TECHNIQUES DOSSIER D'APPEL D'OFFRES DELEGATION DE L’UNION EUROPEENNE FONDS ARABE POUR LE DEVELOPPEMENT ECONOMIQUE ET SOCIAL FOND EUROPEEN DE DEVELOPPEMENT INTERNATIONAL ETHICS STANDARDS BOARD FOR ACCOUNTANTS INTERNATIONAL FEDERATION OF ACCOUNTANTS INTERNATIONAL STANDARDS ON AUDITING INTERNATIONAL STANDARDS FOR QUALITY CONTROL MISSION DE CONTROLE QUALITE MINISTERE DE L’EQUIPEMENT ET DES TRANSPORTS MINISTERE DES MINES ET DE L'INDUSTRIE MODIFICATION DE LA MANUTENTION DE TO14 MODERNISATION DE LA MAINTENANCE DE LA VOIE MODERNISATION DES RESEAUX ELECTRIQUES DE ZOUERATE MODERNISATION DU SYSTEME DE COMMUNICATION MILLIONS DE TONNES NOUVEAU CENTRE DE FORMATION NOUVEAU PORT MINERALIER ORGANISATION POUR LA COOPERATION ET LE DEVELOPPEMENT ECONOMIQUE ORDONNATEUR NATIONAL DU FED PROJET DE DEVELOPPEMENT ET MODERNISATION SOCIETE NATIONALE INDUSTRIELLE ET MINIERE SPECIFIC, MEASURABLE, ACHIEVABLE, REALISTIC AND TIME SYSTEM OF STABILIZATION OF EXPORT EARNINGS FROM MINING PRODUCTS TERMES DE REFERENCE TONNE METRIQUE UNION EUROPEENNE UNITE MONETAIRE MAURITANIENNE, OUGUIYA WILAYA REGION ADMINISTRATIVE
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 3 sur 25
1.
INFORMATIONS GÉNÉRALES
1.1 Pays bénéficiaire République Islamique de Mauritanie 1.2 Contexte La politique du gouvernement relative au secteur minier est bien définie dans des textes récemment élaborés avec l’aide d’un certain nombre de Bailleurs de Fonds dont la Banque Mondiale, et elle s’inscrit bien dans le cadre du programme socioéconomique général du gouvernement. Au cours des quelques dernières années, le Ministère des Mines et de l’Industrie (MMI) a appliqué sans relâche une politique de réforme du secteur minier avec la prise de mesures qui ont déjà produit des résultats positifs sur le plan de l’accroissement des investissements intérieurs et extérieurs pour l’exploration. Les investissements dans le secteur minier ont plus que doublé, en passant de 4,4 millions de $US en 1997 à 13,5 millions de $US en 2001. La Mauritanie est réputée pour la diversité de son éventail minéralier, et le potentiel géologique de son sous-sol. En outre, de vastes régions de ce pays n’ont pas encore été explorées. Les activités minières actuelles sont dominées par le minerai de fer. En plus du principal producteur de minerai de fer, SNIM, il existe un projet de cuivre et d'or à Akjoujt, en cours de développement par l’opérateur canadien First Quantum, et un projet d’or dans la Région du Tasiast à 230 km de Nouadhibou et également en cours de développement par la société espagnole Rio Narcéa (Kinross). Parallèlement à ces activités le pays a connu, au cours des dernières années, une expansion dans les activités d’exploration à financement principalement privé. Ces activités d’exploration se poursuivent dans divers secteurs. Par ailleurs et dans le domaine du minerai de fer un projet important de production de 7 MT / an de Pellets pour Réduction Directe dans la Région du Tiris est à un stade avancé de son Etude de Faisabilité. La stratégie du gouvernement porte principalement sur les aspects suivants : • • • • •
Rationalisation du rôle de l’État par la réduction de son intervention dans l’exploration minière et les activités de développement ; Durabilité des organismes du MMI participant au contrôle et à la réglementation des activités minières ; Constitution d’une capacité de gestion de l’environnement ; Promotion des investissements du secteur dans l’industrie minière; Augmentation de la production annuelle du minerai de fer (16 millions. TM/an en 2013) 1.3
Présentation du projet
La SNIM a engagé un ambitieux Programme de Développement et de Modernisation (PDM) qui vise à moderniser l’infrastructure existant de la SNIM et à augmenter, d’une manière significative, sa capacité de production. Ce programme comprend huit projets comme suit : • • • • • • • •
Construction d’une usine de production de 4 Mt/an de concentré magnétique à partir du gisement de Guelb-El-Rhein (Guelb II), Nouveau Port Minéralier (NPM), Modernisation de la Maintenance de la Voie (MMV), Modernisation du Système de Communication (MSC), Modification de la Manutention de TO14 (MMT), Modernisation des Réseaux Electriques de Zouerate (MRE), Extension des Cités et Réhabilitation des hôtels, Nouveau Centre de formation (NCF)
D'un coté le Projet financé par l'Union européenne a soutenu les travaux du Nouveau Port Minéralier à travers le financement de l’assistance technique pour la supervision des travaux du Port. D'autre part, elle a aussi appuyé le volet Modernisation de la Maintenance de la Voie à travers la fourniture d’une quantité importante de rails et de systèmes d’attaches permettant de répondre aux atteintes du programme de renouvellement intensif de la voie SNIM. Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 4 sur 25
En effet, la voie ferrée SNIM située dans une région désertique, est soumise à des conditions climatiques très sévères (par ex. sable, chaleur, vents fréquents). Ces conditions entraînent une usure accélérée des rails qui revêt un caractère exceptionnel. Pour la plupart des réseaux ferroviaires, les rails sont renouvelés pour cause de fatigue sur base d'une durée de vie qui peut dépasser les 600 millions tonnes brutes. Dans le cas de la voie ferrée SNIM, les rails sont renouvelés, à cause essentiellement de l’usure et du fluage, sur base d’une durée de vie de l’ordre de 200 à 220 millions de tonnes brutes transportées. Ce phénomène d’usure accélérée nécessite de renouveler chaque année et de manière continue une partie des rails, afin de garantir une circulation des trains minéraliers en toute sécurité. Dans le cadre de sa stratégie d’augmentation de capacité, la SNIM s'est engagée dans un vaste programme de généralisation du rail de profil lourd 136RE et de renouvellement du plancher métallique vétuste par des traverses en bois et plus tard en béton, pour que sa voie ferrée soit capable de supporter un trafic annuel supérieur à 12 millions de tonnes et avec le passage à 30 tonnes par essieu. Le projet de fournitures déjà achevé permettra le renouvellement complet de 70 km de voie par an et assure la couverture d’approvisionnement en rails et attaches pour une période de 4 ans (2011 à 2014). Le financement du projet par les fonds FED contribue au budget d’investissement de la SNIM et lui donne plus de ressources pour réaliser son Programme de Développement et de Modernisation. Faisant partie des Fonds SYSMIN, l'état mauritanien (dernier bénéficiaire de cette aide) rétrocède à la SNIM les fonds pour son utilisation sous forme de prêt à faible intérêt et à 20 ans d'échéance totale. 1.4
Programmes liés et autres activités des bailleurs de fonds
La Mauritanie a bénéficié à trois reprises d’interventions financées sur les fonds de la facilité SYSMIN. La première intervention (6 MAU II), dotée d’un budget de 18 M€, fut accordée en 1988 pour un projet intitulé Programme de réhabilitation de la SNIM. L’intervention faisait partie d’un programme de 61,5 M€ d’investissement de réhabilitation pris en charge par un groupe de bailleurs de fonds (CE, BEI, BAD, CCCE, Koweit, FADES). La deuxième intervention au titre de la facilité SYSMIN (7 MAU 49), intitulé Réhabilitation et rationalisation de la SNIM entra en vigueur 1995 et fut dotée d’un budget de 58,0 M€. Le dernier marché de ce programme fut signé en juin 2001. Les objectifs spécifiques de l’intervention furent de résoudre les problèmes techniques des trois principaux centres de perte de l’entreprise. La troisième intervention de 45 M€ est relative au présent projet d’un nouveau Port Minéralier à Nouadhibou. Ce Port devra assurer à long terme la manutention d’un tonnage plus important de minerai tout en sécurisant les exportations minières du pays. La mise en conformité des capacités de manutention de la chaîne logistique en amont du nouveau port avec son débit de chargement accru (chemin de fer, culbuteur, parc à minerai) sera assurée par la SNIM.
2.
DESCRIPTION DES PRESTATIONS 2.1
Objectif général
L'objectif général de la prestation est la préparation d'un document qui ressemble les conclusions des trois composantes souhaitées, à savoir: i) évaluation ex post (résultats par indicateurs de mesure SMART) du projet déjà réalisé, en vérifiant l'atteinte des objectifs généraux visés par la convention de financement et en mesurant les résultats atteints et les impacts déjà observés, et ii) audit technique sur les marchés de fournitures et de services du projet.
2.2
Objectifs particuliers
A. Evaluation Les objectifs particuliers de la composante évaluation sont les suivants: •
avoir une analyse de la cohérence des objectifs de départ sur la Convention de Financement et avenants, ainsi que du changement d'orientation que celle-ci a eu au long du projet;
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 5 sur 25
• • • • • •
prendre connaissance et appropriation de l'analyse de l'efficacité, l'efficience, la pertinence, l'impact et la durabilité du projet; appliquer des critères pour les indicateurs de mesure aux résultats attendus (Spécifique, Mesurable, Atteignable, Réaliste et défini par le Temps); identifier les difficultés et contraintes éventuellement rencontrées tout au long de la mise en œuvre du projet; mesurer les engagements relevant de la partie gouvernementale; formuler des recommandations pertinentes en rapport avec les aspects évalués; formuler un avis concernant plus précisément l'emploi des fonds SYSMIN pour les étapes à venir.
B. Audit Technique Les objectifs particuliers de la composante Audit Technique sont les suivants: • • • • • • •
2.3
définir l’adéquation des stratégies et moyens mis en œuvre par rapport aux objectifs, notamment dans le marché de services de contrôle; étudier les rapports (marché de services de contrôle et réception de rails dans le marché de fournitures) pour établir son opérationnalité; analyser les documents d'information (rapports du bureau de contrôle, PV de réunions de chantier, ordres de service, correspondances, etc.); analyser la mise en œuvre du plan de protection de l'environnement, de la sécurité du travail et des spécifications techniques du CPT pour la construction du nouveau port minéralier; détailler la documentation de la mise en œuvre des travaux (mémoire des travaux et changements / problèmes survenus cf. problème des pieux); identifier les situations précontentieuses; évaluer les travaux réalisés (nouveau port et équipement de manutention et stockage – lot 05) selon les règles de l'art. Services demandés
A. Evaluation 2.3.1 Point à examiner Les prestations concernant l'évaluation du projet doivent répondre aux exigences de la dernière phase du cycle de projet. Les consultants vérifieront, analyseront et apprécieront avec soin les points énoncés dans l'annexe 2 "Présentation et structure du rapport final". La liste de ces points ne se veut pas exhaustive. Les questions renvoient aux cinq critères adoptés par le CAD de l'OCDE (pertinence, efficacité, efficience, viabilité et impact) et aux critères d'évaluation spécifiques de la CE (valeur ajoutée communautaire et cohérence). Des réponses précises sont attendues pour toutes les questions spécifiques mentionnées dans l’annexe 2. Ces réponses ne devront dépasser une page afin que le rapport puisse respecter la taille maximale. Les consultants vérifieront, analyseront et apprécieront l'incidence des questions transversales sur le projet ainsi que la façon dont elles sont prises en compte. Il est attendu d'eux qu'ils s'appuient sur leur jugement professionnel et leur expérience pour passer en revue tous les facteurs pertinents et les porter à l'attention du gouvernement concerné et de la Commission européenne. 2.3.2 Méthodologie Des orientations méthodologiques sont disponibles sur le site Internet d'EuropeAid consacré à la méthodologie (http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_fr.htm) qui fournit des indications à l'intention tant des gestionnaires de l'évaluation (personnel de la Commission) que des équipes d'évaluation (consultants), ainsi que dans le document "Méthodes de l'Aide - Lignes directrices - Gestion du Cycle de Projet" (EuropeAid, mars 2004), accessible à l'adresse suivante: http://ec.europa.eu/europeaid/reports/pcm_guidelines_2006_fr.pdf Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 6 sur 25
2.3.3 Phases Phase documentaire - Démarrage Au cours de l'étape de démarrage de la phase documentaire, les documents de programmation utiles doivent être examinés, de même que les documents arrêtant la stratégie/le cadre politique plus large. Le chef de mission doit ensuite analyser le cadre logique du projet. Sur la base des informations recueillies, le chef de mission doit: • • •
• •
décrire le contexte de la coopération au développement; formuler des observations sur les cadres logiques; formuler des observations sur les points/questions d'évaluation (voir l'annexe 2, point 3) et proposer une autre série de questions d'évaluation ou une série de questions d'évaluation complémentaire en justifiant la pertinence; approfondir l'évaluation en affinant les questions en sous-questions, identifier des indicateurs provisoires ainsi que les moyens de vérification s'y rapportant et décrire une stratégie d'analyse ; proposer un plan de travail (intégré avec les autres volets) pour la finalisation de la première phase; confirmer le calendrier définitif.
Une note méthodologique sera établie pendant la phase de démarrage (voir le point 5). Phase documentaire – Finalisation. Phase de terrain Au cours de l'étape de finalisation de la phase documentaire à Nouadhibou, l'équipe d'évaluation doit: • • • • •
• •
procéder à un examen systématique des documents utiles disponibles (voir l'annexe 1); présenter une méthode indicative de l'évaluation globale du programme; mener des entretiens avec le gestionnaire du programme et les partenaires clés en Mauritanie (Port Autonome de Nouadhibou, MET, etc.) finaliser les questions et sous-questions d’évaluation si nécessaire; présenter chaque question d'évaluation, en indiquant les informations déjà recueillies et leurs limites, donner les premiers éléments de réponse, préciser les points qui restent à aborder et les hypothèses encore à tester et décrire une méthode complète pour répondre à la question; établir et présenter la liste des outils à utiliser au cours de la phase de terrain; dresser la liste de toutes les mesures préparatoires déjà prises en vue de la phase de terrain.
Sur le terrain, dans les lieux de stockage de la SNIM (Chacal), l'équipe d'évaluation doit : •
•
présenter son plan de travail détaillé, qui comportera une liste indicative des personnes à interroger et précisera les enquêtes à mener et la date des visites à effectuer. Ce plan de travail doit être mis en œuvre avec suffisamment de souplesse pour pouvoir faire face aux éventuelles difficultés de dernière minute sur le terrain. Dès lors qu'un écart important par rapport au plan de travail ou au calendrier convenu est perçu comme susceptible de menacer la qualité de l'évaluation, il convient d'en discuter immédiatement avec le gestionnaire de l'évaluation; veiller à entretenir des contacts adéquats avec les différentes parties prenantes et à assurer la consultation et la participation de ces dernières; collaborer étroitement avec les autorités et organismes publics compétents tout au long de leur mission; s'appuyer sur les sources d'information les plus fiables et les plus appropriées et harmoniser les données provenant de sources différentes afin d'en faciliter l'interprétation ;
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 7 sur 25
•
•
élaborer une synthèse de ses travaux à l'issue de la phase de terrain, examiner la fiabilité et la portée des informations recueillies et présenter ses premières conclusions au cours d'une réunion avec la DUE et les partenaire clés. prendre contact avec le chef de projet du Port Minéralier, afin d'établir les contacts avec la mission de contrôle (MDC) et faire une visite au chantier, consulter les rapports et la documentation de la MDC afin de se faire une idée concrète du marché de service de supervision des travaux du nouveau Port Minéralier de la SNIM.
Phase de synthèse Cette phase est principalement consacrée à l'élaboration du rapport provisoire. Les consultants doivent veiller à : • •
ce que leurs appréciations soient objectives et équilibrées, leurs affirmations exactes, factuelles et vérifiables et leurs recommandations réalistes ; prendre clairement acte, lors de l'élaboration du rapport, des changements allant dans la direction souhaitée dont ils ont connaissance afin d'éviter d'induire le lecteur en erreur, de susciter des irritations ou de commettre des impairs.
Si le gestionnaire de l'évaluation considère que le rapport provisoire est de qualité suffisante, il le transmet, pour observations, aux membres du groupe de référence. Sur la base des observations formulées par les membres du groupe de référence et recueillies par le gestionnaire de l'évaluation, l'équipe d'évaluation modifiera et révisera le projet de rapport. Les observations demandant des améliorations de la qualité méthodologique doivent être prises en compte, sauf lorsqu'il est démontré que cela est impossible, ce que l'équipe évaluation doit pleinement justifier. Les observations sur le fond du rapport peuvent être acceptées ou rejetées. Dans ce dernier cas, l'équipe d'évaluation doit motiver sa position et en donner les raisons par écrit. B. Audit Technique 2.3.4 Point à examiner Les prestations concernant l'audit technique doit répondre à l'adaptation du projet aux exigences techniques de la SNIM envisageant une augmentation de la production, parmi d'autres paramètres. De la même façon que l'évaluation, les consultants vérifieront, analyseront et apprécieront avec soin les points énoncés dans l'annexe 2 "Présentation et structure du rapport final". La liste de ces points ne se veut pas exhaustive. Des réponses précises sont attendues pour toutes les questions spécifiques mentionnées dans l’annexe 2. Ces réponses ne devront dépasser une page afin que le rapport puisse respecter la taille maximale. 2.3.5 Phases Phase documentaire - Démarrage Au cours de l'étape de démarrage de la phase documentaire, les documents techniques de chacun des marchés (services + fournitures) doivent être examinés, de même que les documents arrêtant la stratégie d'élargissement de la SNIM concernant les objectifs d'augmentation de la production dans la période du projet. Le chef de mission doit ensuite analyser le cadre logique du projet. Sur la base des informations recueillies, l'auditeur technique doit: • •
• •
décrire brièvement les conditions de production et exploitation des ressources minières de la SNIM; formuler des observations sur le montage du projet et ses modifications ultérieures (passer d'un marché de travaux + services à un autre de services + fournitures) suite à l'arrêt de la coopération en 2008; proposer une autre série de questions complémentaires en justifiant la pertinence des changements techniques introduits dans la conception du projet; approfondir l'audit en affinant les questions en sous-questions;
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 8 sur 25
• •
proposer un plan de travail (intégré avec les autres volets) pour la finalisation de la première phase; confirmer le calendrier définitif.
Une note méthodologique sera établie pendant la phase de démarrage (voir le point 5). Phase documentaire – Finalisation. Phase de terrain Au cours de l'étape de finalisation de la phase documentaire à Nouadhibou, l'auditeur technique doit: • • •
• •
procéder à un examen systématique des documents techniques disponibles; présenter une méthode indicative l'audit technique; mener des entretiens avec le personnel des départements techniques liées au projet d'augmentation de la production (département de voies, dép. d'exploitation; unités de soudure; entretien, etc.); établir et présenter la liste des outils à utiliser au cours de la phase de terrain; dresser la liste de toutes les mesures préparatoires déjà prises en vue de la phase de terrain.
Sur le terrain, dans les lieux de stockage de la SNIM (Chacal) et sur le chantier du nouveau quai du port, l'auditeur technique doit : •
• •
•
•
•
• •
analyser l'adéquation des moyens mis en œuvre par le bureau de surveillance (Ressources humaines, Equipements, moyens de contrôle, etc.) en relation à leur mission; étudier si l'aspect opérationnel du macro reporting fait dans le cadre des marchés de services et aussi dans le marché de fournitures (ALANET) a 'il été opérationnel analyse technique des documents techniques émises dans le cadre du marché de services de contrôle et surveillance des travaux de renouvellement du port minéralier: rapports de chantier, P.V de réunion de chantier, les rapports du bureau de contrôle, les ordres de service, le cahier de chantier et les correspondances et autres; analyse technique des documents techniques émises dans le cadre du marché de fournitures: rapports de production en usine, P.V de réunion de chantier de montage des équipements du lot 05, les termes de référence pour la construction du génie civil du lot 05, spécifications techniques requises dans le DAO pour les marchés, et autres; considérer la mise en place, suivi et actions de protection de l'environnement de la sécurité du travail dans la mise en œuvre des marchés de fournitures et montage du lot 05; faire un analyse approfondie sur les faits saillants des deux marchés (services + fournitures) et sur la documentation nécessaire à transmettre pour des éventuelles interventions à l'avenir (problème des pieux, p. ex.); déceler des situations précontentieuses liées aux aspects techniques de la mise en œuvre des activités du projet; donner un avis sur le lotissement du marché des travaux du port Minéralier, ses avantages et ses inconvénients.
Phase de synthèse De la même façon que dans l'évaluation, l'auditeur technique doit veiller à : • •
ce que ses appréciations soient objectives et équilibrées, ses affirmations exactes, factuelles et vérifiables et ses recommandations réalistes ; prendre clairement acte, lors de l'élaboration du rapport, des changements allant dans la direction souhaitée dont ils ont connaissance afin d'éviter d'induire le lecteur en erreur, de susciter des irritations ou de commettre des impairs.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 9 sur 25
Si le gestionnaire de l'évaluation considère que le rapport provisoire est de qualité suffisante, il le transmet, pour observations, aux membres du groupe de référence. Sur la base des observations formulées par les membres du groupe de référence et recueillies par le gestionnaire de l'évaluation, l'auditeur technique modifiera et révisera la partie correspondante à son volet dans le projet de rapport. 2.4 Résultats à atteindre De cette mission, il est attendu une évaluation qui rapport conforme à tout point de vue aux indications et description de la rubrique 5 "RAPPORTS". • • •
3.
La DUE, l'ON et la SNIM ont une bonne compréhension de la pertinence de ce projet. Ils disposent de recommandations pour la continuation de leur développement dans le secteur. Le rapport est opérationnel.
PROFIL DES EXPERTS
3.1 Nombre d’experts demandés par catégorie et nombre d’hommes/jour par expert La présente prestation devra mobiliser 2 experts: • •
Pour l'évaluation, un (e) ingénieur Technicien Supérieur (catégorie Sénior), Chef de Mission, 22 h/j Pour l'audit technique, un (e) ingénieur spécialisé dans le domaine minier (catégorie Senior), 18 h/j
3.2 Profils par expert: Expert 01 Chef de mission, Ingénieur Ponts et Chaussées ou BTP 3.2.1
Exigences minimales • Ingénieur Ponts et Chaussées spécialisé ou Travaux Publics, formation universitaire BAC+5 ou niveau Master. • Formation spécifique à l'évaluation des projets. • Au moins dix (10) ans d'expérience dans le domaine des études/évaluation des projets. • Il doit parler et écrire couramment le français.
3.2.2
Expériences spécifiques • Expérience dans la préparation de cahiers de prescriptions techniques pour des projets de voies ferrées et/ou dans le dimensionnement des structures portuaires. Référence: 4 projets de voie ferrée ou 4 projets de structures portuaires • Expérience dans l'exercice d'évaluation des projets techniques. Référence: quatre (4) évaluations similaires.
3.3 Profils par expert: Expert 02 Ingénieur en génie Mécanique 3.3.1
Exigences minimales • Ingénieur ou Technicien Supérieur, formation universitaire BAC+5 ou niveau Master en construction métallique. • Au moins cinq (5) ans d'expérience dans le domaine des études/suivi/fabrication dans le domaine de la construction métallique et/ou transports minéraliers, dont deux (2) dans les pays en voies de développement. • Il doit parler et écrire couramment le français.
3.3.2
Expériences spécifiques • Préparation et vérification des cahiers spéciaux des charges pour la fourniture de rails (norme EN13674-1) Référence: 30.000 tonnes de rails (globale).
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 10 sur 25
•
•
Expérience spécifique pertinente comportant des études de transports de matières primaires ou matériaux lourds. Référence: trois (3) études ou audits techniques similaires. Expérience dans les aspects organisationnels et de construction d'infrastructures des transports de matières primaires. Référence: trois (3) suivis et contrôle des études similaires, dont un (1) spécifique du transport par chemin de fer.
Afin de permettre l'estimation correcte de la durée des expériences pertinentes incluses dans les CV des 2 experts, les dates de début et fin de celles-ci seront décrites en format mois / année (mm/aa). Toute expérience qui ne serait pas présentée conformément à cette instruction pourrait être écartée de l'évaluation. Les profils des experts sont d'abord évalués par rapport à leur conformité administrative; c.à.d. le respect des exigences minimales est évalué. Les offres dont les experts n'arrivent pas au minimum de ces exigences ne seront pas conformes administrativement, et l'offre sera rejetée. L'évaluation technique des offres est faite sur base des expériences spécifiques.
4. 4.1
LIEU ET DURÉE Période de démarrage
Les dates indiquées ci-dessous sont susceptibles d'être modifiées avec l'accord de l'ensemble des parties concernées. La date de démarrage des prestations est estimée au 15 septembre 2012 pour une durée totale de 39 jours calendaire. 4.2
Échéance ou durée prévue
La mission se déroulera, de façon indicative, comme suit:
Activités
Durée Totale
Voyage International
2 jours
Phase documentaire • Réunion ON, DUE • Présentation note méthodologique Voyage Interurbain
6 jours
Phase documentaire - Terrain • Réunion SNIM • Entretiens avec les responsables de la gestion du projet. • Élaboration/présentation note méthodologique • Visite lieux de stockage du projet Voyage Interurbain
20 jours
2 jours
2 jours
Phase de synthèse • Élaboration du rapport final provisoire Voyage International
4 jours
Phase finale • Finalisation du rapport Total
2 jours
2 jours
Durée des experts (en jours calendaires)
CdM ..... 1 jour Ing ........ 1 jour CdM ... 3 jours Ing ...... 3 jours CdM ..... 1 jour Ing......... 1 jour CdM . 10 jours Ing ..... 10 jours
CdM ..... 1 jour Ing......... 1 jour CdM ... 3 jours Ing ....... 1 jours CdM ..... 1 jour Ing ........ 1 jour CdM ... 2 jours
Lieu
Nouakchott
Nouadhibou
Nouakchott
Siège
40 jours
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 11 sur 25
4.3
Calendrier indicatif :
4.4
Lieu de la prestation
La prestation doit se dérouler dans un premier temps à Nouakchott (DUE) pour la récolte principale de données. Ultérieurement, les experts doivent voyager à Cansado au siège de la SNIM (Nouadhibou, Mauritanie) pour l'inspection des lieux de stockage des fournitures, entretien et pour compléter la documentation. Une dernière phase, pour la rédaction du document final se réalisera au siège du consultant.
5. 5.1
RAPPORTS Contenu
Tous les rapports sont soumis à des exigences de qualité. Les textes doivent être clairs, descriptifs et factuels. Le texte des deux rapports doit être illustré, selon le cas, par des cartes et des graphiques et des tableaux comparatives (ex. selon les prévisions de production). Les rapports seront présentés sous forme papier et en version électronique. L'equipe des experts présentera les rapports suivants: 1. Note méthodologique démarrage (10 pages maximum), à la fin de la première semaine après le début des travaux des experts. Dans ce rapport, le consultant fera part de ses premières constatations résultant de la prise de connaissance des documents du projet, décrira les difficultés qu'il prévoit au niveau de la collecte de données, de même que les autres difficultés rencontrées ou prévues et présentera son programme de travail. 2. Rapport provisoire de l'évaluation et audit tehnique (intégrés, 50 pages maximum) respectant la structure exposée à l'annexe 2 et tenant dûment compte des observations reçues de la part des membres du groupe de référence. En plus de répondre aux questions d'évaluation, le projet de rapport final doit synthétiser toutes les constatations et conclusions en une appréciation globale du projet/programme. 3. Rapport final de l'évaluation et l'audit technique présentant les mêmes caractéristiques que celles exposées au point 2 ci-dessus, intégrant les éventuelles observations reçues des parties concernées durant le séminaire sur le projet de rapport. 5.2
Langue
La langue des rapports sera le français.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 12 sur 25
5.3
Calendrier de remise du rapport et des commentaires (évaluation/audit technique) • •
•
5.4
Le rapport provisoire doit être présenté dans les 4 jours suivant la fin de la phase de terrain. Dans les 10 jours suivant l'envoi du rapport provisoire, les commentaires devront être transmis à la DUE qui se chargera de la ventiler aux autres acteurs impliqués. La DUE se chargera de la compilation des commentaires et les transmettra au prestataire. Si ce délai est passé, ou que la DUE ne demande pas exceptionnellement un délai supplémentaire (maximum 10 jours) les rapports seront considérés comme approuvés Dans les 10 jours suivant la réception des commentaires, le Chef de Mission intégrera les commentaires et présentera le rapport final. Nombre d'exemplaires des rapports
Pour tous les rapports, les versions provisoires du rapport final seront transmises de façon électronique à la DUE, qui la transmettra aux autres acteurs. Les cinq (5) rapports en version papier (+ CD) seront remis à la DUE qui se chargera de les transmettre à la partie mauritanienne. Le consultant joindra en annexe le modèle de résumé de rapport d'évaluation du CAD (voir annexe 5). Le rapport sera diffusé sous l'entière responsabilité de la Commission. La qualité du rapport final sera appréciée par le gestionnaire de l'évaluation dans la délégation à l'aide d'une grille d'appréciation de la qualité (voir annexe 4). Les explications sur la manière de remplir cette grille figurent à l'adresse suivante : http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_stg_fr.htm
6.
INFORMATION ADMINISTRATIVE
6.1
Interviews si nécessaire en indiquant pour quels experts/position
Pas d’application 6.2
Eventuelles limitations de la sous-traitance en raison de l'intérêt du projet
Aucune sous-traitance n'est permise. 6.3
Langue du Contrat spécifique
La langue du contrat sera le français. 6.4
Demande d'une méthodologie succincte quand nécessaire
La Mission émettra une note méthodologique (voir calendrier). 6.5
Présence d'un membre du Management team requise ou non pour le briefing et/ou débriefing
Pas d’application. 6.6
Autres types de coûts autorisés à prévoir sous "Remboursables"
Les remboursables sont mentionnés dans l’offre financière, à savoir : • • • •
les per diem les voyages internationaux les transports interurbains les frais de reprographie
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 13 sur 25
7. 7.1
DIVERS Visibilité
L'Union européenne a défini des lignes directrices dans le but d’assurer la visibilité des projets financés globalement ou partiellement par l'Union européenne (UE) pour témoigner clairement du soutien apporté. Elles recouvrent l'identité écrite et visuelle de l'UE et doivent être appliquées sur tous moyens opérationnels et supports à vocation purement informative ou non utilisés dans le cadre des projets. La prise en compte de ces lignes directrices est obligatoire pour tous les contractants et/ou partenaires d'exécution liés par des contrats et des accords de financement qui y font explicitement référence, qu'ils aient été signés par l'Union européenne ou par une autre autorité contractante. Vous trouverez ci-après l’adresse Web vous donnant accès à l’ensemble des lignes directrices : http://europa.eu.int/comm/europeaid/visibility/index_fr.htm Les actions de visibilité se feront en concertation avec la Délégation de l'Union européenne à Nouakchott. 7.2
Confidentialité
Les experts sélectionnés doivent faire preuve d'une neutralité, d'une impartialité, d'une discrétion et d'une confidentialité totales. Après la prestation les experts sont tenus à respecter la confidentialité complète des informations traitées. 7.3
Calendrier musulman
A noter que la Mauritanie fonctionne selon le calendrier musulman, et la semaine ouvrable est de dimanche à jeudi.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 14 sur 25
ANNEXE 1: DOCUMENTS ESSENTIELS POUR L'EVALUATION Liste indicative (documents détaillés remis en début de mission) • • • • • • • • • • • •
Textes juridiques et engagements politiques relatifs au projet/programme. Document de stratégie concernant le Mauritanie et programmes indicatifs (et équivalents) pour les périodes couvertes. Documents des pouvoirs publics sur les politiques à mener aux niveaux national et sectoriel. Étude d'identification du projet. Convention de financement du projet et avenants. Convention État – SNIM pour la retrocession des fonds Accord tripartite pour les modalités du prêt Document pour l'appel d'offres des lots Rapports techniques des visites Rapports d'évaluation et propositions d'attributions des marchés Documents utiles fournis par les partenaires nationaux/locaux et d'autres donateurs. Documents d'orientation et de planification utiles fournis par les partenaires nationaux/locaux et d'autres donateurs.
Note : L'équipe d'évaluation doit repérer et obtenir tout autre document dont l'analyse pourrait être utile, à l'occasion de ses entretiens avec des personnes qui sont ou ont été associées à la conception, à la gestion et à la supervision du projet/programme. Des personnes-ressources doivent être recherchées pour la collecte d'informations et de données au sein des services de l’Union Européenne, de l'organisme de mise en œuvre et/ou de l'administration publique du pays.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 15 sur 25
ANNEXE 2 : PRESENTATION ET STRUCTURE DU RAPPORT FINAL D'EVALUATION Le rapport final ne doit pas dépasser 50 pages. Les informations complémentaires sur le contexte général, le programme ou les aspects liés à la méthodologie ou à l'analyse figureront dans les annexes. La page de couverture du rapport portera la mention suivante: «La présente évaluation, financée et guidée par la Commission européenne, est présentée par [nom de la société de conseil]. Le rapport ne reflète pas nécessairement les points de vue et opinions de la Commission européenne.»
Les principaux points du rapport d'évaluation sont les suivants: 1. Résumé Rédigé de manière condensée, précise et exhaustive, le résumé constitue un élément essentiel du rapport. Il doit être court (pas plus de cinq pages), se concentrer principalement sur l'objet principal ou les points essentiels de l'évaluation, décrire les principaux points analytiques et exposer clairement les grandes conclusions, les enseignements tirés et les recommandations spécifiques. Il doit renvoyer aux pages ou paragraphes correspondants du texte principal. 2. Introduction L'introduction contient une description du programme et de l'évaluation et fournit au lecteur suffisamment d'explications sur la méthode suivie pour lui permettre d'apprécier la crédibilité des conclusions et d'avoir connaissance des éventuelles limites ou faiblesses de l'exercice. 3. Réponses aux questions/constatations Ce point présente les questions d'évaluation et leurs réponses, accompagnées d'éléments de preuve et d'une justification. Le rapport doit s'articuler autour des réponses aux questions d'évaluation, qui recouvrent systématiquement les critères d'évaluation du CAD, à savoir pertinence, efficience, efficacité, impact et viabilité, ainsi que les critères spécifiques à la Commission que sont la cohérence et la valeur ajoutée. Dans le cadre d'une telle approche, les critères seront traduits en questions spécifiques, ce qui contribuera à les rendre plus précis et plus accessibles et permettra de structurer les principales préoccupations des parties prenantes, de manière à optimiser l'objet et l'utilité de l'évaluation. 3.1. Problèmes et besoins (Pertinence) Mesure dans laquelle les objectifs de l'action de développement (projets/programme) correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales et aux politiques des partenaires et de la Commission européenne. L'analyse de la pertinence portera essentiellement sur les points suivants, liés à la conception du programme : •
• • • • •
la mesure dans laquelle le programme est compatible avec le cadre politique et le cadre sectoriel dans lesquels le projet s'inscrit et leur est complémentaire, en particulier la stratégie de coopération et le programme indicatif national, ainsi que la politique de développement et les politiques sectorielles du gouvernement partenaire ; la qualité de l'analyse des enseignements tirés de l'expérience passée et des questions de viabilité la cohérence entre le programme et les initiatives actuelles/en cours ; la qualité de l'analyse des problèmes ainsi que de la logique d'intervention et de la matrice du cadre logique du programme et l'adéquation des indicateurs de réalisation objectivement vérifiables ; la mesure dans laquelle les objectifs annoncés sont adaptés aux problèmes identifiés et aux besoins sociaux ainsi que la clarté et la cohérence interne des objectifs énoncés ; la mesure dans laquelle la nature des problèmes initialement identifiés a changé ;
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 16 sur 25
• • • • • • • •
la mesure dans laquelle les objectifs ont été actualisés pour tenir compte de l'évolution de la situation; le degré de flexibilité et d'adaptabilité permettant de réagir rapidement à d'éventuels changements de circonstances ; la qualité de l'identification des principales parties prenantes et des groupes cibles (notamment l'analyse selon le genre et l'analyse des groupes vulnérables) et des questions liées aux capacités institutionnelles ; la participation des parties prenantes à l'élaboration et à la gestion/mise en œuvre du programme, le niveau d'appropriation locale et les capacités d'absorption et de mise en œuvre ; la qualité de l'analyse des options stratégiques, de la justification de la stratégie de mise en œuvre recommandée et des modalités de gestion et de coordination ; le réalisme du choix et de la quantité des ressources à mettre en œuvre (financières, humaines et administratives) ; l'analyse des hypothèses et des risques ; l'adéquation des modalités de suivi et d'évaluation recommandée.
Questions spécifiques (A développer/compléter dans la phase de démarrage): 1) Les problématiques qui fondent le programme sont-elles toujours d'actualité au regard de l'évolution des contextes ? 2) Les stratégies d'intervention et notamment les formulations du cadre logique, des objectifs globaux et spécifiques, des résultats attendus et le contenu des activités du programme sont-elles effectivement adaptées à ces problématiques ? 3) Les procédures et méthodes de mise en oeuvre sont-elles en réelle adéquation avec ces problématiques ? 3.2. Réalisation de l'objectif (Efficacité) Le critère d'efficacité porte sur la mesure dans laquelle le programme a été capable d’obtenir les résultats escomptés et les objectifs spécifiques. • • • •
• • •
L'analyse de l'efficacité aura donc pour objectif d'examiner : si les avantages prévus ont bien été générés et reçus, du point de vue de l'ensemble des parties prenantes (notamment les femmes et les hommes et les groupes vulnérables spécifiques) ; si les bénéficiaires prévus ont participé à l'intervention ; si les comportements des organisations ou groupes bénéficiaires (à différents niveaux) ont changé et la mesure dans laquelle la modification des dispositions et caractéristiques institutionnelles a produit les améliorations prévues; si les hypothèses et les évaluations des risques au niveau des résultats se sont révélées insuffisantes ou erronées ou si des facteurs externes imprévus sont intervenus, la souplesse avec laquelle la gestion a été adaptée pour garantir que le but soit malgré tout atteint et, dans un tel contexte, la manière dont le projet a été soutenu par les parties prenantes (le gouvernement, la Commission - siège et délégation etc.) ; si l'équilibre des responsabilités entre les différentes parties prenantes était approprié et le type de mesures d'accompagnement prises par les autorités partenaires; la façon dont les résultats imprévus ont affecté les retombées (positivement ou négativement) et la façon dont ils auraient pu être anticipés et gérés; si des défaillances sont survenues en raison de l'absence de prise en compte, durant la mise en œuvre, de questions transversales ou fondamentales telles que l'égalité des genres, l'environnement et la pauvreté;
Questions spécifiques (à développer/compléter dans la phase de démarrage): 1. De quelle manière, le projet a permis l'atteinte des objectifs politiques du département Ministère des Mines? 2. Dans quelle mesure la justification économique et financière du projet est elle confirmée ?
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 17 sur 25
3.3. Gestion saine et bon rapport coût-efficacité (Efficience) Le critère d'efficience mesure le lien entre les différentes activités, les ressources disponibles et les résultats escomptés (parfois dénommés «outputs»). Cette mesure doit être quantitative, qualitative, et doit également concerner la gestion du temps. La comparaison doit se faire par rapport à ce qui était prévu. L'analyse de l'efficience aura donc pour objectif d'examiner : • la qualité de la gestion quotidienne, par exemple en ce qui concerne : a. les relations/la coordination avec les autorités centrales et/ou locales, les bénéficiaires et les autres bailleurs de fonds ; b. la qualité de la gestion des informations et de l'élaboration de rapports, et la mesure dans laquelle les parties prenantes ont été tenues correctement informées des activités du projet (notamment les bénéficiaires/groupes cibles) ; • le respect des échéances ; • la mesure dans laquelle les coûts du projet étaient justifiés eu égard aux résultats (exprimés ou non en termes monétaires) par comparaison avec des projets similaires ou des approches alternatives connues, en tenant compte des différences de contexte et en éliminant les distorsions de marché ; • si les contributions des institutions locales et des pouvoirs publics du pays partenaire (bureaux, experts, rapports, exonération d'impôts, mentionnés en tant que ressources dans le cadre logique), des bénéficiaires cibles et d'autres tiers locaux (ONG) ont été fournies comme prévu ; • qualité du suivi: son existence (ou non), sa précision et sa capacité d'adaptation, et l'utilisation qui en a été faite; l'adéquation des données de base ; • si, à ce jour, les activités ont débouché sur des résultats non prévus. Questions spécifiques (A développer/compléter dans la phase de démarrage) : 1. Quelles sont les différentes causes de retards et/ou de surcoûts ? 2. Est-ce que les coûts et la qualité des infrastructures sont avantageux en comparaison avec des infrastructures similaires mises en œuvre par des approches alternatives ? 3. Quels sont la charge administrative des services centraux et équipes de mise en œuvre et les impacts de ces tâches sur la mise en œuvre du programme ? 3.4. Effets plus généraux (Impact) L'impact porte sur les relations entre l'objectif spécifique et les objectifs globaux du projet. Au niveau de l'impact, évaluer dans quelle mesure les objectifs du projet ont été atteints comme prévu, en particulier l'objectif global et si les effets du projet : a) Ont été facilités/freinés par des facteurs externes ; b) Peuvent avoir des retombées involontaires ou inattendues, et, dans l'affirmative, la façon dont celles-ci peuvent affecter l'impact global ; c) Ont été facilités/freinés par la gestion du projet/programme, par les modalités de coordination, par la participation des parties prenantes concernées ; d) Ont contribué au développement économique et social ; e) Ont contribué à la réduction de la pauvreté ; f) Ont apporté un plus en ce qui concerne les questions transversales (égalité des genres, environnement, bonne gouvernance, prévention des conflits, etc.). Question spécifique : 1) Quels sont les impacts atteints des volets "Fournitures" et "Surveillance des Travaux du Port" sur l'économie du pays?
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 18 sur 25
3.5. Probabilité de poursuite des résultats obtenus (Viabilité) Le critère de viabilité permet de déterminer si les résultats positifs du projet et le flux des avantages sont susceptibles de se poursuivre après la fin des financements externes ou des interventions non financières (dialogue politique, coordination). L'évaluation appréciera les perspectives de viabilité des avantages sur la base des éléments suivants : • •
•
•
•
•
l'appropriation des objectifs et des résultats: par exemple, la mesure dans laquelle toutes les parties prenantes ont été consultées, dès le départ, sur les objectifs visés, les ont approuvés et continuent de les soutenir ; le soutien public et la responsabilité des institutions bénéficiaires: par exemple, correspondance entre la politique des donateurs et la politique nationale, effets potentiels de tout changement de stratégie; comment les politiques et priorités nationales, sectorielles et budgétaires influent sur le projet positivement ou négativement et le niveau de l'appui accordé par les autorités gouvernementales, l'opinion publique, le secteur privé et la société civile ; les facteurs socioculturels: par exemple, le projet est-il compatible avec les perceptions locales des besoins, ainsi qu'avec les modes de production et de répartition des avantages générés? Respecte-t-il les structures de pouvoir locales, ainsi que les systèmes de statut et les croyances et, au cas où il viserait à les changer, comment ces changements sont-ils acceptés à la fois par le groupe cible et par d'autres groupes? Le projet est-il basé sur une analyse de ces facteurs, incluant la participation du groupe ciblé/des bénéficiaires à sa conception et à sa mise en œuvre, et quelle est la qualité des relations entre les différents acteurs ? la viabilité financière: par exemple, les produits ou les services fournis sont-ils abordables pour les bénéficiaires ciblés et sont-ils susceptibles de le rester après la fin du financement? Les fonds disponibles sont-ils suffisants pour couvrir tous les coûts (y compris les coûts récurrents) et le seront-ils également une fois le financement terminé? Viabilité économique: comment se situent les bénéfices générés par rapport à ceux d'autres entreprises similaires (une fois les distorsions du marché éliminées) ? les questions techniques (technologiques): par exemple, i) la technologie, les connaissances, les processus ou les services introduits ou fournis sont-ils compatibles avec les besoins, la culture, les traditions, les compétences et les connaissances existantes? ii) des technologies alternatives sont-elles envisagées, lorsque cela est possible? et iii) dans quelle mesure les bénéficiaires ont-ils été capables de s'adapter aux technologies acquises et de les entretenir sans autre assistance ? lorsqu'il y a lieu, les questions transversales telles que l'égalité des genres, les incidences sur l'environnement et la bonne gouvernance ont-elles été correctement prises en compte et gérées depuis le début du projet ?
Questions spécifiques (À développer dans la phase de démarrage) : 1) Quelle est la traçabilité des futures dépenses en fournitures par la SNIM? 2) Quelle est la mesure des effets de la politique du Gouvernement en termes d'augmentation de la production sur le PIB7économie nationale?? 3.6. Renforcement mutuel (Cohérence) Mesure dans laquelle les activités entreprises permettent à la Commission européenne de réaliser les objectifs de sa politique de développement sans contradiction interne ni contradiction par rapport aux autres politiques communautaires. Mesure dans laquelle elles sont complémentaires des politiques du pays partenaire et des interventions des autres donateurs. Compte tenu des autres activités connexes entreprises par les pouvoirs publics ou d'autres donateurs, au même niveau ou à un niveau supérieur : • probabilité que les résultats et les impacts se renforcement mutuellement ; • probabilité que les résultats et les impacts soient redondants ou se fassent concurrence. Lien avec des politiques d'un niveau supérieur (cohérence) Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 19 sur 25
Mesure dans laquelle le projet/programme (ses objectifs, ses bénéficiaires, son calendrier, etc.) : • est susceptible d'être en contradiction avec d'autres politiques communautaires; • est conforme aux stratégies en évolution de la CE et de ses partenaires. Questions spécifiques (A développer/compléter dans la phase de démarrage) : 1. Quelles sont les articulations du Programme avec le Cadre Stratégique de Lutte Contre la Pauvreté (CSLP) ; 2. Quelles sont les articulations et synergies avec les autres programmes auxquels contribue l'Union Européenne?; 3. Quel est le respect par le Programme des dispositions de la Déclaration de Paris et des objectifs du millénaire? 3.7. Valeur ajoutée communautaire Lien avec les interventions des États membres. Mesure dans laquelle le projet/programme (ses objectifs, ses bénéficiaires, son calendrier, etc.) : • complète l'intervention des États membres de l'UE dans la région/le pays/la zone ; • est coordonné avec l'intervention des États membres de l'UE dans la région/le pays/la zone • génère une réelle synergie avec l'intervention des États membres de l'UE (ou la duplique) ; • implique des efforts concertés entre les États membres de l'UE et la CE pour optimiser les synergies et éviter les doublons. 4. Visibilité Les consultants procèderont à une évaluation de la stratégie et des activités du programme dans le domaine de la visibilité, de l'information et de la communication et apprécieront les résultats et l'impact de ces actions tant dans le pays bénéficiaire que dans les pays de l'Union européenne 5. Appréciation générale Ce point résume l'ensemble des réponses aux questions d'évaluation en un jugement global sur le projet/programme. La structure précise de l'appréciation générale doit être affinée durant le processus d'évaluation. Ce point doit présenter l'ensemble des constatations, conclusions et enseignements de manière à refléter leur importance et à faciliter la lecture. Sa structure ne doit pas être basée sur les questions d'évaluation, le cadre logique ni les sept critères d'évaluation. 6
Conclusions et recommandations
6.1. Conclusions Ce point présente les conclusions relatives à chaque question. Celles-ci doivent être regroupées afin de donner un aperçu de l'objet évalué. Note : La structure de ce point ne doit pas suivre l'ordre des questions ou des critères d'évaluation (efficacité, efficience, cohérence, etc.). Ce point doit contenir des références aux constatations (réponses aux questions d'évaluation) ou aux annexes et montrer comment les conclusions découlent des données, des interprétations et des critères d'analyse et de jugement. Le rapport doit comporter une autoévaluation des limites méthodologiques susceptibles de restreindre la portée ou l'utilisation de certaines conclusions.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 20 sur 25
La partie du rapport consacrée aux conclusions ne présente pas seulement les réussites constatées, mais aussi les points appelant une réflexion sur d'éventuelles modifications ou un changement d'orientation de l'action. L'équipe d'évaluation présente ses conclusions de manière équilibrée, sans favoriser systématiquement les conclusions positives ou négatives. Un paragraphe ou une sous-rubrique doit, de préférence, résumer les 3 ou 4 grandes conclusions, classées par ordre d'importance, tout en évitant d'être répétitif. Cette manière de faire permet de mieux faire passer les messages adressés à la Commission. Si possible, le rapport d'évaluation identifie un ou plusieurs enseignements transmissibles, qui sont mis en évidence dans le résumé et présentés à l'occasion de séminaires ou de réunions appropriés afin de pouvoir être exploités et diffusés. 6.2. Recommandations Les recommandations visent à améliorer ou à réformer le projet/programme dans le cadre du cycle en cours, ou à préparer l'élaboration d'une nouvelle action lors du cycle suivant. Note : Les recommandations doivent être liées aux conclusions, sans les reproduire. Une recommandation découle directement d'une ou de plusieurs conclusions. La valeur finale d'une évaluation dépend de la qualité et de la crédibilité des recommandations proposées. Les recommandations doivent donc être aussi réalistes, opérationnelles et pragmatiques que possible. En d'autres termes, elles doivent soigneusement tenir compte du contexte du projet, ainsi que des ressources disponibles pour leur mise en œuvre à la fois localement et au sein de la Commission. Elles peuvent concerner les aspects politiques, organisationnels et opérationnels tant pour les partenaires locaux que pour la Commission, les conditions préalables susceptibles d'être attachées aux décisions de financement relatives à des projets similaires, et des questions générales résultant de l'évaluation en matière de politiques, de technologies, d'outils, de développement institutionnel, ainsi que de stratégies régionales, nationales, ou sectorielles. Les recommandations doivent être soigneusement groupées et classées par ordre de priorité, ciblées en fonction d'auditoires précis à tous les niveaux, en particulier au sein de la Commission (le gestionnaire du projet/programme et le gestionnaire de l'évaluation pourront apporter des conseils à cet égard). 7. Annexes du rapport Le rapport doit comporter les annexes suivantes : • • • • • • • • •
les termes de référence de l'évaluation ; le nom des évaluateurs et de leurs sociétés (leurs CV, résumés et limités à une page par personne, doivent être fournis) ; une description détaillée de la méthode d'évaluation comprenant: les options choisies, les difficultés rencontrées et les limites de l'évaluation, le détail des outils et des analyses; les matrices cadres logiques (originales et améliorées/mises à jour) ; la carte de la zone géographique couverte par le projet (s'il y a lieu) ; la liste des personnes/organisations consultées ; les ouvrages et la documentation consultés ; d'autres annexes techniques (analyses statistiques, tables des matières et chiffres) ; le résumé CAD, suivant le modèle figurant à l'annexe V.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 21 sur 25
ANNEXE 3 – OBSERVATIONS METHODOLOGIQUES L'équipe d'évaluation doit se référer au cadre logique du projet/programme. Il est suggéré que l'équipe d'évaluation réalise, par exemple : une appréciation succincte à l'issue d'une visite sur le terrain et d'une série d'entretiens ; une enquête par questionnaire portant sur un échantillon de bénéficiaires ; une série de groupes témoins constitués de bénéficiaires et de non-bénéficiaires ; une série d'études de cas. La proposition formulée en réponse aux présents termes de référence doit identifier tout fossé linguistique ou culturel éventuel et indiquer comment il sera comblé. Le projet/programme doit être jugé davantage du point de vue des bénéficiaires (propre perception des avantages qu'ils retirent du projet) que du point de vue des gestionnaires (réalisations ou résultats obtenus). En conséquence, les entretiens et les enquêtes doivent concerner autant les parties prenantes extérieures (bénéficiaires et autres groupes en cause, en dehors des bénéficiaires) que les parties directement associées au projet/programme (gestionnaires, partenaires, acteurs sur le terrain). La proposition formulée en réponse aux présents termes de référence, ainsi que les autres documents préparés par l'équipe d'évaluation, doivent clairement indiquer la proportion de parties prenantes extérieures et intérieures interrogées lors des entretiens et des enquêtes. Un problème méthodologique clé concerne le fait de savoir si un changement observé ou signalé peut être attribué, en tout ou partie, au projet/programme, ou de déterminer dans quelle mesure le projet/programme a contribué à ce changement. L'équipe d'évaluation doit recenser les problèmes d'attribution/de contribution éventuels et orienter ses analyses en conséquence. Il doit être clair pour tous les membres de l'équipe d'évaluation que l'évaluation n'est ni un sondage d'opinion, ni l'occasion de laisser parler ses préjugés. Cela signifie que toutes les conclusions doivent s'appuyer sur des faits et des éléments de preuve, découler de chaînes de raisonnement claires et reposer sur des jugements de valeur transparents. Chaque jugement de valeur doit indiquer clairement : l'aspect du projet/programme jugé (sa conception, une procédure de mise en œuvre, une pratique de gestion donnée, etc.) ; le critère d'évaluation utilisé (pertinence, efficacité, efficience, viabilité, impact, cohérence, valeur ajoutée communautaire). Le rapport d'évaluation doit éviter de favoriser systématiquement les conclusions positives ou négatives. Les critiques sont les bienvenues dès lors qu'elles sont exprimées de manière constructive. L'équipe d'évaluation prend clairement acte des changements allant dans la direction souhaitée, afin d'éviter d'induire le lecteur en erreur, de susciter des irritations ou de commettre des impairs.
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 22 sur 25
ANNEXE 4 – GRILLE D'APPRECIATION DE LA QUALITE *Cette grille est jointe en annexe des termes de référence pour information des consultants.
La qualité du rapport final sera appréciée par le gestionnaire de l'évaluation, à l'aide de la grille d'appréciation de la qualité suivante. Les notes correspondent aux appréciations suivantes: 1 = insatisfaisant = critères majoritairement non remplis ou totalement absents 2 = médiocre = critères partiellement remplis 3 = bien = critères globalement remplis 4 = très bien = critères entièrement remplis 5 = excellent = critères entièrement remplis de manière claire et originale Pour les critères et sous-critères ci-dessous, le rapport d'évaluation est noté comme suit: 1. Réponse aux besoins: a) Le rapport décrit-il avec précision ce qui est évalué, y compris la logique d'intervention sous la forme d'un cadre logique? b) Le rapport couvre-t-il clairement la période demandée, ainsi que les groupes cibles et les zones sociogéographiques sur lesquels porte le projet/programme? c) L'évolution du projet/programme a-t-elle été prise en compte dans le processus d'évaluation? d) L'évaluation prend-elle en compte toutes les exigences des termes de référence? Si ce n'est pas le cas, une justification est-elle fournie? 2. Adéquation de la conception a) Le rapport explique-t-il comment la conception de l'évaluation tient compte de la raison d'être du projet/programme, des relations de cause à effet, des impacts, du contexte politique, des intérêts des parties prenantes, etc.? b) La méthode d'évaluation est-elle décrite clairement et de manière adéquate, avec une précision suffisante? c) Des indicateurs bien définis ont-ils été choisis pour fournir des informations sur le projet/programme et son contexte? d) Le rapport souligne-t-il les limites, les risques et les biais potentiels associés à la méthode d'évaluation? 3. Fiabilité des données a) L'approche adoptée pour la collecte des données est-elle expliquée et est-elle cohérente avec la conception globale de l'évaluation? b) Les sources d'information sont-elles clairement identifiées dans le rapport? c) Les outils pour la collecte des données (échantillons, groupes témoins, etc.) sont-ils utilisés dans le respect des normes applicables? d) Les données recueillies ont-elles fait l'objet d'une vérification croisée? e) Les limites de la collecte de données et les biais ont-ils été expliqués et examinés? 4. Solidité de l'analyse a) L'analyse est-elle fondée sur les données recueillies? b) L'analyse porte-t-elle clairement sur les hypothèses cause/effet les plus pertinentes qui sous-tendent la logique d'intervention? c) Le contexte est-il correctement pris en compte dans l'analyse? d) Les contributions des parties prenantes les plus importantes sont-elles utilisées de manière équilibrée? e) Les limites de l'analyse sont-elles identifiées, étudiées et présentées dans le rapport, de même que les contradictions par rapport aux informations disponibles, s'il y a lieu? 5. Crédibilité des constatations a) Les constatations découlent-elles des données et des analyses effectuées? b) La possibilité de généraliser les constatations est-elle examinée? c) Les interprétations et extrapolations sont-elles justifiées et étayées par des arguments solides? 6. Validité des conclusions a) Les conclusions sont-elles cohérentes et en lien logique avec les constatations?
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
1
2
3
4
5
Page 23 sur 25
Pour les critères et sous-critères ci-dessous, le rapport d'évaluation est noté comme suit: b) Le rapport tire-t-il des conclusions générales sur chacun des cinq critères du CAD? c) Les conclusions sont-elles dénuées de considérations personnelles ou partisanes? 7. L’utilité des recommandations a) Les recommandations sont-elles cohérentes par rapport aux conclusions? b) Les recommandations sont-elles opérationnelles, réalistes et suffisamment explicites pour permettre de dégager des lignes d'action? c) Les recommandations tiennent-elles compte de la diversité des parties prenantes cibles de l'évaluation? d) S'il y a lieu, les recommandations ont-elles été groupées et classées par ordre de priorité? 8. Clarté du rapport a) Le rapport inclut-il un résumé adéquat et concis? b) Le rapport est-il bien structuré et adapté à la diversité de son lectorat? c) Les notions spécialisées sont-elles clairement définies et leur utilisation est-elle limitée au strict minimum? Une liste des acronymes est-elle fournie? d) La longueur des divers points et annexes est-elle équilibrée? Compte tenu des huit critères susmentionnés, quelle est la qualité globale du rapport?
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
1
2
3
4
5
Page 24 sur 25
ANNEXE 5 – MODELE DE RESUME DE RAPPORT D'EVALUATION DU CAD Titre (et référence) de l'évaluation Résumé (central, 4 lignes maximum) Objet de l'évaluation (5 lignes maximum sur le projet, l'organisation ou la question/le thème évalué) Description de l'évaluation But (3 lignes maximum) Méthodologie (3 lignes maximum) Principales constatations Distinguer clairement les réussites/obstacles éventuels et autres aspects équivalents, lorsque cela est possible (25 lignes maximum) Recommandations 25 lignes maximum Retour d'information (5 lignes maximum) Donateur: Commission européenne
Région
Secteur CAD:
Type d'évaluation: efficacité et impact.
Date du rapport:
Objet de l'évaluation:
N° volume/pages:
Auteur:
Langue:
Efficience,
Programme et ligne budgétaire concernée: Type de l'évaluation: ( ) ex ante Calendrier: Personne à contacter: Coût: Euro
Date de début:
(x) intermédiaire/à ( ) ex post mi-parcours Date de fin: Auteurs: Groupe de pilotage: Oui/Non
Evaluation + Audit Technique du projet "Renouvellement du Port Minéralier de Nouadhibou"
Page 25 sur 25
