De l'essai à l'expérimentation From testing to experimentation Christian Ranson Laboratoire National d'Essais - Trappes

Résumé Parce qu'elle invite le laboratoire à chercher à répondre aux besoins du client, la norme ISO 17025 permet, éventuellement dans le cadre d'une accréditation, de ne pas limiter le personnel au rôle de manipulateur d'équipements. La collaboration avec le client pour optimiser une expérimentation en réponse à ses questions devrait conduire à un enrichissement des métiers dans le laboratoire et à une amélioration notable des services rendus au client. Abstract Laboratories are invited by the ISO 17025 standard to meet the needs of their clients. This gives an opportunity, possibly within the frame of an accreditation, for the personnel to leave the unique role of equipment operator. Co-operation with a client in order to answer his questions could end up in an optimum design and analysis of experiments. It could lead to a work enrichment in laboratories and a real improvement of services offered to clients.

1. LA NORME ISO 17025 OFFRE DE NOUVELLES POSSIBILITES Les laboratoires d'essais ou d'étalonnages qui voulaient être accrédités devaient, jusque fin décembre 2002, satisfaire à des "référentiels" variés. Aujourd'hui, un seul texte, la norme ISO 17025 (décembre 1999) [1], est utilisé pour l'accréditation de ces laboratoires. La norme énonce de nombreuses nouvelles exigences, ce qui a été amplement traité depuis sa publication. Mais cette norme offre aussi de nouvelles possibilités. Plus précisément, les rédacteurs ont introduit de nouvelles exigences relatives à des actions, "en amont" ou "en aval" de la prestation, qui n'étaient pas mentionnées dans les anciens référentiels. Ces services qui étaient alors de facto interdits dans le cadre de l'accréditation, permettent maintenant aux laboratoires de se présenter devant leurs clients non seulement comme des manipulateurs d'installations plus ou moins sophistiquées mais comme des collaborateurs depuis l'élaboration précise des questions jusqu'à la compréhension des résultats.

2. UN SEUL DOCUMENT EN REMPLACE PLUSIEURS AUTRES En France, pour les étalonnages, le référentiel était constitué d'un guide ISO, préparé par le CASCO sur la base de documents rédigés au sein de l'ILAC. Le guide ISO 25 (3ème édition, 1990) [2] était complété par un document d'exigences supplémentaires propres au Cofrac, le document 2002 [3]. De même, pour les essais, le référentiel était la norme européenne EN 45001 de 1989 [4], préparée essentiellement à partir de la 2ème édition du guide 25 (1982) [5], complétée d'exigences supplémentaires ("doc. 19" du RNE [6] à partir de mai 1989, puis document 1002 du Cofrac [7] à partir de 1994). Tous ces documents sont donc remplacés, pour les laboratoires qui veulent être accrédités, par un seul : la norme ISO 17025. Ce nouveau référentiel peut devoir être explicité pour certaines applications, mais, normalement, il est interdit aux organismes d'accréditation d'y ajouter de nouvelles exigences.

3. RETOUR SUR D'ANCIENNES REGLES. ELLES FORMERENT LES MENTALITES ET CERTAINS Y RESTENT ATTACHES Un rappel de quelques anciennes dispositions permet d'une part d'apprécier l'évolution actuelle et d'autre part de comprendre les réactions, qui autrement seraient inattendues , des personnes qui raisonnent et agissent encore selon les anciens schémas. Astelab 2003

37 - 1

De l'essai à l'expérimentation

3.1. Les laboratoires évalués et reconnus aptes par le RNE Le premier règlement du RNE (4 décembre 1981) [8] distinguait trois catégories de membres : • les membres titulaires dont les laboratoires étaient agréés ; "l'agrément d'un laboratoire correspond à la reconnaissance par le RNE de son indépendance effective et de sa capacité technique à réaliser pour le compte de tiers les prestations d'essais pour lesquelles il est agréé" ; • les membres associés dont les laboratoires étaient habilités ; "l'habilitation d'un laboratoire correspond à la reconnaissance par le RNE de la capacité technique de ce laboratoire à réaliser, notamment sur les produits fabriqués par son entreprise ou les sociétés du groupe de celle -ci, ou encore éventuellement pour le compte de tiers, les prestations d'essais pour lesquelles il est habilité" ; • les membres correspondants qui n'étaient "pas autorisés à faire état de leur appartenance au RNE". Les documents émis à l'issue d'un essai se nommaient : • pour ceux présentant les résultats des essais, "procès-verbaux" quand ils provenaient de laboratoires agréés, "comptes rendus" quand ils provenaient de laboratoires habilités ; • et, pour ceux qui déclaraient que "les échantillons, le modèle ou le prototype effectivement essayés" étaient, ou non, conformes à des clauses préétablies, respectivement "certificats de conformité" et "déclarations de conformité". Le 8 mars 1985 le règlement du RNE est modifié [9]. Les membres associés disparaissent et seuls subsistent les titulaires et les correspondants. Les titulaires sont maintenant ceux dont les laboratoires sont accrédités ; "l'accréditation d'un laboratoire correspond uniquement à la reconnaissance par le RNE de la qualité des prestations d'essais pour lesquelles il est accrédité". Ne subsiste qu'un type de document émis par un laboratoire accrédité : le "rapport d'essai" qui comporte "éventuellement la déclaration établissant la conformité ou la non-conformité des résultats à des seuils préétablis".

3.2. Les normalisateurs changent leurs textes et s'intéressent de près à la certification de produit En 1986, le guide 2 de l'ISO (5ème édition) [10] introduisait de nouvelles définitions : • "Essai : Opération technique qui consiste à déterminer une ou plusieurs caractéristiques d'un produit, processus ou service donné, selon un mode opératoire spécifié" ; • "Laboratoire d'essais : Laboratoire qui procède à des essais" ; • "Attestation de conformité : Acte par lequel un laboratoire d'essais, tierce partie, témoigne que l'objet soumis à l'essai est conforme à une norme ou à un autre document normatif spécifié". Ces trois définitions ne figuraient pas dans l'édition précédente du guide [11] qui change de titre et s'intitule maintenant "Termes généraux et leurs définitions concernant la normalisation et les activités connexes".

3.3. L'Europe met en place les outils de la "Nouvelle approche" 1989 est l'année de la parution de la norme EN 45001 [4]. Les règles de fonctionnement du RNE évoluent. Le nouveau règlement [12], adopté le 1er mars, renvoie à ce qui allait devenir le "doc. 19" [6] qui reprend le texte de la norme EN 45001 (en fait d'un de ses derniers projets car la norme ne sera publiée qu'à la fin de l'année). Les documents émis sont toujours nommés "rapports d'essai" mais il n'est plus question de pouvoir y déclarer une conformité ou une nonconformité. D'autre part deux paragraphes limitent encore le champ des prestations susceptibles d'être concernées par l'accréditation : • "Un rapport d'essai ne doit pas comporter de conseils ou de recommandations découlant des résultats d'essai." • "Les résultats d'essais obtenus à partir d'un prélèvement statistique issu d'un lot ou d'une production, sont fréquemment utilisés pour en inférer les propriétés de ce lot ou de cette production. Toute extrapolation des résultats d'essais aux propriétés d'un lot ou d'une production doit faire l'objet d'un document séparé."

3.4. Laboratoires accrédités par le Cofrac La Section Essais du Cofrac reprend, pour ce qui nous intéresse ici, les règles du RNE (et, au passage, du Fretac). Avec la parution du fascicule de documentation X 07-011 [13], la Section Etalonnage permet "dans certains cas" [3] de faire référence à l'accréditation dans les constats de vérification ; mais de fortes oppositions subsistent pour traiter de la conformité dans les certificats d'étalonnage. On sait comment, depuis les débuts du système français, les essais pour lesquels une reconnaissance de compétence pouvait être demandée devaient être choisis parmi ceux que listaient des programmes, essentiellement constitués d'extraits de catalogues de normes. Les laboratoires ont cherché à faire évoluer cette pratique (l'accréditation "hors

Astelab 2003

37 - 2

De l'essai à l'expérimentation programme") mais avec un succès très relatif. Le Laboratoire National d'Essais, par exemple, n'est jamais parvenu à se faire accréditer pour les essais hors programme qu'il a souhaité voir évaluer, "faute d'auditeurs".

3.5. Quelques caractéristiques de la situation initiale Il y a eu dès l'origine de la reconnaissance de leur aptitude une volonté de distinguer les laboratoires "indépendants" des autres. Cette question est en sommeil léger et se réveille de temps à autre. En relation avec le point précédent, la possibilité de déclarer la conformité de l'objet dans un rapport d'essai a été retirée, ce qui fut certainement la raison pour laquelle de nombreux laboratoires ont cessé d'utiliser le logo de l'organisme d'accréditation, se refusant à émettre deux documents à l'issue d'une prestation. Dans le domaine des étalonnages la situation était simple : il a toujours été hors de question de parler de conformité dans un certificat d'étalonnage. Une méfiance, pour ne pas dire plus, envers les techniques statistiques. La probabilité et ses divers degrés n'a pas sa place. L'échantillonnage n'est pas couvert, l'inférence d'un échantillon à un lot est rejetée hors du champ couvert. "Conseils ou recommandations découlant des résultats" sont interdits. L'idéal est sans doute de transformer chaque laboratoire en un instrument à fournir des résultats justes et fiables. Automatisation et robotisation sont en marche.

4. DE QUELQUES POSSIBILITES OFFERTES PAR LA NORME ISO 17025 4.1. Une sélection de citations orientée Du guide ISO 25:1990 à la norme ISO 17025, on passe, en ne conservant que le corps des textes (à partir des sections 4), d'environ 9 pages à environ 24 pages. C'est dire que les nouveautés ne manquent pas. Avec les quelques citations qui suivent, j'extrais uniquement ce qui sert à mon propos. "La présente norme internationale établit les exigences générales de compétence pour effectuer des essais et/ou des étalonnages, y compris l'échantillonnage. Elle couvre les essais et les étalonnages effectués au moyen de méthodes normalisées, de méthodes non normalisées et de méthodes élaborées par les laboratoires." (§ 1.1) La norme énonce les prescriptions applicables aux laboratoires "lorsqu'ils ont des activités de conception/développement de méthodes nouvelles et/ou développent des programmes d'essai réunissant des méthodes d'essai et d'étalonnage normalisées et non normalisées" (§ 1.6). Ce qui constitue probablement la plus importante nouveauté, et on trouve ici une influence certaine des normes "ISO 9000", est l'insistance avec laquelle les laboratoires sont invités à "satisfaire aux besoins de la clientèle" (§ 4.1.2). Le laboratoire "doit être au service de ses clients" (§ 4.2.2 a) et pour cela élucider leurs demandes (§ 4.7), choisir une méthode capable de répondre à leurs exigences (§§ 4.4.1 c, 4.4.2, 4.9.1, 5.7.2, 5.10.3.1 c) ou utiliser une méthode qui correspond à leurs besoins (§§ 5.4.2, 5.4.5.3), c'est-à-dire une méthode "validée" en vue d'une utilisation prévue déterminée (§ 5.4.5, tout particulièrement le § 5.4.5.2). Une note (§ 4.7, note 2) évoque la communication avec la clientèle, à maintenir "tout au long des travaux". Il y est dit que "les clients attachent de la valeur au maintien d'une bonne communication, aux conseils et recommandations d'ordre technique, ainsi qu'aux avis et interprétations fondés sur les résultats" ; à noter que j'utilise ici en français un vocabulaire cohérent avec celui, plus exact, qui sert à traduire le paragraphe 5.10.5. Les résultats à consigner dans un rapport d'essai ou un certificat d'étalonnage "doivent être accompagnés de toutes les informations demandées par le client et nécessaires à l'interprétation des résultats" (§ 5.10.1, voir aussi les §§ 5.10.3.1 e et 5.10.4.4). En particulier rapports d'essai et certificats d'étalonnage doivent inclure, lorsque cela est nécessaire pour l'interprétation des résultats, "une déclaration de conformité / de non-conformité" aux prescriptions ou spécifications (§§ 5.10.3.1 b et 5.10.4.1 b) et même, pour les rapports d'essai, "lorsque c'est approprié et nécessaire, des avis et interprétations" (§§ 5.10.3.1 d et 5.10.5).

4.2. Des définitions nécessaires Contrairement au guide ISO 25:1990 qui comportait deux pages pour les définitions des termes nécessaires à la compréhension du texte, la norme ISO 17025, parce que le groupe en charge de sa rédaction (WG 10 au CASCO) n'a pu se mettre d'accord sur de nombreux termes, ne donne aucune définition dans sa section 3 (Termes et définitions). Les trois mots qui suivent sont l'objet d'âpres discussions. J'en donne les définitions que je retiens, adaptées librement de celles que propose le projet de norme "Prescriptions générales de compétence pour une expertise" : • Interprétation : Action, en réponse à la question posée, destinée à expliquer ou donner une signification à des données ; également l'information qui en résulte. • Avis : Opinion résultant d'une analyse ou d'une évaluation, en réponse à la question posée et n'ayant pas force de décision. • Recommandation : Avis sur ce qu'il convient de faire ou de ne pas faire. Astelab 2003

37 - 3

De l'essai à l'expérimentation

4.3. Où s'introduit l'expérimentation Une interprétation des nouvelles possibilités offertes, • par la norme ISO 17025, possibilités présentées précédemment, • et par l'adoption en France de "portées flexibles" d'accréditation, peut élargir l'horizon des laboratoires et les conduire à valoriser toutes les ressources de leur personnel. Il me semble que les laboratoires sont incités – et leur compétence pour cela peut même, s'ils le souhaitent, être reconnue par le Cofrac – en vue de répondre aux besoins du client à : • chercher à comp rendre quelles sont les questions que se pose le client et qui l'amènent à demander la réalisation d'essais, • mettre au point, avec le client, un programme d'essais ; lors de cette phase le laboratoire sera conduit à prodiguer conseils et recommandations au client, à lui proposer peut-être l'adaptation de méthodes normalisées, voire à concevoir, développer et caractériser une méthode valide, • réaliser les essais en respectant scrupuleusement les dispositions prévues par le programme, • transmettre une information utilisable, c'est-à-dire interprétée et, parce qu'il est rare que toutes les réponses aux questions soient obtenues en une fois, les résultats pourront être accompagnés d'avis, par exemple pour rappeler les conditions restrictives de leur validité. Il y a donc lieu d'utiliser, en rigueur de termes, les mots "expérience" et "expérimentation". Le Petit ROBERT en donne les définitions suivantes : • "Expérience : Le fait d'éprouver quelque chose, considéré comme un élargissement ou un enrichissement de la connaissance, du savoir, des aptitudes. (…) Le fait de provoquer une observation dans l'intention d'étudier certains phénomènes, de contrôler ou de suggérer une idée." • "Expérimentation : Emploi systématique de l'expérience scientifique."

5. CONDITIONS ET APPORTS DE L'EXPERIMENTATION Selon moi, la norme ISO 17025 permet tout à fait à un laboratoire de replacer son produit, l'essai, dans son contexte fréquent, celui de l'acquisition, progressive, de connaissances. Pour cela est encouragé le dialogue "en amont" et "en aval" de l'essai, "opération technique de détermination d'une caractéristique sur un objet dans des conditions fixées". Les métiers des essais y trouveront un enrichissement ; les clients y verront une amélioration notable des services qui leur sont rendus.

5.1. En amont de l'essai Disons tout de suite que s'il n'y a pas d'amont, il n'y aura pas non plus d'aval et l'on retrouvera l'essai tel qu'il est souvent pratiqué aujourd'hui. L'ingénieur d'essai qui vient trouver le statisticien avec deux séries de résultats "pour dépouillement…" (c'est-à-dire pour "interprétation" dans le vocabulaire de la norme) sans, préalablement à l'essai, en avoir mis au point les modalités avec ce statisticien repartira, au mieux, avec une réponse du genre : "La différence entre les deux séries est significative au seuil de x %" ; et il est alors tout à fait "approprié et nécessaire" [1] que cette réponse soit accompagnée d'un avis. Un avis à destination de l'ingénieur serait par exemple : "Si vous le dites à votre client, il fera très probablement un mauvais usage de cette information". Un avis à destination du client pourrait être : "Les conditions expérimentales ne permettent pas d'établir une relation entre la différence observée et une quelconque cause". Il reste au statisticien à expliquer la raison de ces avis à son collègue et à le convaincre de préparer avec lui la prestation suivante. De même, l'ingénieur d'essai devra inclure dans ses revues (de demande, d'appel d'offre, de contrat) [1] de nouvelles questions pour, aidé du statisticien, préparer l'expérimentation. Est-il réaliste de croire pouvoir répondre aux besoins du client sans lui demander : • Quelles questions vous posez-vous ? • Quelles conclusions voulez-vous tirer des essais ? • Quelles décisions voulez-vous prendre ? Si les réponses : • Je veux connaître l'effet d'un changement de température sur l'efficacité de ma poudre à laver, • Je veux sélectionner le fournisseur de mon catalyseur, montrent que le client cherche à établir une relation causale entre de possibles facteurs d'influence et des effets à mesurer lors des essais, il est indispensable de mettre en œuvre les techniques de planification d'expériences ([14] à [25]) avec l'assistance de statisticiens. La première de ces techniques, géniale intuition de R.A. Fischer, est la "randomisation". Ceci, qui la plupart du temps n'augmentera ni la durée ni le coût des essais, permet grâce à l'intervention du hasard d'assurer d'une part la Astelab 2003

37 - 4

De l'essai à l'expérimentation représentativité et donc l'extrapolation de l'échantillon à la population et d'autre part l'imputation causale qui est presque toujours souhaitée par le client. L'aide apportée par ces techniques conduira aussi à se poser au bon moment (avant la prestation !) des questions essentielles dont les réponses doivent être ajustées ensemble, par exemple : • Quels sont les risques d'erreur acceptés ? • De quels facteurs d'influence faut-il se protéger ? • Combien de répétitions faut-il faire (incertitudes, degré du modèle) ? • Dans quel ordre doit-on réaliser les essais (randomisation, montages et démontages, dérive…) ? Une autre question importante est "Où placer les points expérimentaux?". Après avoir défini le domaine expérimental, la position optimale des points à l'intérieur de ce domaine dépend par exemple du modèle que l'on cherche à construire. Ceci trouve une application immédiate en étalonnage. En fonction de l'étendue de mesure de l'instrument, de son domaine d'utilisation communiqué par le client, éventuellement des étalons disponibles, le domaine expérimental est souvent assez facile à définir. En revanche, les points expérimentaux (pour quelles valeurs réaliser les comparaisons et combien de répétitions en ces différents points ?) peuvent être définis, par l'intermédiaire de calculs assez sophistiqués, en prenant en compte le modèle qui associe aux grandeurs d'entrée la réponse de l'instrument, les différentes incertitudes pour les comparaisons possibles, l'allure souhaitée des incertitudes qui en résultent sur le domaine. Un dernier exemple : "Quels essais faire et quels essais ne surtout pas faire ?". Je dis "essais" mais cela s'applique de même pour les étalonnages. On sait par exemple depuis longtemps que dans l'étalonnage d'une boîte de masses il y a certains équilibres (certaines comparaisons) qu'il ne faut pas réaliser (certaines équations qu'il ne faut pas poser) si l'on veut des incertitudes aussi faciles à manipuler que possible parce qu'elles ne seront pas affectées de corrélations bien peu commodes. Le client peut croire que de telles questions visent à augmenter le prix de la prestation. Il ne sera pas difficile de lui prouver que ces techniques permettent au contraire d'associer le minimum d'essais au maximum d'information. Et un essai mal conçu dont on ne pourra pas tirer l'information attendue – ou pire, dont on tirera des informations de manière non justifiée – sera toujours trop cher.

5.2. En aval de l'essai Imagine-t-on laisser le client avec le "résultat" que serait un grand tableau de nombres, une photographie, un graphique, une courbe, un spectre de raies… sans l'assister par une interprétation, qui évite du même coup les fausses interprétations qu'il tirerait laissé à lui-même ? Il est tout aussi évident que la conception et la réalisation d'un plan d'expériences est inséparable de son analyse et de son interprétation. Les ingénieurs en charge des équipes où se déroulent les essais ou les étalonnages ont reçu une formation qui dépasse de beaucoup les seules techniques d'essais et d'étalonnages. De nombreux clients l'ont compris depuis longtemps qui leur demandent s'ils ont un avis sur la prestation réalisée, son déroulement, la mesure dans laquelle les résultats permettent de répondre aux questions initialement identifiées. Bien sûr des clients chercheront aussi à obtenir de leur interlocuteur dans le laboratoire des recommandations pour améliorer le produit, lever une non-conformité détectée. Si les conseils et recommandations sur la meilleure manière de procéder à l'expérimentation et aux essais ont leur place normale dans le dialogue avec le client, en revanche le laboratoire, s'il est tierce partie et veut le rester, doit se garder de toute recommandation touchant à la conception du produit. Ceci sera certainement une disposition sans objet dans un laboratoire première partie.

6. CONCLUSION Alors, s'il est vrai que la parution en 1988 d'un livre [23] sous-titré "Optimisation du choix des essais et de l'interprétation des résultats" ne pouvait guère intéresser un laboratoire accrédité à cette époque (les essais étaient définis par les méthodes listées dans les programmes, sans adaptation possible ; l'interprétation n'était pas autorisée), l'accréditation selon l'ISO 17025 et l'expression du domaine accrédité selon une "portée flexible" comme le permet maintenant le Cofrac, invitent à se pencher sur les méthodes de planification et d'analyse des expériences, pour le plus grand bénéfice des laboratoires et de leurs clients.

REFERENCES ET BIBLIOGRAPHIE [1] [2]

ISO, ISO 17025, Prescriptions générales concernant la compétence des laboratoires d'étalonnages et d'essais, décembre 1999 (NF EN ISO/CEI 17025, mai 2000) ISO, Guide 25, Prescriptions générales concernant la compétence des laboratoires d'étalonnage et d'essais, 3ème édition, 1990

Astelab 2003

37 - 5

De l'essai à l'expérimentation [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25]

Cofrac, Section Etalonnage, Document 2002, Exigences à satisfaire par les laboratoires d'étalonnage accrédités ou candidats à une accréditation. Modalités d'application CEN/CENELEC, EN 45001, Critères généraux concernant le fonctionnement de laboratoires d'essais, septembre 1989 (NF EN 45001, décembre 1989) ISO, Guide 25, Prescriptions générales concernant la compétence technique des laboratoires d'essais, 2ème édition, 1982 RNE, Doc. 19, Exigences à satisfaire par les laboratoires d'essais accrédités ou candidats à une accréditation et modalités d'application, mai 1989 Cofrac, Section Essais, Document 1002, Exigences à satisfaire par les laboratoires d'essais accrédités ou candidats à une accréditation et modalités d'application RNE, Règlement intérieur, décembre 1981 RNE, Règlement intérieur, 2ème édition, mars 1985 ISO, Guide 2, Termes généraux et leurs définitions concernant la normalisation et les activités connexes, 5ème édition, 1986 ISO, Guide 2, Termes généraux et leurs définitions concernant la normalisation, la certification, et l'agrément des laboratoires d'essais, 4ème édition, 1983 RNE, Règlement intérieur, 3ème édition, mai 1989 AFNOR, X 07-011, Métrologie Constat de vérification des moyens de mesure, 1990 Fischer R.A., Statistical Methods for Research Workers, 1925 puis nombreuses rééditions Fischer R.A., The Design of Experiments, 1935 puis nombreuses rééditions Vessereau A., Méthodes statistiques en biologie et en agronomie, J.B. Baillière, (1947), 2ème édition, 1959 Cochran W.G. et Cox G.M., Experimental Designs, John Wiley & Sons, (1950), 2ème édition, 1957 Davies O.L., The Design and Analysis of Industrial Experiments, Oliver & Boyd, 1954 et réédité Fischer R.A., Statistical Methods and Scientific Inference, 1956 et réédité Dugué D. et Girault M., Analyse de variance et plans d'expérience, Dunod, 1969 Box G.E.P., Hunter W.G. et Hunter J.S., Statistics for Experimenters, John Wiley & Sons, 1978 Dagnélie P., Principes d'expérimentation, Les presses agronomiques de Gembloux, 1981 Goupy J., La méthode des plans d'expérience, Dunod, 1988 Schwartz D., Le Jeu de la science et du hasard, Flammarion, 1994 Benoist D., Tourbier Y. et Germain -Tourbier S., Plans d'expérience Construction et analyse, Technique & Documentation – Lavoisier, 1994

Astelab 2003

37 - 6