Établir une correspondance entre les tests TOEFL, TSE, TWE et TOEIC et le Cadre Européen Commun de Référence (CECR) Résumé Contexte Le Cadre Européen Commun de référence pour les langues (CECR), dont la finalité est de promouvoir la mobilité internationale et professionnelle, a été élaboré par des linguistes et spécialistes pédagogiques de renom issus des états membres du Conseil de l’Europe. Le CECR définit les compétences en matière de compréhension orale, d’expression orale, de compréhension écrite et d’expression écrite dans une langue, quelle qu’elle soit. Ce Cadre s’articule autour de six niveaux, regroupés en trois branches : • A1 – A2 (Utilisateur élémentaire) • B1 – B2 (Utilisateur indépendant) • C1 – C2 (Utilisateur expérimenté) Le Cadre décrit l’usage et les connaissances linguistiques, pour chaque niveau, par le biais de descripteurs positifs de type « capacité à faire ». Le CECR est largement utilisé par les apprenants, les enseignants, les concepteurs de programmes ainsi que par les organismes d’évaluation dans le but de coordonner les efforts en faveur de la promotion des compétences linguistiques. Ces descripteurs sont utiles pour les apprenants car ils peuvent servir d’objectifs d’apprentissage et de facteurs de motivation. Les descripteurs sont utiles pour les enseignants car ils servent d’objectifs d’enseignement et peuvent être utilisés comme outil de discussion sur le perfectionnement linguistique de l’apprenant. Ils permettent aux concepteurs de programmes d’élaborer des cours et des supports dans le but de promouvoir ce perfectionnement. Ils revêtent également une utilité pour les organismes d’évaluation car ils contribuent à définir les spécifications des tests (la liste des compétences évaluées lors d’un test) et l’organisme peut dès lors développer des tests permettant d’identifier les niveaux de compétence et de déterminer la maîtrise d’un objectif d’apprentissage. En outre, le fait d’établir une correspondance entre les tests et les niveaux de compétence du CECR permet aux apprenants, aux enseignants et aux personnes prenant des décisions sur la base des résultats des tests (comme les universités, les employeurs, etc.) de comparer les performances de l’apprenant par rapport à tout test effectué dans toute langue.

Objectif de ETS L’objectif de ETS a consisté à identifier les scores correspondant au niveau B1 (Seuil) et au niveau C1 (Compétence opérationnelle effective) pour les examens ETS suivants : le test d’anglais langue étrangère version papier (TOEFL), le test d’expression orale en anglais (TSE), le test d’expression écrite en anglais (TWE) et le Test d’anglais comme outil de communication internationale (TOEIC). •

• • •

Le TOEFL est un test basé sur un questionnaire à choix multiple qui permet d’évaluer les compétences en matière de compréhension orale, de compréhension écrite et de structure (grammaire), dans un contexte académique. Le TSE mesure la capacité à s’exprimer dans un environnement académique ou professionnel. Le TWE mesure la capacité à organiser et développer ses idées en utilisant un anglais écrit correct. Le TOEIC est un test basé sur un questionnaire à choix multiple qui permet d’évaluer les compétences en matière de compréhension orale et de compréhension écrite dans l’environnement de travail.

1

Les niveaux B1 et C1 ont été choisis car il s’agit des niveaux d’accès aux branches B et C. À l’avenir, ETS réalisera des études de normalisation aux fins d’établir une correspondance entre les scores de la nouvelle génération de tests TOEFL et le CECR. Le nouveau test sera mis en place en 2005 et permettra d’évaluer les compétences en matière d’expression orale, de compréhension orale, de compréhension écrite et d’expression écrite.

Etude de normalisation La normalisation est le processus par lequel des experts avisés formulent des recommandations sur les exigences de score qui correspondent au niveau de connaissance, de compétence, de maîtrise ou de réceptivité dont les candidats doivent faire preuve pour être placés dans une catégorie donnée. Ce processus est parfois appelé « étalonnage des performances ». Le résultat final de la normalisation consiste en une exigence minimale recommandée, également désignée score limite ou score seuil. Ce processus devrait être appliqué lors de la détermination des exigences de score à de multiples fins y compris les admissions dans les établissements supérieurs, l’emploi ou l’avancement, et lors de l’étalonnage des performances de test par rapport à un cadre conceptuel comme le CECR.

Participants à l’étude Cette étude de normalisation de ETS a été réalisée auprès de deux panels composés de 21 enseignants d’anglais et spécialistes de l’évaluation linguistique provenant de 14 pays européens. Les panels ont participé à un atelier de normalisation qui s’est tenu en Europe sur deux jours. Le Panel 1 était chargé des tests TOEFL, TSE et TWE, et le Panel 2 était en charge des tests TOEIC. L’atelier avait pour but d’identifier les scores planchers qui seraient exigés pour que les apprenants soient classés dans les niveaux B1 et C1.

Méthodologie Avant l’atelier, il a été demandé aux participants de réexaminer les informations sur les tests ETS et sur le CECR et de décrire sur papier les caractéristiques clés des niveaux B1 et C1 en matière d’expression orale, d’expression écrite, de compréhension orale et de compréhension écrite. Au cours de l’atelier, il a été demandé aux participants de discuter des caractéristiques clés qu’ils avaient énumérées avec le groupe et de convenir d’un ensemble de descripteurs pour chaque compétence linguistique. Cette discussion avait pour but de parvenir à une vision commune sur les niveaux du CECR qui guiderait les participants dans leur formulation d’opinion sur les scores. À la suite de la discussion préliminaire, les panels ont commencé le processus de normalisation. Le Panel 1 s’est d’abord concentré sur le TSE (expression orale) et le TWE (expression écrite), puis est passé au TOEFL (compréhension orale, compréhension écrite, structure). Le Panel 2 s’est concentré sur le TOEIC (compréhension orale, expression écrite) uniquement. Dans le processus de normalisation, différentes procédures permettent d’identifier les exigences minimales en matière de scores pour les tests à choix multiple et pour les épreuves à réponses construites.

1. 2.

3. 4. 5.

Pour les scores du TSE et du TWE, les procédures suivantes ont été appliquées (Méthode de l’étalonnage des performances) : Les participants à l’étude ont examiné des exemples de questions et des exemples de réponses pour les tests TSE et TWE. Pour chaque question, les participants ont chacun déterminé les scores qu’un apprenant devrait obtenir pour entrer dans la catégorie des niveaux B1 et C1 et ont formulé leurs premières recommandations sur les scores planchers. ETS a présenté sous forme de tableau les moyennes du groupe, les notes maximales et les notes minimales ainsi que les écarts types afin que le panel puisse en discuter. Une discussion de groupe a été organisée afin que chacun puisse tirer enseignement de l’opinion des autres. Chaque participant du panel a formulé une recommandation finale sur le score plancher applicable à chaque niveau.

2

Pour les scores du TOEFL et du TOEIC, les procédures suivantes ont été appliquées (Méthode Angoff) : 1. Les participants à l’étude ont examiné des questions soumises dans le cadre des épreuves de compréhension orale, de compréhension écrite et de structure (structure – TOEFL uniquement). 2. Les participants ont chacun déterminé, sur une échelle de 0,1 à 0,9, la probabilité selon laquelle un apprenant postulant aux niveaux B1 et C1 répondrait correctement à chaque question et ont formulé leurs premières recommandations sur les résultats planchers. 3. ETS a présenté sous forme de tableau les moyennes du groupe, les notes maximales et les notes minimales ainsi que les écarts types afin que le panel puisse en discuter. 4. Une discussion de groupe a été organisée afin que chacun puisse tirer enseignement de l’opinion des autres. 5. Chaque participant du panel a formulé une recommandation finale sur le score plancher applicable à chaque niveau.

Résultats Une fois que les recommandations finales des participants du panel ont été prises en compte et calculées, les résultats obtenus ont permis de déterminer les scores suivants pour le TOEFL, le TSE, le TWE et le TOEIC, lesquels scores correspondent aux niveaux B1 et C1 du CECR. Bien que l’épreuve du TOEFL sur support informatique (TOEFL CBT) n’ait pas été prise en considération dans l’étude, les scores du TOEFL CBT indiqués dans ce tableau sont comparables aux scores que les participants du panel ont recommandés pour l’épreuve version papier (TOEFL PBT). Consultez le site www.ets.org/toefl sur lequel figure le tableau de concordance TOEFL CBT-PBT utilisé aux fins de cette extrapolation. Épreuve ETS et section de Échelle des Score l’épreuve scores minimal B1 TOEFL PBT – Total 310 – 677 457 TOEFL PBT – Compréhension 31- 68 46 orale TOEFL PBT – Compréhension 31 – 67 46 écrite TOEFL PBT – Structure 31- 68 45 TOEFL CBT – Total 0 – 300 137 TOEFL CBT - Compréhension 0 – 30 12 orale TOEFL CBT - Compréhension 0 – 30 13 écrite TOEFL CBT - Structure 0 – 30 14 TSE* 0 – 60 45 TWE** 0 – 6,0 4,5 TOEIC – Total 10 – 990 550 TOEIC – Compréhension orale 5 – 495 320 TOIEC – Compréhension 5 – 495 240 écrite * Les scores du TSE et TOEIC augmentent par tranche de 5 points. ** Les scores du TWE augmentent par tranche de 0,5 point.

3

Score minimal C1 560 56 56 56 220 22 22 23 55 5,5 880 480 395

Interprétation des résultats Les établissements, les employeurs, les responsables de programmes d’anglais et les apprenants peuvent interpréter les scores planchers recommandés pour les tests TOEFL, TSE, TWE et TOEIC – qui correspondent aux niveaux B1 et C1 - en se référant aux descripteurs généraux et aux exemples de descripteurs de compétences figurant à la page 4. Même si les résultats permettent d’interpréter les scores obtenus aux tests de ETS, il est important de se souvenir de ce qui suit : 1.

2.

3.

Le CECR est un cadre conceptuel élaboré par des experts linguistiques et des spécialistes de l’enseignement, mais il ne s’agit pas d’un cadre se fondant sur une approche empirique (même si les descripteurs du CECR sont inspirés par la recherche, ils ne sont pas calibrés de façon empirique et ne sont pas présentement justifiés par des données sur les performances). Les résultats exposés plus haut représentent les recommandations d’experts avisés. Toutefois, ils devront être considérés comme des lignes directrices car il n’existe pas de scores limites, absolus et formels. Il existe toujours une écart type de mesure (ETM) associée à chaque épreuve. À titre d’exemple, pour le TOEFL PBT, l’ETM est d’environ 13 points et, pour le TOEFL CBT, elle est d’environ 10 points.

Implications Les établissements, sociétés et autres organisations se servant du CECR comme référence peuvent accepter les scores obtenus aux tests TOEFL, TSE, TWE et TOEIC outre les autres tests qui ont été mis en correspondance avec le Cadre. De même, les apprenants peuvent comparer leurs performances aux tests ETS par rapport aux autres tests. En résumé, pour le TOEIC Niveau européen (CECR) C1 B2 B1

Score TOEIC associé 850 pts 750 pts 550 pts

Rapport technique (bientôt sur le site Web de ETS: www.ets.org/ell) Tannenbaum, R.J., & Wylie E.C. (2004). Établir une correspondance entre les résultats des tests et le Cadre Européen Commun de Référence : définition de normes de compétences linguistiques applicables au test d’anglais langue étrangère (TOEFL), au test d’expression orale en anglais (TSE), au test d’expression écrite en anglais (TWE) et au test d’anglais comme outil de communication internationale (TOEIC). Princeton, NJ: Educational Testing Service. Pour obtenir de plus amples informations sur cette étude de normalisation ou pour demander une copie de ce rapport technique, envoyez un courrier électronique à : [email protected] ou [email protected]. Pour obtenir des informations sur les produits d’Apprentissage de la langue anglaise proposés par ETS : Europe : appelez-nous au +31 30 230 3730, ou envoyez-nous un courrier électronique [email protected] Etats-Unis : appelez-nous au +1-800-241-5393, ou envoyez-nous un courrier électronique à [email protected] Partout ailleurs dans le monde : appelez-nous au +1-609-683-2328, ou envoyez-nous un courrier électronique à [email protected]

4