Table des matières Actes des communications individuelles

Session 1 - Communication 1A .............................................................................................................. Session 1 - Communication 1B .............................................................................................................. Session 1 - Communication 1C .............................................................................................................. Session 1 - Communication 1D .............................................................................................................. Session 2 - Communication 2A .............................................................................................................. Session 2 - Communication 2B .............................................................................................................. Session 2 - Communication 2C .............................................................................................................. Session 2 - Communication 2D .............................................................................................................. Session 2 - Communication 2E .............................................................................................................. Session 3 - Communication 3A .............................................................................................................. Session 3 - Communication 3B .............................................................................................................. Session 3 - Communication 3C .............................................................................................................. Session 3 - Communication 3D .............................................................................................................. Session 3 - Communication 3E .............................................................................................................. Session 3 - Communication 3F .............................................................................................................. Session 4 - Communication 4A .............................................................................................................. Session 4 - Communication 4B .............................................................................................................. Session 4 - Communication 4C .............................................................................................................. Session 4 - Communication 4D .............................................................................................................. Session 4 - Communication 4E .............................................................................................................. Session 5 - Communication 5A .............................................................................................................. Session 5 - Communication 5B .............................................................................................................. Session 5 - Communication 5C .............................................................................................................. Session 6 - Communication 6A .............................................................................................................. Session 6 - Communication 6B .............................................................................................................. Session 6 - Communication 6C .............................................................................................................. Session 6 - Communication 6D .............................................................................................................. Session 7 - Communication 7A .............................................................................................................. Session 7 - Communication 7B .............................................................................................................. Session 7 - Communication 7C .............................................................................................................. Session 7 - Communication 7D .............................................................................................................. Session 7 - Communication 7E .............................................................................................................. Session 7 - Communication 7F .............................................................................................................. Session 7 - Communication 7G .............................................................................................................. Session 8 - Communication 8A .............................................................................................................. Session 8 - Communication 8B .............................................................................................................. Session 8 - Communication 8C .............................................................................................................. Session 8 - Communication 8D .............................................................................................................. Session 8 - Communication 8E .............................................................................................................. Session 8 - Communication 8F .............................................................................................................. Session 8 - Communication 8G .............................................................................................................. Session 8 - Communication 8H ..............................................................................................................

3

7 19 29 33 39 49 53 59 69 77 89 95 101 107 115 121 131 139 147 163 167 173 179 187 197 207 215 219 229 237 243 251 261 267 277 281 289 293 295 301 305 311

Table des matières Actes des Symposiums

Symposium 1 ................................................................................................................................................ 315 Symposium 2 ................................................................................................................................................ 341 Symposium 3 ................................................................................................................................................ 347 Symposium 4 ................................................................................................................................................ 359 Symposium 5 ................................................................................................................................................ 369 Symposium 6 ................................................................................................................................................ 381 Symposium 7 ................................................................................................................................................ 395 Symposium 8 ................................................................................................................................................ 401 Symposium 9 ................................................................................................................................................ 435 Symposium 10 .............................................................................................................................................. 445 Symposium 11 .............................................................................................................................................. 461 Symposium 12 .............................................................................................................................................. 485 Symposium 13 .............................................................................................................................................. 503 Symposium 14 .............................................................................................................................................. 511 Symposium 15 .............................................................................................................................................. 521 Symposium 16 .............................................................................................................................................. 535 Symposium 17 .............................................................................................................................................. 547 Symposium 18 .............................................................................................................................................. 553 Symposium 19 .............................................................................................................................................. 565 Symposium 20 .............................................................................................................................................. 573 Symposium 21 .............................................................................................................................................. 581 Symposium 22 .............................................................................................................................................. 587

4

Actes des communications individuelles

Communication 1A Axe 1 : Évaluations et didactiques

Session 1 11h30 - 13h R122 Géologie B18

Mercredi 28 janvier

Validité de l’estimation des niveaux de difficulté de questions par des experts du contenu : approche par matières Sébastien Remy & Julie Camerman

L’estimation des niveaux de difficulté des questions d’un test d’acquis, via un prétest ou un étalonnage, n’est pas toujours possible. Dès lors, une estimation a priori, basée sur l’avis d’experts du contenu, est généralement réalisée. Une précédente étude a mis en exergue la validité d’une telle estimation (Remy & Camerman, 2013). Les tests étudiés portaient sur des matières bureautiques et se déroulaient suite à une formation, accessible aux agents des niveaux B (enseignement supérieur de type court) et C (certificat d’enseignement secondaire supérieur), francophones et néerlandophones, de la fonction publique fédérale belge. Ces tests étaient jumelés, c’est-à-dire que les agents suivaient la même formation, ensemble, mais passaient un test avec une base commune et une partie différente en fonction de leur niveau en tant qu’agent. En effet, les questions difficiles étaient supprimées pour les agents de niveau C. Une différence significative était observée entre les agents de niveaux B et C au niveau des scores généraux. Toutefois, une analyse plus approfondie des résultats montrait qu’aucune différence significative n’était observée pour les questions communes, c’est-à-dire lorsque nous ne prenions pas en compte les questions difficiles. L’objectif de la présente étude est donc, d’une part, de confirmer la validité de cette estimation a priori, puisque de nouveaux tests se sont déroulés depuis, avec une population identique. D’autre part, des analyses plus approfondies ont également été réalisées, à travers une approche par matières. Les résultats confirment la validité de l’estimation a priori lorsque les matières et niveaux d’agents sont confondus. En effet, les scores montrent que les scores les plus élevés sont obtenus, dans l’ordre décroissant, pour les questions estimées comme les plus faciles, moyennes, puis difficiles. Par contre, si l’on distingue les niveaux et les matières, les résultats apparaissent plus mitigés. Ces résultats seront discutés plus avant dans le présent document. 1. Introduction 1.1 Contexte organisationnel L’Institut de Formation de l’Administration fédérale est un organisme fédéral belge dont la mission principale est la formation des fonctionnaires fédéraux. Il couvre 90 organisations clientes, soit environ 80 000 participants potentiels. Parmi l’offre de l’IFA, des formations certifiées sont organisées. Il s’agit de formations liées à la carrière. Elles se terminent par un test qui vérifie si les agents ont atteint les objectifs d’apprentissage de manière suffisante. Le seuil de réussite est fixé à 60%. Si le test est réussi, l’agent bénéficie alors d’une prime de développement des compétences ou d’un changement d’échelle de traitement et ce, en fonction de sa situation et de son niveau. Chaque année, environ 80 tests sont organisés dans l’une ou plusieurs des trois langues nationales (français, néerlandais et allemand), ce qui représente environ 12 000 participants/an. Des formations spécifiques sont disponibles pour tous les niveaux d’agent (A, B, C et D)*. D’autres formations sont, quant à elles, jumelées pour deux niveaux d’agent contigus (A-B, B-C ou C-D), c’est-à-dire qu’ils suivent la même formation. 1.2 Problématique Ces formations certifiées ont nécessité que les tests soient différents entre les deux niveaux d’agents qui suivent une même formation (formation jumelée). En effet, d’une part, les niveaux d’études des agents sont différents. D’autre part, la réussite au test donne droit à des primes différentes en fonction du niveau de l’agent.

Les tests se déroulent entre 3 semaines et 3 mois après le dernier jour de formation. Ils sont construits sur base d’une table de spécification qui indique la répartition des questions en fonction des thèmes vus au cours, du niveau taxonomique et de la difficulté des questions. Cette table de spécification permet également de s’assurer de la fidélité du test d’une session à l’autre. Son objectif principal est donc d’assurer une comparabilité des résultats et une égalité de traitement des agents. Les tests sont construits selon la répartition des niveaux de difficulté des questions suivante : 25% faciles, 50% moyennes et 25% difficiles. Dans le cadre des formations certifiées jumelées, les 25% de questions difficiles sont passées uniquement par les agents du niveau supérieur . Ainsi, ces tests comportent à la fois une partie commune aux deux niveaux d’agent et une partie spécifique à chaque niveau. ----------------------------------* Ces niveaux sont relatifs aux niveaux d’études : A : porteurs d’un diplôme universitaire ou équivalent. B : porteurs d’un diplôme d’enseignement supérieur de type court (bachelor) ou un diplôme ou certificat de candidature. C : porteurs d’un diplôme d’enseignement secondaire supérieur. D : aucune exigence de diplôme n’est requise.

7

Session 1 11h30 - 13h R122 Géologie B18

Communication 1A Axe 1 : Évaluations et didactiques

La mesure la plus valide pour estimer le niveau de difficulté d’une question se fait en principe a posteriori et sur base des résultats effectifs d’un test, à l’aide du calcul de divers indices psychométriques et/ou édumétriques (Leclercq, 2003). Parmi ces indices, nous trouvons notamment ceux de discrimination ou de difficulté d’une question. Il est alors nécessaire de réaliser un étalonnage du test (Mucchielli, 2008). Cependant, cela n’est pas toujours faisable (Laveault & Grégoire, 2002). Par exemple, organiser une phase de pré-test demande beaucoup de temps et de ressources. Il faut notamment un échantillon (autre que les futurs participants) disponible pour le pré-test, avec le risque que les questions soient diffusées avant le test. De ce fait, une estimation a priori, basée sur l’avis d’experts du contenu (formateurs/rédacteurs des questions), sera le plus souvent réalisée. C’est l’option que nous avons choisie pour les formations certifiées. Une précédente étude a mis en exergue la validité de l’estimation a priori, par des experts du contenu, des niveaux de difficulté des questions (facile, moyen, difficile), à travers une double méthode (Remy & Camerman, 2013). Cette méthode consistait, d’une part, à comparer les résultats à trois niveaux de difficultés de questions (facile, moyen, difficile) au sein d’une même population et, d’autre part, à comparer deux populations de niveaux d’études différents pour les mêmes questions. L’objectif de la présente étude est donc de confirmer ces résultats, puisque de nouveaux tests se sont déroulés depuis, avec une population identique. 1.3 Hypothèses Pour les agents de niveaux B & C confondus, nous posons l’hypothèse (H1) que les résultats aux questions estimées a priori de niveau difficile sont inférieurs à ceux obtenus aux questions de niveau moyen et de niveau facile. De même, nous posons l’hypothèse (H2) que les résultats aux questions estimées a priori de niveau moyen sont inférieurs à ceux obtenus aux questions de niveau facile. En résumé, nous supposons que les résultats aux questions, au sein des agents de niveaux B & C confondus, sont de cet ordre : difficiles < moyennes < faciles. Nous posons également l’hypothèse (H3) que ces résultats seront aussi observés par matière, chez les agents de niveau B, d’une part, et de niveau C, d’autre part. 2. Méthodologie 2.1 Matériel Les tests certificatifs dont il est question dans cette étude portent sur des matières bureautiques de la suite Office 2007, comme suit : - Test N°1 : Excel base et Word avancé - Test N°2 : Powerpoint, Outlook et Word avancés - Test N°3: Powerpoint, Outlook et Excel avancés Les formations, jumelées, concernées par ces tests, sont accessibles aux agents des niveaux B et C, francophones et néerlandophones, de la fonction publique fédérale belge. Les tests sont constitués de 25 questions pour les agents de niveau B réparties comme suit : 7 faciles, 13 moyennes et 5 difficiles. Les cinq questions estimées comme difficiles sont supprimées pour les agents de niveau C. 2.2 Echantillon L’échantillon est constitué de 2040 fonctionnaires fédéraux, en Belgique, répartis sur 16 tests en bureautique passés d’octobre 2011 à octobre 2013 (10 tests N°1 + 4 tests N°2 + 2 tests N°3). Les caractéristiques de cet échantillon sont présentées dans le tableau ci-dessous (Tableau 1). Des proportions similaires à celle de l’échantillon précédent ont été conservées au niveau du rôle linguistique, du sexe et de l’âge. Total

2040 fonctionnaires fédéraux

Age moyen

43,34 ± 10,35 (21 à 65 ans)

Sexe

41,03% hommes

58,97% femmes

Rôles linguistiques

46,03% francophones

53,97% néerlandophones

Niveaux des agents

35,74% niveau B (experts administratif, financier, technique et ICT)

64,26% niveau C (assistants administratif et technique)



Tableau 1 : Description de l’échantillon

8

Communication 1A Axe 1 : Évaluations et didactiques

Session 1 11h30 - 13h R122 Géologie B18

2.3 Analyses Les analyses ont été réalisées à l’aide de t-tests pairés de Student. Pour ces analyses, les groupes d’agents de niveaux B et C ont été répartis proportionnellement selon le sexe et les tranches d’âge.

Estimées faciles 88.80 ± 14.62

Estimées moyennes 79.44±16.39

Estimées faciles 85.96 ± 16.40

Estimées difficiles 75.45±20.84

H2 t(2039)=17,98 ; p