Plan de pilotage oblige, certains directeurs mettent la pression sur les instituteurs, en se basant sur les moyennes des cinq dernières années de leur école aux tests externes non certificatifs et aux CEB, comparées aux moyennes des écoles du même niveau socioéconomique.
Pourquoi considère-t-on la moyenne et non la médiane (valeur en dessous de laquelle se trouvent 50 % des élèves) pourtant réputée plus robuste (moins sensible aux valeurs extrêmes) ? Pourquoi ne s’intéresse-t-on pas à la dispersion des résultats pourtant fondamentale en termes d’inégalité ? Alors que la moyenne des écoles de même niveau est significative puisqu’elle couvre un grand échantillon, la moyenne d’une école ne l’est pas. En effet…
Pour comprendre et faire comprendre à son directeur en quoi certaines interprétations sont scabreuses, il faut commencer tôt, en maternelle. On lance un dé, on note les résultats… On lance plusieurs dés et on fait la somme des résultats…
Le problème de Galilée
Le prince de Toscane demanda un jour à Galilée : « Pourquoi lorsqu’on jette trois dés, obtient-on plus souvent la somme 10 que la somme 9, bien que ces deux sommes soient obtenues chacune de six façons différentes : (1, 2, 6), (1, 3, 5), (1, 4, 4), (2, 2, 5), (2, 3, 4), (3, 3, 3) pour 9 et (1, 3, 6), (1, 4, 5), (2, 2, 6), (2, 3, 5), (2, 4, 4), (3, 3, 4) pour 10 ? »
Est-il bien vrai qu’on obtient plus souvent une somme égale à 10 qu’une somme égale à 9 ? On peut expérimenter et faire de nombreux lancers de trois dés. On peut aussi simuler l’expérience, avec un logiciel…
On fait d’abord dix lancers et on observe combien de fois on obtient 9 et combien de fois on obtient 10. Tandis que vous regardiez paitre la vache charolaise d’André dans le pré voisin, nous avons fait l’expérience et nous avons obtenu 0/10 (zéro fois sur dix) pour 9 et 2/10 pour 10. On répète et on obtient 3/10 pour 9 et 1/10 pour 10. Et ainsi de suite… Ouh lala, cela fluctue très fort d’une expérience à l’autre !
On fait alors cent lancers et on observe… La première fois, on a obtenu 8/100 (huit fois sur cent) pour 9 et 12/100 pour 10. On répète et on obtient 7/100 pour 9 et 15/100 pour 10. Et ainsi de suite… C’est du travail qu’on fait à l’école primaire… Cela fluctue d’une expérience à l’autre, mais moins fort.
Pourquoi pas essayer mille lancers. On y va, vous avez même le temps de prendre une tasse de café… La première fois, on a obtenu 104/1000 (cent-quatre fois sur mille) pour 9 et 133/1000 pour 10. On répète et on obtient 123/1000 pour 9 et 100/1000 pour 10. Et ainsi de suite… Cela fluctue d’une expérience à l’autre, mais on a l’impression que c’est encore moins fort qu’avec cent lancers et beaucoup moins fort qu’avec dix lancers. Mais ce sont des impressions, mieux vaudrait faire les calculs de façon plus systématique.
Fluctuation d’échantillonnage
On a refait chacune des trois expériences (dix lancers, cent lancers, mille lancers) vingt fois. À chaque fois on note la fréquence de 9 (le nombre de fois qu’apparait 9 sur le nombre total de lancers) et la fréquence de 10. On vous présente les résultats sous forme de graphiques dont le nom est boite à moustache. Du niveau de la troisième ou quatrième secondaire. Chacun des graphiques donne une vue globale des résultats. La borne inférieure de la boite donne la valeur en dessous de laquelle se trouvent 25 % des résultats. La borne supérieure de la boite donne la valeur en dessous de laquelle se trouvent 75 % des résultats. La ligne à l’intérieur de la boite donne la valeur en dessous de laquelle se trouvent 50 % des résultats. La limite de la moustache gauche donne la valeur minimum. La limite de la moustache droite donne la valeur maximum. Considérons le deuxième graphique (fréquence de 9 pour 100 lancers) : la plus petite valeur est 8/100. Dans 25 % des cas, c’était au plus 9/100. Dans la moitié des cas ou 50 %, c’était au plus 10,5/100. Dans 75 % des cas, c’était au plus 12,5/100. Et le maximum a été 16/100.
La boite à moustache donne une vue d’ensemble des résultats en les répartissant en quatre quarts. Que l’on regarde les résultats pour 9 ou pour 10, on se rend compte dans les deux cas que les valeurs sont très dispersées quand on considère ce qu’on appelle de petits échantillons de taille 10. C’est la fluctuation d’échantillonnage. Par contre, quand la taille de l’échantillon augmente, la fluctuation d’échantillonnage a généralement tendance à diminuer. Autrement dit, si répétez l’expérience qui consiste à lancer mille fois trois dés en observant chaque fois la somme, la proportion de fois où cette somme vaut 9 (ou 10) change généralement peu d’une expérience à l’autre. Alors que cette même proportion varie généralement fort d’un cas à l’autre quand on ne considère que dix lancers.
La moyenne et le pilotage
Ce qu’on en retire pour notre problème de pilotage, c’est que la moyenne des résultats des élèves des écoles de la Fédération Wallonie-Bruxelles de même indice socioéconomique, cela a du sens, car il s’agit d’un échantillon de plusieurs milliers d’individus. Par contre la moyenne de la petite école de Houtsiplou qui fait entre dix et cinquante élèves, elle risque de fluctuer fortement d’une année à l’autre. Un seul élève ayant de très mauvais résultats peut faire fortement baisser la moyenne dans une petite école alors que sur un nombre très grand, l’effet sur la moyenne est moindre.
À côté des moyennes, il faudrait donc aussi considérer la dispersion, c’est-à-dire voir dans quelle mesure les résultats sont plus ou moins écartés. Pour cela, il y a d’autres indicateurs à calculer…
Galilée : le retour
Si on veut savoir lequel de 9 ou 10 est le plus fréquent quand on lance trois dés cubiques équilibrés dont les faces sont numérotées de 1 à 6 et qu’on fait la somme des résultats, on a constaté qu’il valait mieux se référer à de grands échantillons. Dans le cas de mille lancers, on a répété vingt fois l’expérience et on a observé, qu’en moyenne, la somme 9 est apparue 117,45/1000. Alors que la somme 10 est apparue en moyenne 126,8/1000. On voit donc que le 10 semble plus fréquent que le 9…
Pourquoi ? C’est un travail de cinquième, sixième année secondaire… Le cas (3, 3, 3) par exemple, ne peut se produire que lorsque les trois dés montrent 3. Par contre, le cas (3, 3, 4) peut s’obtenir de trois façon différentes suivant que c’est le premier, le deuxième ou le troisième dé qui montre le 4. Et le cas (1, 4, 5) peut se produire de six façons différentes…
