Que dis-tu PISA?

N’étant pas l’œuvre d’un expert, cet écrit n’a aucune prétention si ce n’est tenter de relativiser les résultats du PISA 2000 à partir de quelques questions personnelles enrichies de quelques lectures.

Sondage, échantillon, techniques

PISA c’est un sondage, c’est-à-dire un regard orienté sur certaines variables présélectionnées.

Lorsqu’on fait un sondage, on sélectionne un échantillon et celui-ci n’est pas toute la population même si l’échantillon choisi pour PISA est grand dans chaque pays testé [1]103 écoles et 2818 élèves en Communauté française de Belgique..

Pour s’assurer que l’échantillon représente au mieux la population, on utilise un certain nombre de techniques parmi lesquelles on retrouve notamment des critères de stratification [2]Extraire au hasard et sans critère des individus d’une population donnée ne garantit pas la représentativité de l’échantillon. Le premier critère de stratification choisi pour … Continue reading qui font eux aussi l’objet d’un choix délibéré. Il faut cependant reconnaitre que de nombreuses précautions statistiques ont été prises lors de la réalisation de l’enquête [3]D. Lafontaine, A. Baye, A. Matoul, PISA 2000. Programme international de l’OCDE pour le suivi des acquis des élèves, dans Les cahiers du Service de pédagogie expérimentale 7-8, 53-57..

Mais on s’arrête trop souvent à la validité d’un échantillon sans se demander ce que recouvre la population. Ainsi, pour faire un parallèle éclairant, une enquête sur la pauvreté[4]F. Foidart, S. Perelman, P. Pestieau, Portrait social de la Wallonie, Fondation Roi Baudoin, Bruxelles, 1995. qui ne prend en compte que les ménages privés et exclut par la même occasion les sans domicile fixe et tous ceux qui vivent en institution, tronque la réalité en biaisant, non pas l’échantillon sondé, mais la population.

La population du PISA 2000 est constituée des jeunes qui fréquentent un établissement scolaire, les autres en sont exclus. Or, il se fait que le taux de scolarisation est élevé en Belgique et la scolarité est obligatoire jusque 18 ans. Il faut encore ajouter que le taux de participation des écoles à l’enquête a été très élevé (98 %) en Communauté française [5]<3> contrairement à d’autres pays. On peut donc se demander si l’enquête n’a pas “ratissé plus large” ici qu’ailleurs.

Commanditaire, réalisateur, destinataire, objectifs

Selon des bons vieux principes de critique historique, il faut se demander qui a commandé l’enquête. Il s’agit de l’OCDE. Lieu où les pays riches sont mieux représentés que les autres, cette dernière fait partie, avec l’OMC (Organisation mondiale du commerce) et le FMI (Fonds monétaire international) -pour ne citer que ceux-là-, des institutions qui imposent une certaine loi au monde.

La réalisation de l’enquête a été confiée à des universités auxquelles s’ajoutent des organismes privés. Les moyens varient fort de pays à pays ou, en Belgique, de communauté à communauté [6]D. Lafontaine, Pisa: la tour de la honte, dans Option n°6, février 2002..

On ne sait trop quels sont les destinataires de l’enquête: les décideurs, les acteurs, les utilisateurs, la société?

Du côté des objectifs, d’aucuns affirment qu’il s’agit d’une manœuvre pour dénoncer le manque d’efficacité du système éducatif et réduire les moyens pour démanteler à terme le service public. Cela pourrait être, à l’opposé, un argument en faveur de l’augmentation des moyens pour revaloriser l’enseignement. Ce n’est peut-être tout simplement qu’une manifestation d’une manie anglosaxonne: établir un palmarès[7]Selon M. Romainville, Du bon usage de PISA, à paraitre..

Type de questions, type d’écrits, type de culture

Peut-on croire à l’uniformité culturelle? Dans quelle culture au sens de l’origine sociale ou au sens du pays, de sa langue et de ses traditions s’insèrent les questions de PISA? À quelles cultures se réfèrent-elles naturellement?

Quelles questions pose-t-on et comment les pose-t-on? En math et en sciences, elles sont loin de la pratique scolaire, relèvent largement de capacités de lecture et de compréhension de l’écrit et font référence à une certaine culture générale dans ces domaines.

Les questions ouvertes ont l’avantage de montrer certaines choses que ne montre pas un QCM mais elles sont déstabilisantes pour de nombreux élèves.

Certaines langues seraient plus faciles que d’autres, ce qui serait un des éléments justificatifs du succès finlandais[8]L. de Chalvron, Finlande: un miracle somme toute logique, Le Monde du 4 février 2002..

On peut se demander si de nombreuses questions ne sont pas d’origine anglosaxonne [9]<6>, même s’il faut reconnaitre que les traductions ont été croisées et soigneusement établies [10]<3>.

Compétences

Le discours des compétences est à l’enseignement, ce que le capitalisme de marché est à l’économie. Soulignons l’importance de la valeur instrumentale des savoirs sans tomber dans le travers de compétences décharnées qui grandiraient indépendamment des disciplines.

Et surtout, évitons d’y réduire tout l’apprentissage. Car, il y a des savoirs importants pour eux-mêmes, ainsi que des savoir-faire, des savoir-être qui n’entrent pas dans le champ des compétences au sens où on les entend souvent. De nombreuses activités intellectuelles échappent à une description en termes de compétences [11]Les parangons des compétences, eux-mêmes, n’illustrent jamais leur concept autrement que par des activités relativement concrètes comme conduire une voiture..

Seules les compétences en compréhension à l’écrit sont finalement testées par le PISA 2000. On ne peut nier leur importance en termes d’atout (respectivement de handicap) social pour ceux qui les possèdent (respectivement ne les possèdent pas). Mais n’oublions pas, pour ne citer qu’elles, toutes les compétences scientifiques et techniques. Qui ne connait de bons maçons, capables de lire un plan et de réaliser de grandes constructions mais très faibles en lecture.

Pour obtenir des réponses jugées exactes, il faut fournir les compétences attendues (par qui? s’agit-il d’un prélude à ce qu’attendra le patron?) sans prise de liberté. Prenons l’exemple de la question 13 qui touche aux textes “Graffiti”: “Avec laquelle des deux lettres êtes-vous d’accord? Justifiez votre réponse en utilisant vos propres mots pour évoquer ce qui est dit dans la lettre choisie, ou dans les deux lettres[12]OCDE, Connaissances et compétences: des atouts pour la vie, Premiers résultats du Programme internationnal de l’OCDE pour le suivi des acquis des élèves (PISA) 2000. … Continue reading. Quand on pose cette question à des jeunes, il n’est pas rare d’en voir qui développent leur propre avis sur la question indépendamment des avis émis par les deux textes [13]Voir J. Cornet, Testons le test, dans ce même numéro.. Mais cela n’est pas autorisé et, dans ce cas, le correcteur doit compter que la réponse est fausse.

Mesure et scores

L’objectif est “d’évaluer dans quelle mesure les élèves qui s’acheminent vers la fin de leur scolarité obligatoire ont acquis certaines des connaissances et des savoir-faire indispensables pour participer pleinement à la vie en société[14]<9>. N’est-ce pas un peu prétentieux, y a-t-il vraiment adéquation entre l’objectif de mesure et la mesure effectuée, même si ce sont des compétences socialement importantes comme nous l’avons déjà écrit.

Le score d’un élève est une probabilité. S’il atteint un niveau donné, c’est qu’il est “censé réussir la moitié des items correspondants au niveau[15]<9>.

Le classement publié dans toute la presse n’a pas beaucoup de sens statistique et ce qui compte, comme l’a dit et écrit D. Lafontaine [16]D. Lafontaine, Premiers résultats du Programme international pour le suivi des acquis des élèves de 15 ans (PISA 2000), dans les Infos de l’Agers, janvier 2002. http://www.agers.cfwb.be , ce sont les résultats significativement différents. Pour la lecture, par exemple, on ne peut distinguer que trois groupes statistiquement significativement différents. La Communauté française fait partie du second groupe avec l’Allemagne, les États-Unis,…

On peut donc se demander qui a voulu faire publier le tableau complet et dans quels buts il l’a fait. Une certitude, il a réussi…

Portée

S’il n’y a pas d’uniformité culturelle, il n’y a pas non plus d’uniformité des systèmes, de leur histoire et des publics concernés. La mise en contexte socio-historique du système éducatif de chaque pays [17]Comme le signale D. Carlier, De l’usage démocratique des enquêtes OCDE, dans La revue nouvelle de mars 2002. manque à l’étude.

En dehors de quelques généralités [18]On peut citer, par exemple, le fait de pratiquer l’homogénéité ou l’hétérogénéité des publics scolaires., aucune conclusion n’a pu être tirée sur des causes qui produiraient des effets. Aucune relation précise n’est faite entre mesures éducatives et résultats aux tests. On promet que ce sera pour plus tard.

Quoi qu’on puisse dire ou écrire du PISA, son mérite est d’exister et de proposer une mesure, avec ce que toute mesure apporte, aux précautions près, en termes de comparaison, d’ordre, d’unité, d’échelle.

Deux constats sont incontournables pour la Communauté française. Le premier, c’est la part importante de jeunes, 28 %, qui ont des compétences en lecture faibles ou très faibles. Le second, c’est l’inéquité du système dans le sens où les résultats varient selon l’origine sociale (statut professionnel des parents, niveau de formation de la mère, autochtone ou immigrant) sans que l’école soit capable de réduire ces inégalités.

Et après

Ne perdons pas de vue que le problème est sociétal, qu’il s’inscrit dans un contexte plus large que celui de l’école. Les bons résultats de la Finlande avec ses habitudes de lecture, son réseau de bibliothèques publiques, son organisation sociale,… en font la preuve [19]<7>.

Évitons le bachotage comme certains sont déjà tentés de le faire. Prenons garde à la mise en concurrence entre établissements, l’accentuation de la dualisation actuelle et l’encouragement à la gestion managériale.

Rejetons les récupérations de tous poils qu’elles aillent dans le sens de “c’est une vraie catastrophe” ou “je vous l’avais prédit” ou “mes réformes vont dans le bon sens” ou “c’est cela qu’il faut faire“…

Notes de bas de page

Notes de bas de page
1 103 écoles et 2818 élèves en Communauté française de Belgique.
2 Extraire au hasard et sans critère des individus d’une population donnée ne garantit pas la représentativité de l’échantillon. Le premier critère de stratification choisi pour l’enquête PISA est la taille des établissements, ce qui veut dire qu’on a choisi des écoles parmi celles de petite taille, de taille moyenne et de grande taille. Le second critère est celui du retard scolaire, ce qui veut dire qu’on classe les élèves suivant leur retard avant d’effectuer le tirage. Ce qui ne revient pas au même que si l’on avait fait le tirage après les avoir classés par ordre alphabétique, par exemple.
3 D. Lafontaine, A. Baye, A. Matoul, PISA 2000. Programme international de l’OCDE pour le suivi des acquis des élèves, dans Les cahiers du Service de pédagogie expérimentale 7-8, 53-57.
4 F. Foidart, S. Perelman, P. Pestieau, Portrait social de la Wallonie, Fondation Roi Baudoin, Bruxelles, 1995.
5, 10 <3>
6 D. Lafontaine, Pisa: la tour de la honte, dans Option n°6, février 2002.
7 Selon M. Romainville, Du bon usage de PISA, à paraitre.
8 L. de Chalvron, Finlande: un miracle somme toute logique, Le Monde du 4 février 2002.
9 <6>
11 Les parangons des compétences, eux-mêmes, n’illustrent jamais leur concept autrement que par des activités relativement concrètes comme conduire une voiture.
12 OCDE, Connaissances et compétences: des atouts pour la vie, Premiers résultats du Programme internationnal de l’OCDE pour le suivi des acquis des élèves (PISA) 2000. http://www.oecd.pisa.org/
13 Voir J. Cornet, Testons le test, dans ce même numéro.
14, 15 <9>
16 D. Lafontaine, Premiers résultats du Programme international pour le suivi des acquis des élèves de 15 ans (PISA 2000), dans les Infos de l’Agers, janvier 2002. http://www.agers.cfwb.be
17 Comme le signale D. Carlier, De l’usage démocratique des enquêtes OCDE, dans La revue nouvelle de mars 2002.
18 On peut citer, par exemple, le fait de pratiquer l’homogénéité ou l’hétérogénéité des publics scolaires.
19 <7>