N’étant pas l’œuvre d’un expert, cet écrit n’a aucune prétention si ce n’est tenter de relativiser les résultats du PISA 2000 à partir de quelques questions personnelles enrichies de quelques lectures.
Sondage, échantillon, techniques
PISA c’est un sondage, c’est-à-dire un regard orienté sur certaines variables présélectionnées.
Lorsqu’on fait un sondage, on sélectionne un échantillon et celui-ci n’est pas toute la population même si l’échantillon choisi pour PISA est grand dans chaque pays testé .
Pour s’assurer que l’échantillon représente au mieux la population, on utilise un certain nombre de techniques parmi lesquelles on retrouve notamment des critères de stratification qui font eux aussi l’objet d’un choix délibéré. Il faut cependant reconnaitre que de nombreuses précautions statistiques ont été prises lors de la réalisation de l’enquête .
Mais on s’arrête trop souvent à la validité d’un échantillon sans se demander ce que recouvre la population. Ainsi, pour faire un parallèle éclairant, une enquête sur la pauvreté qui ne prend en compte que les ménages privés et exclut par la même occasion les sans domicile fixe et tous ceux qui vivent en institution, tronque la réalité en biaisant, non pas l’échantillon sondé, mais la population.
La population du PISA 2000 est constituée des jeunes qui fréquentent un établissement scolaire, les autres en sont exclus. Or, il se fait que le taux de scolarisation est élevé en Belgique et la scolarité est obligatoire jusque 18 ans. Il faut encore ajouter que le taux de participation des écoles à l’enquête a été très élevé (98 %) en Communauté française contrairement à d’autres pays. On peut donc se demander si l’enquête n’a pas “ratissé plus large” ici qu’ailleurs.
Commanditaire, réalisateur, destinataire, objectifs
Selon des bons vieux principes de critique historique, il faut se demander qui a commandé l’enquête. Il s’agit de l’OCDE. Lieu où les pays riches sont mieux représentés que les autres, cette dernière fait partie, avec l’OMC (Organisation mondiale du commerce) et le FMI (Fonds monétaire international) -pour ne citer que ceux-là-, des institutions qui imposent une certaine loi au monde.
La réalisation de l’enquête a été confiée à des universités auxquelles s’ajoutent des organismes privés. Les moyens varient fort de pays à pays ou, en Belgique, de communauté à communauté .
On ne sait trop quels sont les destinataires de l’enquête: les décideurs, les acteurs, les utilisateurs, la société?
Du côté des objectifs, d’aucuns affirment qu’il s’agit d’une manœuvre pour dénoncer le manque d’efficacité du système éducatif et réduire les moyens pour démanteler à terme le service public. Cela pourrait être, à l’opposé, un argument en faveur de l’augmentation des moyens pour revaloriser l’enseignement. Ce n’est peut-être tout simplement qu’une manifestation d’une manie anglosaxonne: établir un palmarès.
Type de questions, type d’écrits, type de culture
Peut-on croire à l’uniformité culturelle? Dans quelle culture au sens de l’origine sociale ou au sens du pays, de sa langue et de ses traditions s’insèrent les questions de PISA? À quelles cultures se réfèrent-elles naturellement?
Quelles questions pose-t-on et comment les pose-t-on? En math et en sciences, elles sont loin de la pratique scolaire, relèvent largement de capacités de lecture et de compréhension de l’écrit et font référence à une certaine culture générale dans ces domaines.
Les questions ouvertes ont l’avantage de montrer certaines choses que ne montre pas un QCM mais elles sont déstabilisantes pour de nombreux élèves.
Certaines langues seraient plus faciles que d’autres, ce qui serait un des éléments justificatifs du succès finlandais.
On peut se demander si de nombreuses questions ne sont pas d’origine anglosaxonne , même s’il faut reconnaitre que les traductions ont été croisées et soigneusement établies .
Compétences
Le discours des compétences est à l’enseignement, ce que le capitalisme de marché est à l’économie. Soulignons l’importance de la valeur instrumentale des savoirs sans tomber dans le travers de compétences décharnées qui grandiraient indépendamment des disciplines.
Et surtout, évitons d’y réduire tout l’apprentissage. Car, il y a des savoirs importants pour eux-mêmes, ainsi que des savoir-faire, des savoir-être qui n’entrent pas dans le champ des compétences au sens où on les entend souvent. De nombreuses activités intellectuelles échappent à une description en termes de compétences .
Seules les compétences en compréhension à l’écrit sont finalement testées par le PISA 2000. On ne peut nier leur importance en termes d’atout (respectivement de handicap) social pour ceux qui les possèdent (respectivement ne les possèdent pas). Mais n’oublions pas, pour ne citer qu’elles, toutes les compétences scientifiques et techniques. Qui ne connait de bons maçons, capables de lire un plan et de réaliser de grandes constructions mais très faibles en lecture.
Pour obtenir des réponses jugées exactes, il faut fournir les compétences attendues (par qui? s’agit-il d’un prélude à ce qu’attendra le patron?) sans prise de liberté. Prenons l’exemple de la question 13 qui touche aux textes “Graffiti”: “Avec laquelle des deux lettres êtes-vous d’accord? Justifiez votre réponse en utilisant vos propres mots pour évoquer ce qui est dit dans la lettre choisie, ou dans les deux lettres“. Quand on pose cette question à des jeunes, il n’est pas rare d’en voir qui développent leur propre avis sur la question indépendamment des avis émis par les deux textes . Mais cela n’est pas autorisé et, dans ce cas, le correcteur doit compter que la réponse est fausse.
Mesure et scores
L’objectif est “d’évaluer dans quelle mesure les élèves qui s’acheminent vers la fin de leur scolarité obligatoire ont acquis certaines des connaissances et des savoir-faire indispensables pour participer pleinement à la vie en société” . N’est-ce pas un peu prétentieux, y a-t-il vraiment adéquation entre l’objectif de mesure et la mesure effectuée, même si ce sont des compétences socialement importantes comme nous l’avons déjà écrit.
Le score d’un élève est une probabilité. S’il atteint un niveau donné, c’est qu’il est “censé réussir la moitié des items correspondants au niveau” .
Le classement publié dans toute la presse n’a pas beaucoup de sens statistique et ce qui compte, comme l’a dit et écrit D. Lafontaine , ce sont les résultats significativement différents. Pour la lecture, par exemple, on ne peut distinguer que trois groupes statistiquement significativement différents. La Communauté française fait partie du second groupe avec l’Allemagne, les États-Unis,…
On peut donc se demander qui a voulu faire publier le tableau complet et dans quels buts il l’a fait. Une certitude, il a réussi…
Portée
S’il n’y a pas d’uniformité culturelle, il n’y a pas non plus d’uniformité des systèmes, de leur histoire et des publics concernés. La mise en contexte socio-historique du système éducatif de chaque pays manque à l’étude.
En dehors de quelques généralités , aucune conclusion n’a pu être tirée sur des causes qui produiraient des effets. Aucune relation précise n’est faite entre mesures éducatives et résultats aux tests. On promet que ce sera pour plus tard.
Quoi qu’on puisse dire ou écrire du PISA, son mérite est d’exister et de proposer une mesure, avec ce que toute mesure apporte, aux précautions près, en termes de comparaison, d’ordre, d’unité, d’échelle.
Deux constats sont incontournables pour la Communauté française. Le premier, c’est la part importante de jeunes, 28 %, qui ont des compétences en lecture faibles ou très faibles. Le second, c’est l’inéquité du système dans le sens où les résultats varient selon l’origine sociale (statut professionnel des parents, niveau de formation de la mère, autochtone ou immigrant) sans que l’école soit capable de réduire ces inégalités.
Et après
Ne perdons pas de vue que le problème est sociétal, qu’il s’inscrit dans un contexte plus large que celui de l’école. Les bons résultats de la Finlande avec ses habitudes de lecture, son réseau de bibliothèques publiques, son organisation sociale,… en font la preuve .
Évitons le bachotage comme certains sont déjà tentés de le faire. Prenons garde à la mise en concurrence entre établissements, l’accentuation de la dualisation actuelle et l’encouragement à la gestion managériale.
Rejetons les récupérations de tous poils qu’elles aillent dans le sens de “c’est une vraie catastrophe” ou “je vous l’avais prédit” ou “mes réformes vont dans le bon sens” ou “c’est cela qu’il faut faire“…
