He tardat una mica a pair i ordenar tot el que s'ha dit aquests dies sobre l'exclusió de Catalunya de l'informe PISA 2025 per una mostra que no complia els requisits tècnics. La conseqüència és que les dades que s'obtinguin, n'hi haurà, no es podran comparar ni amb altres territoris ni amb els resultats d'anys anteriors. I caldrà veure què se'n pot fer realment.
Hi ha molts elements a tenir en compte. S'han separat de la prova el 23,2% dels estudiants d'una mostra que havia de ser de 2.545 alumnes. Uns 591 en van quedar exempts, dels quals 493 per motius cognitius, conductuals o emocionals i 92 per domini insuficient de la llengua, quan el límit que recomana l'OCDE és del 5%. En sorgeixen preguntes òbvies: com és que això no es va detectar en el seu moment? Quins criteris es van seguir en l'aplicació de les exempcions i qui els controlava? És difícil respondre-les amb precisió sense més informació, però pel que sembla el mecanisme de control previ no hi era: molt probablement hi ha hagut un buit de procés més que no pas un error puntual d'algun centre aïllat. Un 23% no s'explica per casualitat; la primera impressió és que és un error sistèmic, no un incident anecdòtic.
Sembla clar que, a partir d’informació sobre el que ha passat i perquè, caldrà implantar mecanismes per evitar que es torni a presentar aquesta situaciói. Però en cap cas se n'ha de deduir que el sistema és un desastre, que s'està enfonsant o que s'enfonsarà. I tampoc, òbviament, estem en l'extrem contrari, no passa res.
Com a docent, em vull centrar en una de les frases que m'ha quedat de tot el que he llegit aquests dies: "Catalunya, sense resultats PISA fins al 2029". I m’ha fet pensar en com es considera que PISA ho és tot pel sistema educatiu, una mena de rellotge simbòlic del sistema, fins i tot per als crítics més absoluts amb l'OCDE, l'organisme que l’organitza.
Aquest episodi, i aquesta frase, més enllà de la gestió concreta, posa sobre la taula un problema més vell, aquest estudi està implantat des de l'any 2003 i,, des d'aleshores, anem acumulant dades. Dades que, al meu entendre, no hem deixat de mirar incorrectament des de l'inici, posant el focus en la mitjana, resultat final, i en la comparació amb altres comunitats i països, quan el que hauríem de fer és posar el focus en allò que el nostre sistema fa bé i en allò que necessita millorar, queen ambdós casos és molt.
Potser, si les dades de 2025 no serveixen per comparar, sí que poden servir, amb totes les cauteles tècniques que calgui, per mirar realment cap endins, sense la pressió de la comparació, i preguntar-nos què diuen sobre els nostres propis punts forts i febles, no sobre la posició al rànquing.
El problema que hem tingut sempre no és de volum de dades, en tenim, i moltes, és del seu ús. Hem de ser capaços de superar aquesta pobresa d'anàlisi que només ens parla d'"estem per sobre o per sota de la mitjana" i de la posició que ocupem ordenats entre comunitats i països.
Entenc que el problema és estructural en dos sentits. Un és tècnic: aquest tipus d'anàlisi fina requereix microdades i capacitat analítica que no sempre estan a l'abast dels equips docents ni, sovint, tampoc del debat mediàtic, que treballa amb el titular de la mitjana perquè és el que es pot dir en una frase. L'altre és d'incentius: mentre el marc de referència públic sigui la "posició al rànquing", cap administració tindrà gaires alicients per finançar i publicitar una anàlisi més fina que, en el millor dels casos, no dona un titular tan clar i, en el pitjor, complica la narrativa oficial.
Canviar això no depèn tant de tenir més dades, que en tindrem, encara que la de 2025 quedi coixa, sinó de canviar qui les analitza, amb quines preguntes i amb quina voluntat real de fer-les servir per orientar decisions, i no per confirmar un relat ja escrit d'entrada.
Hi ha molts elements a tenir en compte. S'han separat de la prova el 23,2% dels estudiants d'una mostra que havia de ser de 2.545 alumnes. Uns 591 en van quedar exempts, dels quals 493 per motius cognitius, conductuals o emocionals i 92 per domini insuficient de la llengua, quan el límit que recomana l'OCDE és del 5%. En sorgeixen preguntes òbvies: com és que això no es va detectar en el seu moment? Quins criteris es van seguir en l'aplicació de les exempcions i qui els controlava? És difícil respondre-les amb precisió sense més informació, però pel que sembla el mecanisme de control previ no hi era: molt probablement hi ha hagut un buit de procés més que no pas un error puntual d'algun centre aïllat. Un 23% no s'explica per casualitat; la primera impressió és que és un error sistèmic, no un incident anecdòtic.
Sembla clar que, a partir d’informació sobre el que ha passat i perquè, caldrà implantar mecanismes per evitar que es torni a presentar aquesta situaciói. Però en cap cas se n'ha de deduir que el sistema és un desastre, que s'està enfonsant o que s'enfonsarà. I tampoc, òbviament, estem en l'extrem contrari, no passa res.
Com a docent, em vull centrar en una de les frases que m'ha quedat de tot el que he llegit aquests dies: "Catalunya, sense resultats PISA fins al 2029". I m’ha fet pensar en com es considera que PISA ho és tot pel sistema educatiu, una mena de rellotge simbòlic del sistema, fins i tot per als crítics més absoluts amb l'OCDE, l'organisme que l’organitza.
Aquest episodi, i aquesta frase, més enllà de la gestió concreta, posa sobre la taula un problema més vell, aquest estudi està implantat des de l'any 2003 i,, des d'aleshores, anem acumulant dades. Dades que, al meu entendre, no hem deixat de mirar incorrectament des de l'inici, posant el focus en la mitjana, resultat final, i en la comparació amb altres comunitats i països, quan el que hauríem de fer és posar el focus en allò que el nostre sistema fa bé i en allò que necessita millorar, queen ambdós casos és molt.
Potser, si les dades de 2025 no serveixen per comparar, sí que poden servir, amb totes les cauteles tècniques que calgui, per mirar realment cap endins, sense la pressió de la comparació, i preguntar-nos què diuen sobre els nostres propis punts forts i febles, no sobre la posició al rànquing.
El problema que hem tingut sempre no és de volum de dades, en tenim, i moltes, és del seu ús. Hem de ser capaços de superar aquesta pobresa d'anàlisi que només ens parla d'"estem per sobre o per sota de la mitjana" i de la posició que ocupem ordenats entre comunitats i països.
- Una anàlisi millor voldria dir coses ben concretes:
- Mirar l'evolució de la distribució per nivells de rendiment: quanta gent està per sota el nivell 2, considerat el llindar de competència funcional, i com evoluciona aquest percentatge, no només la mitjana global.
- Encreuar els resultats amb variables de context socioeconòmic i de tipus de centre, per veure on es concentra la desigualtat i si s'eixampla o s'estreny.
- Comparar els resultats de les proves internes de competències bàsiques amb els de PISA, per veure si expliquen la mateixa història o no, cosa que ja donaria pistes sobre què mesura cadascuna.
- Mirar els ítems concrets, no només l'escala agregada, per identificar quins tipus de tasca o de contingut concentren les dificultats: aquí és on hi ha informació realment útil per a la pràctica a l'aula.
Entenc que el problema és estructural en dos sentits. Un és tècnic: aquest tipus d'anàlisi fina requereix microdades i capacitat analítica que no sempre estan a l'abast dels equips docents ni, sovint, tampoc del debat mediàtic, que treballa amb el titular de la mitjana perquè és el que es pot dir en una frase. L'altre és d'incentius: mentre el marc de referència públic sigui la "posició al rànquing", cap administració tindrà gaires alicients per finançar i publicitar una anàlisi més fina que, en el millor dels casos, no dona un titular tan clar i, en el pitjor, complica la narrativa oficial.
Canviar això no depèn tant de tenir més dades, que en tindrem, encara que la de 2025 quedi coixa, sinó de canviar qui les analitza, amb quines preguntes i amb quina voluntat real de fer-les servir per orientar decisions, i no per confirmar un relat ja escrit d'entrada.
Comentaris
Publica un comentari a l'entrada