Julio Carabaña: “PISA es muy deficiente como sistema de evaluación de las escuelas”

El catedrático de Sociología de la Educación en la Universidad Complutense, Julio Carabaña, acaba de publicar el libro ‘La inutilidad de PISA para las escuelas’ (Los Libros de la Catarata) en el que, basándose en los datos del propio informe, explica por qué PISA carece de valor para mejorar la enseñanza en el aula y la organización de las escuelas”.
Índice de contenidos
En efecto, las diferencias entre países no deben atribuirse al sistema de enseñanza, pues dependen de toda la experiencia vital de las personas. La 'literacia' es una competencia muy general que se adquiere en todas partes, no sólo en las escuelas.
PISA se propone medir 'literacia' porque la considera muy importante para la economía y lo hace muy bien, pero es muy deficiente como evaluación de las escuelas. Primero, porque por mucha importancia que se le quiera dar, el fomento de la literacia no pasa de ser uno de los fines de las escuelas entre muchos otros (en nuestras Leyes se mencionan alrededor de 20 como principales, y entre ellos no está la literacia). Segundo, porque, como PISA reconoce, no es posible separar el efecto de las escuelas sobre la literacia. PISA podría utilizarse para mejorar el sistema de enseñanza si se pudiera separar el efecto de las escuelas del que produce el resto de sociedades educadoras, como la familia, los grupos de iguales o los medios de comunicación, pero, como PISA advierte, no se puede. También podría utilizarse para mejorar la literacia (que no el aprendizaje) de los alumnos si se mostrara que ésta depende de ciertos rasgos de las escuelas; pero tampoco es posible porque no puede establecer relaciones de causa y efecto, sino sólo asociaciones; y porque las asociaciones que encuentra son pocas y triviales. Por ejemplo, que la literacia está asociada con la disciplina o con la repetición de curso. Esto último es lo que he pretendido explicar en mi libro.
Pues hay que reconocer que enseñan muy poco y que probablemente no sirvan para nada. Enseñan el nivel de literacia de los alumnos a los 15 años, pero no cómo mejorarlo.
La convergencia mundial de los curricula es una tendencia antigua, como han mostrado las investigaciones de Meyer y Ramírez, entre otros. Será difícil establecer si PISA contribuye a esta tendencia. A lo más que puede conducir es a incrementar lo que se llama 'enseñar para el test', es decir, a que los alumnos de todo el mundo se entrenen a contestar las pruebas PISA.
A la OCDE le costó aceptar que PISA no encontraba relación entre literacia (que no aprendizaje) y gasto, aunque era algo sabido desde el Informe Coleman, en 1966. Se ve muy bien el proceso de resignación en los sucesivos informes. ¿Que por qué no hay relación entre gasto y literacia? Pues porque la literacia es una capacidad muy general que se aprende en todas partes, no sólo en la escuela, etc, etc.
PISA es incapaz de encontrar nada en común entre los países con mejores resultados en literacia; así si quisiéramos imitarlos, no nos serviría de guía. Pero no haría falta irse a Extremo Oriente para encontrar modelos. Los alumnos de Castilla y León o la Rioja también pueden servir de modelo. Pero para imitarlos hay averiguar en qué, si no queremos hacer como los niños que se ponen la camiseta de los mejores futbolistas.
En 2012 se pasaron pruebas de matemáticas y resolución de problemas en papel y en ordenador a los mismos alumnos, con resultados diferentes. Los españoles puntuaron peor en las pruebas con ordenador. ¡Pero no se encontró relación entre los resultados y la familiaridad con el uso de ordenadores! En general, es una mala idea. Al mezclar dos cosas, las pruebas pierden validez.
1 Comentario
Cada vez hay más revisiones críticas al informe PISA. El análisis del catedrático Carabañas será muy útil para el debate que se avecina sobre si está funcionando o no el enfoque por competencias que se utiliza en la enseñanza en las escuelas de los países de la OCDE. ¿Será que también poco a poco se pone en duda y se mina la confianza en la utilidad de las pruebas estandarizadas?