Julio Carabaña: “PISA es muy deficiente como sistema de evaluación de las escuelas”

El catedrático de Sociología de la Educación en la Universidad Complutense, Julio Carabaña, acaba de publicar el libro ‘La inutilidad de PISA para las escuelas’ (Los Libros de la Catarata) en el que, basándose en los datos del propio informe, explica por qué PISA carece de valor para mejorar la enseñanza en el aula y la organización de las escuelas”.

¿El informe PISA evalúa contenidos o competencias?

Las dos cosas, pero secundariamente, como 'subproducto'. El objetivo principal de PISA es medir el grado en que los alumnos generalizan el uso de los conocimientos a cualquiera situación. PISA se refiere a esto con el término 'ability', con el de 'skill' y también con el de 'competence'. Pero el nombre propio que le da es 'literacy', que si se quiere ser preciso, conviene traducir por un término distinto, por ejemplo 'literacia' [la capacidad de cada individuo para comprender y usar la información escrita con el fin de desarrollar su propio conocimiento]. Ahora bien, para medir la capacidad de usar los conocimientos hay que incluir algunos conocimientos en las pruebas.

El propio PISA advierte de que hay que relativizar sus resultados, ¿por qué?

En efecto, las diferencias entre países no deben atribuirse al sistema de enseñanza, pues dependen de toda la experiencia vital de las personas. La 'literacia' es una competencia muy general que se adquiere en todas partes, no sólo en las escuelas.

¿Qué otros ‘peros’ pueden ponerse a este sistema de evaluación?

PISA se propone medir 'literacia' porque la considera muy importante para la economía y lo hace muy bien, pero es muy deficiente como evaluación de las escuelas. Primero, porque por mucha importancia que se le quiera dar, el fomento de la literacia no pasa de ser uno de los fines de las escuelas entre muchos otros (en nuestras Leyes se mencionan alrededor de 20 como principales, y entre ellos no está la literacia). Segundo, porque, como PISA reconoce, no es posible separar el efecto de las escuelas sobre la literacia. PISA podría utilizarse para mejorar el sistema de enseñanza si se pudiera separar el efecto de las escuelas del que produce el resto de sociedades educadoras, como la familia, los grupos de iguales o los medios de comunicación, pero, como PISA advierte, no se puede. También podría utilizarse para mejorar la literacia (que no el aprendizaje) de los alumnos si se mostrara que ésta depende de ciertos rasgos de las escuelas; pero tampoco es posible porque no puede establecer relaciones de causa y efecto, sino sólo asociaciones; y porque las asociaciones que encuentra son pocas y triviales. Por ejemplo, que la literacia está asociada con la disciplina o con la repetición de curso. Esto último es lo que he pretendido explicar en mi libro.

PISA indica que existen grandes diferencias entre países y regiones, y en España en concreto entre el norte y el sur, ¿por qué?

No es posible saber en qué medida esas diferencias se deben a las escuelas y en qué medida al resto de la sociedad. Se han dedicado muchos estudios a relacionar la literacia con características de los sistemas de enseñanza como el gasto, la comprensividad, la gestión pública o privada de los centros, la autonomía... Cuantos más se hacen, menos asociaciones consistentes van quedando. Finalmente, en 2012 PISA se ha agarrado a los estudios de dos economistas, Hanushek y Wössmann, que pretenden haber encontrado una asociación entre la literacia y el grado en que los centros tienen autonomía y rinden cuentas. ¡Las dos cosas a la vez, porque la una sin la otra se asocian negativamente a la literacia! ¿Cuál es la asociación? ¡Cuatro puntos!, menos del 1% de la media PISA, que son 500. Éste es el máximo a que PISA ha llegado hasta ahora en la explicación de las diferencias entre países. Parece insensato emprender cualquier reforma política sobre bases tan frágiles. Explicar diferencias en literacia entre regiones es más difícil todavía, porque difieren menos entre sí que los países.

¿Para qué sirven, entonces, los resultados de PISA?

Pues hay que reconocer que enseñan muy poco y que probablemente no sirvan para nada. Enseñan el nivel de literacia de los alumnos a los 15 años, pero no cómo mejorarlo.

¿PISA llevará a implementar unos estandares de aprendizaje más globales?

La convergencia mundial de los curricula es una tendencia antigua, como han mostrado las investigaciones de Meyer y Ramírez, entre otros. Será difícil establecer si PISA contribuye a esta tendencia. A lo más que puede conducir es a incrementar lo que se llama 'enseñar para el test', es decir, a que los alumnos de todo el mundo se entrenen a contestar las pruebas PISA.

¿Cómo deberían realizarse este tipo de evaluaciones?

Mi punto de vista es que el formato de PISA es bueno, pero el objeto demasiado general; si se quieren evaluar sistemas de enseñanza escolar, las pruebas deben medir los objetivos propios de las escuelas, no objetivos tan generales de la educación. Por ejemplo, se deberían pasar pruebas de Matemáticas o de Inglés, no de literacia matemática o lectora.

¿Por qué la mayor o menor inversión no tiene relación con que los alumnos aprendan más?

A la OCDE le costó aceptar que PISA no encontraba relación entre literacia (que no aprendizaje) y gasto, aunque era algo sabido desde el Informe Coleman, en 1966. Se ve muy bien el proceso de resignación en los sucesivos informes. ¿Que por qué no hay relación entre gasto y literacia? Pues porque la literacia es una capacidad muy general que se aprende en todas partes, no sólo en la escuela, etc, etc.

El Informe PISA sitúa Finlandia y a los países asiáticos como ’modelos educativos’, y tienen dos enfoques diferentes. ¿Tienen características comunes que les permitan situarse en las ‘primeras posiciones'?

PISA es incapaz de encontrar nada en común entre los países con mejores resultados en literacia; así si quisiéramos imitarlos, no nos serviría de guía. Pero no haría falta irse a Extremo Oriente para encontrar modelos. Los alumnos de Castilla y León o la Rioja también pueden servir de modelo. Pero para imitarlos hay averiguar en qué, si no queremos hacer como los niños que se ponen la camiseta de los mejores futbolistas.

Desde este año, las pruebas se realizan a través del ordenador, ¿el soporte puede variar los resultados?

En 2012 se pasaron pruebas de matemáticas y resolución de problemas en papel y en ordenador a los mismos alumnos, con resultados diferentes. Los españoles puntuaron peor en las pruebas con ordenador. ¡Pero no se encontró relación entre los resultados y la familiaridad con el uso de ordenadores! En general, es una mala idea. Al mezclar dos cosas, las pruebas pierden validez.