Los informes PISA son posiblemente los que más poder y alcance tienen hoy en la sociedad. ¿Pero son sus datos tan importantes y clarificadores como pretenden ser? Yong Zhao, erudito en globalización y tecnología de la educación, no está tan seguro y cree que sus afirmaciones son tan audaces como ilusorias.

En 2013 William Stewart cuestionó en un artículo los datos que ofrecen estos informes, además de su metodología y estadísticas. Después de mantener conversaciones con académicos de Dinamarca, Irlanda del Norte, Reino Unido y la OCDE, llegó a la conclusión de que existen fallos técnicos en sus pruebas, su administración y en el uso de técnicas estadísticas.

Yong Zhao también incluye en un artículo al respecto las reflexiones del profesor de estadística biomédica de la Universidad de Copenhague, Svend Kreiner, que pone en duda la idoneidad del modelo que utiliza PISA para hacer su clasificación. El modelo que emplea –informa Zhao– es el conocido como de Rasch. Para que éste funcione correctamente, deben cumplirse ciertos requisitos que según este profesor PISA no cumple.

Pero Stewart y Kreiner no han sido los únicos: en 2007 cerca de veinte investigadores de varios países europeos presentaron un análisis crítico de los informes y clasificaciones de PISA y casi todos ellos manifestaron tener serias dudas sobre las normas teóricas y metodologías aplicadas, en particular en su tabla de análisis de los sistemas educativos. "Hay pocas cosas que puedan resumirse con un número y sin embargo PISA afirma ser capaz de capturar todo el sistema educativo de un país con solo tres" –escribió el Dr Hugh Morrison, profesor de la Universidad de Queen en Belfast, Irlanda del Norte.

Las habilidades cognitivas que mide PISA abarcan tres ámbitos: matemáticas, lectura y ciencias, y supone que estas habilidades son universalmente valiosas en todos los países –comenta Zhao. Pero esta suposición es errónea, ya que los jóvenes de Japón, Grecia, México o Noruega no se enfrentan a los mismos desafíos ni precisan de las mismas habilidades en su día a día. En definitiva –concluye el artículo– afirmar que el modelo educativo de China es el mejor del mundo porque algunos de sus estudiantes consiguieron la puntuación más alta en el informe PISA no solo es inexacto, sino engañoso.