Así se titula el artículo de opinión que escribió en El País hace unas semanas Alfredo Pérez Rubalcaba, antiguo vicepresidente de España bajo el mandato de José Luís Rodríguez Zapatero.
Aunque sea por motivos de interés personal o partidistas, no deja de ser una buena noticia que alguien que ha estado vinculado a la política al máximo nivel haga una reflexión sobre cómo se interpretan las estadísticas, no sólo desde el propio ámbito político sino desde muchos medios de comunicación.
En este artículo en cuestión, Rubalcaba cuestiona la relevancia que se suele dar a pequeñas variaciones en los resultados de una encuesta, cuando estas variaciones a menudo están por debajo del margen de error definido por el tamaño de la muestra empleado. Lo resume con la siguiente frase:
"Siempre me ha sorprendido lo minucioso de esos análisis que encuentran sesudas razones para justificar lo injustificable, a saber: que una subida o una bajada de un punto de uno u otro partido es consecuencia directa de una declaración política, de un error, o de cualquier otro hecho concreto. Un punto de subida o de caída en una encuesta cuyo margen de error, ese que figura en la ficha técnica que casi nadie se lee, suele estar en el entorno de un ±2%. Es decir, un punto, que no es estadísticamente representativo. "
El informe PISA
Rubalcaba utiliza esta introducción al tema para abordar el uso que se da a los estudios estadísticos que evaluan la calidad de la enseñanza en diversos países de la Unión Europea: el célebre informe PISA (Programme for International Student Assessment).
Se trata de un estudio que se realiza en todos los países de la Unión para obtener una medida estandarizada de los conocimientos que adquieren los estudiantes de los diferentes países miembros al cumplir los 15 años. Este informe permite juzgar sobre una base supuestamente justa - por ser la misma para todos los países - las bondades y las carencias de cada sistema educativo.
Según valora el ex-político español, con buen criterio, es habitual el uso poco informado de los resultados de este informe. El análisis que suele hacerse se parece más al de los resultados de una liga de fútbol que al de un informe estadístico serio: se ignora persistentemente el concepto de margen de confianza, por lo que se emiten juicios sin base estadística de forma irresponsable y, porque no decirlo, sensacionalista.
Por ejemplo, se ha escrito que los alumnos españoles tienen resultados inferiores a la de la mayoría de los países de la Unión Europea. Eso no es cierto. La puntuación de los alumnos españoles fue de 484 frente a la media de 489. La diferencia no es estadísticamente representativa.
Siempre es complejo explicar al gran público los conceptos relacionados con la representatividad estadística y el margen de error, pero es una obligación de políticos y medios de comunicación hacer un uso responsable de los mismos. De lo contrario, podemos acabar en el absurdo de hacer estudios estadísticos con muestras ridículamente pequeñas y darles la misma credibilidad que estudios escrupulosamente diseñados por profesionales del sector.
Confundir el qué y el cómo
Otro apunte interesante del artículo anteriormente mencionado va más allá del puro problema estadístico. Es un fenómeno que llega a producirse en algunos ámbitos y que podríamos definir como "confudir el qué y el cómo".
Este fenómeno sucede cuando un dato se estudia mediante un mecanismo periódico fiable y costoso, empleado para tomar grandes decisiones. Sin duda, el informe PISA cumple este requisito. En estas circunstancias, el estudio estadístico pasa a ser tan popular y decisivo, que podemos caer en la tentación de pensar que el objetivo es mejorar los resultados del estudio en sí mismo y no la realidad que el estudio trata de observar.
Según Rubalcaba, el uso que se da al informe PISA está siendo tan exorbitante que algunas autoridades educativas han llegado a la conclusión de que la mejor manera de obtener buenos resultados en el informe PISA es enseñar a los alumnos a aprobar el tipo de cuestionario que se emplea para obtener los datos del informe.
Al hacer esto, pervertimos el fundamento del propio estudio. Entrenamos a los alumnos para completar una herramienta de medición (una encuesta, en el fondo) como si fuese un objetivo en sí mismo. Es una técnica que no es nueva: es habitual que academias de inglés y autoescuelas, en lugar de enseñar un idioma o cómo conducir, se concentren en enseñar estrategias para resolver los cuestionarios habituales para obtener una certificación de idiomas o el carnet de conducir.
Los profesionales de la investigación de mercados no debemos olvidar la importancia que tienen las herramientas de medida (como la encuesta) en el objetivo de reflejar de la forma más fiable posible la realidad que pretendemos observar. ¡No enseñemos a nuestros encuestados a "aprobar" cuestionarios!
