En busca de la pregunta perfecta

Trabajar en una empresa de paneles online puede atrofiar tu sensibilidad como respondiente. Por eso mantengo la disciplina de participar regularmente en encuestas. Aunque mis respuestas no sean válidas para un estudio, me lo tomo muy en serio; trato de responder con toda sinceridad, pensando qué quiere saber de mí el investigador que está detrás de la escena. También hago encuestas online a personas cercanas, a mi propia familia. Lo recomiendo, no se puede trabajar en esta industria sin ver a una persona de 72 años completando un cuestionario online.

 

preguntas perfectas

 

Todas estas participaciones me han llevado a ver preguntas realmente malas. Para mí, una pregunta mala cumple dos condiciones: (1) es imposible responderla con sinceridad, incitando al encuestado a inventarse una respuesta y (2) no genera información útil alguna para el investigador. Vamos, lo que sería una jugada maestra. Pondría en esta categoría muchas de esas preguntas de tipo “¿te sientes identificado con esta marca de cordones de zapatos?” o “¿piensas que esta marca de anticongelante es para gente como tú?”. Cuando respondo estas preguntas me siento inútil, incapaz de encontrar la forma correcta de responder. Cuando hago estas preguntas a otros, directamente siento vergüenza.

El síndrome Grand

Pero erigirse juez de preguntas ajenas es muy cómodo. Si este tipo de preguntas llegan a los cuestionarios, será que no es sencillo hacer buenas preguntas. Así que me propuse buscar la pregunta perfecta.

Mi pregunta perfecta debería ser clara y contundente. Atrayente para el respondiente, capaz de capturar ese dato anhelado por el investigador. De ligera lectura, pero honda profundidad. Objetiva como un número, precisa como un cirujano.

Buscar la perfección tiene un peligro. No querría caer en el síndrome Grand. Joseph Grand es un personaje de “La Peste”, de Albert Camus, que trata de escribir una novela. Pero no una novela cualquiera; una novela perfecta de principio a fin que, según sus propias palabras, debía hacer que los editores al leerla, se levantasen y exclamasen al unísono “señores, hay que quitarse el sombrero”.

Joseph Grand se obsesionó tanto en la perfección que no era capaz de pasar de la primera frase. La reescribía una y otra vez. Camus describe así esta parálisis creativa:

"Noches, semanas enteras sobre una palabra..., a veces una simple conjunción. (...) Compréndame bien, doctor. En rigor, es fácil escoger entre el mas y el pero. Ya es más difícil optar entre el mas y el y. La dificultad aumenta con el pues y el porque. Pero seguramente lo más difícil que existe es emplear bien el cuyo”.

¿Medir la calidad de una pregunta?

Así que empecé a recopilar ingredientes para una pregunta perfecta, pero con sentido práctico. En primer lugar, identifiqué las recomendaciones de toda la vida, que no por conocidas son menos importantes. Las preguntas deben ser concisas, redactadas empleando el lenguaje del encuestado, con estructuras gramaticales simples. Deben ser objetivas, evitar la doble negación así como cualquier elemento que dé lugar a dobles interpretaciones. Son reglas obvias, pero no siempre son fáciles de aplicar: ¿qué es un lenguaje sencillo?, ¿puedo medir de alguna forma la bondad de mi pregunta?.

Así que buscando la pregunta perfecta, descubrí que no estaba solo. Un grupo de investigadores del RECSM (colaboradores del R2online) llevan tiempo en ello. Bueno, en realidad han dado un paso atrás para resolver un problema más fundamental: ¿es posible medir la calidad de una pregunta?

La respuesta es sí. Para ello, han tenido que definir qué es la calidad de una pregunta. Es el producto de su validez y su fiabilidad.

Una pregunta es válida si la respuesta que obtiene se parece mucho a lo que buscamos, o por lo menos no tiene tendencia a desviarse siempre en la misma dirección. Y es fiable si cada vez que usamos la pregunta, da el mismo resultado. Para entendernos: un tirador con arco es fiable si siempre que dispara impacta en el mismo sitio, aunque no sea el centro de la diana. Y es válido si al disparar siempre se acerca al centro de la diana, aunque impacte en diferentes posiciones. Un tirador de calidad hace las dos cosas a la vez: es válido y fiable.

 

Validez y fiabilidad, calidad en las encuestas

 

El RECSM emplea métodos que permiten medir fiabilidad y validez, y por tanto calidad. La fiabilidad se mide repitiendo una pregunta a los mismos respondientes. La validez, comparando una pregunta con otras con las que debería correlacionar.

Perfectas no, pero de alta calidad

En su investigación, el RECSM recopila información de múltiples formatos de pregunta y miden cómo afectan a la calidad diferentes características de las mismas: el tema de la pregunta, el tipo de escala de respuesta, el número de alternativas… A partir de la información recopilada ponen a disposición de la comunidad científica un programa, el SQP, que predice la calidad de una pregunta.

Tal vez ellos podrían ayudarme a encontrar mi pregunta perfecta. Su respuesta, muy científica, fue que no existía tal pregunta, pero sí me podían dar unas pautas de qué cosas debería tener una buena pregunta:

  1. Si busca capturar opiniones (no datos), probablemente debería ser sobre temas laborales o sobre política.
  2. Emplearía una escala específica sobre el tema, no una escala general de tipo "acuerdo - desacuerdo".
  3. La escala tendría 11 puntos (por ejemplo, de 0 a 10).
  4. No estaría dentro de una matriz o batería de preguntas.
  5. Tendría dos puntos de referencia fijos en los 2 extremos de la escala, más un tercer punto neutral (es decir, los valores numéricos se acompañarían de una descripción de su significado en esos 3 puntos).

Seguramente mi soñada pregunta debería tener alguno de estos elementos. La calidad de una pregunta es un concepto objetivo, que puede ser medido estadísticamente, en contra de lo que pudiera pensarse. Atendiendo a las recomendaciones de los expertos en metodología de encuestas y aplicando buenas dosis de sentido común, podemos estar más cerca de una pregunta perfecta. Mientras no lo logremos, evitemos las que sabemos de antemano que distan mucho de serlo.

¡Suscríbete a nuestro boletín de noticias para recibir actualizaciones exclusivas y las últimas noticias!