Os confieso que me gusta cocinar (aunque empiezo a sospechar que se trata de un amor no correspondido).
Más allá de mi -poca- destreza, una de las lecciones que he aprendido cocinando es que, si no se seleccionan cuidadosamente unos ingredientes de calidad, es imposible que un plato resulte sabroso.
Y creo que el mismo principio aplica a las encuestas: sin unos participantes honestos, es imposible que los resultados obtenidos sean fiables.
En Internet, asegurar la honestidad de los participantes es una tarea particularmente difícil, puesto que solo tenemos un contacto virtual con ellos.
Para aumentar la fiabilidad de una encuesta conviene:
- Excluir a los participantes duplicados, o cuya identidad es falsa.
- Excluir a las personas que responden en menos tiempo del estimado.
- Y, finalmente, identificar y excluir a las personas que responden sin prestar atención.
Una de las medidas para identificar a los participantes que no prestan atención, son las conocidas preguntas trampa. Una pregunta trampa es un control que se inserta en la encuesta y que requiere una respuesta específica por parte del encuestado para permitirle avanzar.
Existen varios tipos de preguntas trampa, pero todas deberían cumplir con estas 4 premisas:
- Detectar a la persona deshonesta, es decir, es deseable que no se pueda pasar a la siguiente pregunta respondiendo al azar.
- Evitar los falsos positivos. Una pregunta trampa…¡no es un truco cruel!
- Debe ser una pregunta “normal”, tanto visual como conceptualmente, no debe ser una pregunta ajena a los contenidos propios de la encuesta.
- Comunicativamente, no debemos ofender al panelista honesto, tanto en el sentido de dudar de su honorabilidad, como en el sentido de que si la falla no se sienta avergonzado.
De entre los tipos de preguntas trampa que existen, veamos 6 de ellos:
1. Preguntas de respuesta obvia
Se trata de preguntas cuya respuesta no es una opinión, sino un hecho objetivo, ampliamente conocido. Por ejemplo ¿en qué año estamos actualmente?
2. Test de consistencia entre ítems
Consiste en insertar dos preguntas idénticas en dos puntos diferentes de la encuesta y contrastar las respuestas obtenidas.
3. Control tipo Captcha
El encuestado deberá escribir un determinado código proporcionado dentro de una caja de texto para poder avanzar.
4. Control del tipo “Para avanzar, pulsa la opción X”
El encuestado debe clicar una opción de respuesta específica para poder avanzar.
5. IMC (Instructional Manipulation Checks)
Se le presenta al encuestado una pregunta real, pero acompañada de una instrucción que le pide hacer algo inusual, “fuera” de ella. Por ejemplo:
6. Combinaciones improbables
Se trata de preguntarle al encuestado qué actividades realizó la semana anterior, a partir de un listado numeroso y variado. Identificaremos como fraudulenta a la persona que indique muchas de ellas o combinaciones predeterminadas de ellas. Por ejemplo, es extremadamente improbable que una persona haya asistido a un partido de la NBA, visto cricket por TV, y escalado una montaña...en la misma semana. De esta forma se identifican a las personas que tienden a pulsar todas las opciones de respuesta para aumentar su probabilidad de ser seleccionadas para participar en el estudio.
Ahora bien, debemos hacer notar que hay preguntas trampa más o menos eficientes y que su diseño tendrá un gran impacto en el número de participantes que identificaremos. En un experimento interno realizado en Netquest, hemos obtenido los siguientes resultados:
Es decir, la conclusión a la que llegamos, es que hay preguntas trampas poco exigentes, que fallan muy pocas personas, con lo que los resultados obtenidos no cambiarán si las excluimos. En cambio, hay otras tan exigentes, que eliminan a todo tipo de personas, las honestas y las que no, al azar…con lo que tampoco estaremos añadiendo calidad a nuestros resultados si las eliminamos.
La estrategia que recomendamos seguir, especialmente en el caso de los paneles online, consiste en emplear varias preguntas trampa, de diferentes tipos, en todas las encuestas que administremos.
De esta forma, el encuestado terminará estando siempre atento a los textos que le presentemos. Un error lo puede cometer cualquiera, pero la persona que en repetidas ocasiones responde incorrectamente, debe ser descartada de nuestra comunidad.
Finalmente, te animamos a complementar esta estrategia poniendo en práctica los hallazgos en el campo de la economía conductual para aumentar la honestidad de los encuestados, y a descargar nuestro ebook para conocer otros fundamentos de la recolección de datos online.
