Este año Netquest participa en la conferencia de la ESRA (European Research Association) que se celebrará entre el 13 y el 17 de julio en Reykjavik, Islandia. Dentro de la sesión denominada 'Going beyond the basics of questionnaire design: new and innovative approaches to instrument design in web surveys', presentaremos los resultados obtenidos durante el desarrollo de una nueva generación de cuestionarios online.
Objetivos de la nueva generación de cuestionarios online
Las encuestas online ofrecen un montón de nuevas e interesantes posibilidades para el investigador. Sin embargo, a menudo simplemente nos limitamos a replicar encuestas diseñadas para el papel en Internet, sin aprovechar las ventajas que nos ofrece la web.
Desde Netquest, dentro del ámbito del proyecto R2online y en colaboración con el centro de investigación especializado en metodología de encuestas RECSM, nos hemos propuesto experimentar con un nuevo formato de cuestionarios.
Esta línea de investigación da continuidad a trabajos realizados por investigadores como Kepelner y Chandler (2010) que, con el objetivo de combinar una experiencia satisfactoria para el entrevistado y mejorar la calidad en la recolección de datos, propusieron una nueva forma de presentar los cuestionarios online denominada"Captcha". Su método se basaba en atraer la atención del encuestado hacia las instrucciones y las opciones de respuesta haciendo más sutil el texto mostrado en la encuesta. Para ello, mostraban los textos letra a letra.
2 nuevos tipos de cuestionarios
Siguiendo esta dirección, Netquest y el RECSM han trabajado en el desarrollo de 2 nuevos formatos de cuestionarios: uno similar al Captcha y un segundo que muestra los textos del cuestionario por bloques, en lugar de carácter a carácter. En ambos casos, se realizan al principio del cuestionario varios test de lectura para encontrar la velocidad óptima a la que mostrar los contenidos para cada individuo. Así se logra una respuesta del entrevistado más natural a la vez que se mantiene más alto su nivel de atención.
El principio en el que se basa este nuevo tipo de cuestionarios es la idea de que al controlar cómo administramos los contenidos de la encuesta garantizamos que el encuestado invierte un tiempo mínimo en completar el cuestionario, con lo cual:
A) Podemos evitar a los "participantes fraudulentos por naturaleza", aquellos que no responden con sinceridad la encuesta tratando de avanzar lo más rápido posible para finalizarla. A estos participantes el cuestionario no les permite lograr su objetivo, propiciando que abandonen el cuestionario.
B) Instamos a los participantes honestos, pero que pudieran contestar de forma inadecuada por falta de atención, a que den respuestas de mayor calidad.
En definitiva, como al respondiente no se le permite avanzar más rápido en la encuesta, se le induce a pensar dos veces si vale la pena contestar inadecuadamente las preguntas. Este método se acerca más a la forma en que funciona la entrevista cara a cara, en la cual los entrevistados escuchan la pregunta progresivamente, en lugar de recibir toda la información de golpe desde el principio.
Puesta en funcionamiento
Para probar en condiciones reales estos nuevos cuestionarios, se usaron participantes del panel de Netquest en un primer estudio en México (diciembre de 2013). Las tasas de abandono registradas no fueron mayores a la habituales y se obtuvieron efectos positivos en la calidad de los datos, aunque no al nivel esperado.
Analizando los primeros resultados, se concluyó que el funcionamiento de los cuestionarios de nueva generación podía ser mejorado. Para conseguirlo se rediseñaron varios formatos de preguntas y se realizaron experimentos en laboratorio con respondientes reales. Para estas pruebas se escogieron 12 personas a las que les fueron asignadas aleatoriamente diferentes versiones de cuestionarios (incluyendo el formato clásico así como las diferentes versiones de nueva generación).
Para medir los resultados en profundidad, se monitorizaron las pantallas durante el desarrollo de la encuesta y las reacciones faciales de los entrevistados. Al completar los tests se les preguntó brevemente por su opinión sobre el funcionamiento de los cuestionarios.
Los resultados
Finalmente, se llevó a cabo un segundo test real durante noviembre y diciembre de 2014, en esta ocasión con miembros del panel de España. Los resultados obtenidos han mostrado como las mejoras desarrolladas en los cuestionarios se han traducido en mejores niveles de calidad. Estos resultados se mostrarán en el congreso de la ESRA. También tendréis ocasión de consultarlos en este blog próximamente.
