Encuestas online: tiempo de respuesta, calidad y esfuerzo

El post de hoy se basa en un paper escrito por Melanie Revilla (RECSM, Universitat Pompeu Fabra) y Carlos Ochoa (Netquest) y publicado en Social Science Computer Review. Hablaremos de 3 de los factores clave en las encuestas online y la relación entre ellos.

En esta breve presentación trataremos de hacer una aproximación sobre el tamaño de la correlación entre el tiempo de respuesta, la calidad de los datos recogidos y la auto-evaluación del esfuerzo por parte del respondiente, para ver si la información sobre el tiempo de respuesta o la auto-evaluación del esfuerzo se pueden utilizar para mejorar la calidad de los datos en encuestas online.

La calidad, por encima de todo

Evaluar la calidad de los datos recogidos en las encuestas es uno de los temas que más preocupación genera entre los investigadores. Que la información final sea fiable para el estudio es algo clave, y cuando hablamos de encuestas web este proceso se vuelve crucial ya que el investigador pierde control sobre el proceso de recolección de datos.

calidad-encuestas-online

Sin embargo, existe la posibilidad de recoger los datos sobre el proceso de la encuesta que pueden ayudarnos a evaluar la calidad con mayor decisión. Así, utilizando los denominados paradata se mostró que los participantes de paneles online pasaban mucho menos tiempo completando la encuesta que el esperado. Esto preocupa a los investigadores ya que podría repercutir directamente a la calidad de las respuestas obtenidas.

Estudiando la correlación de los factores

No se conoce demasiado sobre la correlación entre los tiempos de respuesta (RT) y la calidad de los datos recogidos. Así pues, el objetivo del estudio propuesto fue de estimar la correlación entre los RT en encuestas online y la calidad, medida con varios indicadores comunes usados en las encuestas en papel: seguimiento adecuado de las instrucciones durante el cuestionario, coherencia y precisión en las respuestas, ausencia de patrones de respuesta, etc.

Además, otro punto de interés del estudio fue conocer la relación presente entre los RT y los indicadores de calidad ofrecidos por los mismos encuestados al auto-evaluar su esfuerzo al responder. Para ello, se usó un modelo de ecuación estructural que permitía separar la parte estructural y la parte de medición y controlar potenciales efectos espurios (tercera variable que afecteria a dos de las variables de interés, por ejemplo RT y calidad, creando una correlación entre ellas que no sea causal).

Haciendo esto, se encontró una relación significativa entre los RT y la calidad de los datos en los 3 países estudiados. También se encontró otra correlación, aunque de menor significancia, entre los RT y la auto-evaluación. Sin embargo, no se encontró ninguna relación entre la auto-evaluación por parte de los respondientes y la calidad de datos obtenida.

Conclusión: no todos los factores están interrelacionados

Así pues, con los datos del estudio a la vista podemos concluir que no todos los factores a estudio están interrelacionados entre si. Si bien podemos afirmar que a mayores tiempos de respuesta, obtenemos datos de mejor calidad y la auto-evaluación del esfuerzo tiene cierta repercusión en los tiempos de respuesta, no podemos afirmar que evaluando el esfuerzo consigamos datos de mayor validez para el encuestador.

 

Referencia:

Revilla, M. and C. Ochoa (2015). “What are the links in a web survey among response time, quality, and auto-evaluation of the efforts done?” Social Science Computer Review, 2015, Vol. 33(1) 97-114. First published online on May 14, 2014. doi:10.1177/0894439314531214

¡Suscríbete a nuestro boletín de noticias para recibir actualizaciones exclusivas y las últimas noticias!