Hace unos días publicamos la noticia del enjuiciamiento de una agencia de investigación por fraude en la recogida de información en entrevistas presenciales. En el sector de la investigación online, son incontables las iniciativas por la mejora de la calidad de las muestras en todo el mundo. Por ejemplo, en Diciembre Esomar publicó un artículo sobre el eterno debate de la calidad en la investigación online que hubo en el congreso de Chicago y el tema del próximo congreso CASRO en EEUU será de nuevo “Back to Basics in Online Panel Quality”. Parece que la calidad del campo online es un tema recurrente que genera interés pero difícil de medir y estandarizar. En netquest tenemos nuestra propia perspectiva sobre este tema.
¿Qué significa la palabra CALIDAD en el trabajo de campo online? Y sobre todo, ¿cómo se mide la calidad en un panel online en el que el investigador no puede supervisar cómo se hacen las encuestas?
La calidad puede hacer referencia a disponer de un certificado ISO, cumplir los criterios éticos de Esomar, reponder a las 26 preguntas sobre paneles online... nosotros creemos que la calidad de la investigación online es mucho más que eso y se define en cada uno de los procesos del trabajo de campo:
- Diseñar una buena muestra: para estudios poblacionales es muy frecuente tender a utilizar las mismas variables de segmentación para una muesta telefónica que para una online (edad, sexo, región, clase social) cuando es probable que aumente la representatividad si además de las habituales se utilizan otras variables (uso y conexión a internet, tamaño del hogar, dispositivos electrónicos, hábitat, número de hijos...). En cualquier caso, disponer de un panel con altas tasas de respuesta en todos los segmentos permite no tener que depender de éste factor a la hora de usar cuotas en la muestra y así no solo entrevistar a los más participativos. Es habitual en muchos paneles online no proponer cuotas cerradas al cliente sino hacer "envíos representativos" y después entregar las respuestas obtenidas sin compromiso de representatividad. En muchos estudios suele ser suficiente pero es más recomendable garantizar un número de entrevistas por cuota ya que diferentes tasas de respuesta en distintas cuotas puede hacer que haya un sesgo hacia un segmento determinado que no se esté controlando.
- Redactar una buena invitación a participar: que anime pero que sea neutra, que no desvele el contenido del cuestionario y que no indique la remuneración (para evitar fraude).
- Comunicar al entrevistado a qué tipo de entrevista va a acceder: es muy frecuente en el sector subcontratar paneles de terceros para realizar una parte de la muestra y no comunicar al encuestado que el cuestionario al que va a acceder no está programado por su propio panel. Esto puede crear confusión (¿dónde estoy enviando mis datos?) y se soluciona con una buena comunicación y poniendo siempre el logo y email de contacto del panel en los cuestionarios de terceros para que haya una imagen cercana al panelista.
- No tratar al encuestado como no nos gusta que nos traten a nosotros: el trato ha de ser de forma coherente, con respeto, teniendo en cuenta que no todo el mundo tiene los mismos conocimientos de internet, que hay preguntas que no todos entienden igual. Una buena redacción de preguntas puede ser clave en buena calidad de respuestas. Enric ya nos comentó los deseos del encuestado para el 2010 entre los que se encontraba la relación honesta panel-respondent. Este es un debate eterno en el sector, más si se tiene en cuenta que cada vez más estudios dividen la programación y el uso de panel en dos y para la empresa que gestiona el panel es difícil tener el control del cuestionario online por lo que se pierde la capacidad de reacción en caso de que surjan errores en el campo.
- No haciendo encuestas demasiado largas: 10 minutos es ideal, más de 20 puede generar posibles sesgos en las últimas preguntas ya que no se contestarán con el mismo interés. Este punto depende en gran medida de las necesidades del investigador, y la única manera de optimizarlo es incentivando mucho más las encuestas más largas.
- Dando el incentivo adecuado: si la información de mercado es un negocio, el entrevistado debería ser el más beneficiado ya que es la fuente de la información. Desafortunadamente este hecho no se está teniendo en cuenta en los foros del sector, se habla mucho de "engagement" pero el incentivo no es un tema clave. En Netquest creemos que un incentivo justo fomenta una participación coherente y un compromiso a dar respuestas de calidad.
- Control: además de la parte visible, es necesario un control invisible para el entrevistado, de tiempos, de respuestas, de coherencia de respuestas, de coherencia con datos personales de cada estudio que realiza, de accesos, de número de estudios. Toda esta información es relevante para evitar un posible fraude o una duplicación de participantes.
La combinación de todos estos factores con un sistema de captación activo (cerrado) que de entrada ya evite el respondent "pofesional" o empleados del sector, creemos que es la clave para cerrar el círculo de calidad de un panel online. Tal y como sucedió con el caso de Youth Research, aunque el investigador a primera vista no vea la diferencia entre dos ficheros de datos de dos paneles diferentes, el resultado de un sistema de baja calidad puede ser catastrófico para el cliente final y en definitiva para sus decisiones de marketing.
