Recientemente hemos leído un artículo en el blog de Greenbook, sobre la metodología poco ortodoxa empleada por algunas empresas de campo online.
Inevitablemente nos hemos visto muy identificados con el artículo, pero afortunadamente, ha sido a la inversa.
Ron Sellers, critica la cantidad de paneles de mala calidad que existen en el sector, en el report "Dirty Little secrets of Online Panels" del año 2009, y su reciente actualización de este año "More Dirty Little Secrets of Online Panels". Se trata de un interesante estudio donde se presentan las conclusiones obtenidas por un grupo de Mystery Shoppers que se registró y participó activamente (y también honestamente), en varias páginas de encuestas online de USA.
En el estudio, explican que los paneles que tienden a brillar por la ausencia de calidad en sus proyectos son:
- Aquellos que invitan a sus miembros una media de 50-60 encuestas al mes.
- Los que envían cuestionarios excesivamente largos y/o con preguntas imposibles de responder.
- Los paneles que permiten a sus entrevistados responder encuestas encadenadas.
- Aquellos que ofrecen una escasa o nula incentivación para premiar la participación.
- Los que tienen proyectos en campo apenas unas horas.
- Paneles que incluyen preguntas ajenas al proyecto sin previo consentimiento del cliente.
- Paneles que incluyen publicidad en su página web, o envían anuncios camuflados como si de encuestas se trataran.
- Etc.
Desafortunadamente, son muchos los paneles que tendrían que marcar la casilla de todas y cada una de las opciones arriba descritas. Por eso, Ron propone a los investigadores lo siguiente:
- En primer lugar y por encima de todo, hay que prestarle más atención a la selección del campo (es la base del estudio).
- Se tienen que evaluar los principios de calidad que se consideran más importantes en un panel (incentivación, tiempo en campo, subcontratación de paneles, etc).
- Hay que aclarar todas las dudas que se tengan sobre el funcionamiento del panel (las preguntas más imprescindibles quedan respondidas en el Esomar 26).
- Es recomendable definir unas pautas/requisitos mínimos que deberán cumplirse a rajatabla (si se puede subcontratar o no más muestra, revisión de filtrados para identificar posibles sesgos, protocolo de identificación de straigthers y speeders (fraudulentos), etc.
- Hay que participar en el seguimiento del proyecto en campo para asegurarse de que se cumple el tiempo en campo prometido.
- Estudiar el estudio: ¿por qué no hablar con otros investigadores/clientes, leer la opinión de los panelistas en redes sociales, etc.?
- Independientemente de la metodología elegida, hay que diseñar un buen cuestionario: una mala pregunta será siempre una mala pregunta ya sea online, por teléfono o presencial. Preguntas difíciles, cuestionaros interminables y matrices complejas perjudicarán seriamente los resultados del estudio.
- Asegurarse que las empresas cumplen con los códigos éticos y/o estándares de calidad de las asociaciones a las que pertenecen).
A la hora de asegurarse una calidad mínima en los estudios, hay que tomarse muy en serio la selección del campo, analizando con precisión los detalles que pueden llevarte a rechazar a aquel que no cumpla con los objetivos del investigador. Ron finaliza su artículo diciendo que “Por último, está en manos de la comunidad de investigadores, el premiar a los buenos paneles generando negocio con ellos e ignorar a los paneles de mala calidad. El precio no debería ser un único determinante, y una muestra no es una mercancía sin más.” Y nosotros claro está, no podríamos estar más de acuerdo!
