El concepto de panel online tiene poco más de 10 años de historia y, como es natural, es un “producto” inmaduro en cuya oferta varias empresa compiten, empleando diferentes soluciones para ello. Existen paneles online abiertos al registro voluntario y paneles “sólo por invitación”, paneles que incentivan mediante sorteos y paneles que incentivan mediante regalos, paneles que limitan el número participaciones por panelista y paneles que promueven la participación encadenada en tres o cuatro encuestas seguidas… Vivimos una situación de falta total de estandarización, en la que el cliente puede sentirse indefenso y falto de criterios objetivos sobre los que tomar buenas decisiones, más allá de la viabilidad del proyecto y el precio.
ISO, Organización Internacional de Normalización
La ISO es un organismo nacido tras la Segunda Guerra Mundial, encargado de promover el desarrollo de normas internacionales de fabricación, comercio y comunicación, tanto de productos como de servicios. Su función es buscar la estandarización de normas de productos y seguridad para las empresas u organizaciones (públicas o privadas) a nivel internacional.
En la práctica, la principal virtud de las normas ISO es ofrecer a los clientes de un determinado producto o servicio, una garantía de que aquello que está adquiriendo respetan una serie de criterios que un grupo de expertos en la materia considera que aseguran un buen funcionamiento, ya sea en términos de funcionalidad o de seguridad.
Que un producto/servicio esté certificado en una norma ISO concreta es especialmente importante cuando aquellas características certificadas no son observables a simple vista: calidad de los materiales de un cableado eléctrico, resistencia al fuego de un tejido, etc. ¿Les suena de algo este problema?
ISO26362 para paneles de acceso
Pocas cosas hay menos “visibles” para un cliente que un panel online. Contratamos un proyecto indicando el cuestionario, las características de la muestra que debe completarlo… y nos devuelven un fichero de datos. Todo lo que ha pasado en medio es opaco para el investigador.
Pero, ¿acaso no es importante tener visibilidad del “cómo” se han obtenido las respuestas de un estudio? En proyectos offline, los clientes exigían poder supervisar el trabajo de campo y hacer escuchas aleatorias de las entrevistas telefónicas. La razón por la que en investigación online no se ha hecho esta supervisión es simplemente porque es muy difícil: la recogida de datos de un panel online es un proceso automatizado, difícil de entender para el cliente y prácticamente imposible de supervisar.
La norma ISO26362 – no confundir con la norma ISO20252 genérica sobre investigación de mercados - ha venido a poner orden en este problema, promoviendo una forma de que el cliente obtenga datos a través de Internet con garantías.
Una norma peculiar
Lo primero que nos sorprendió cuando estudiamos la norma ISO26362 para certificarnos – algo que sucedió en febrero de 2012 - fue que no establecía niveles estrictos de calidad. Nada en la norma nos dice cuántas encuestas podemos enviar a un panelista en un año, si debe permitirse el registro voluntario o si es lícito encadenar encuestas en una misma participación. ¿Cómo puede garantizar la calidad del servicio una norma que no habla de niveles de calidad?
La respuesta es: mediante la transparencia. La norma ISO26363 no estable niveles de calidad, pero te obliga a informar con el máximo detalle sobre cómo es tu panel: cómo captas, cómo invitas a participar, cómo encuestas, cómo incentivas, cómo entregas los datos…
La apuesta de la norma podría resumirse en la siguiente frase: no podemos dar una respuesta clara sobre cómo deben hacerse las cosas en un panel online, pero cada panel debe informar a sus clientes con total transparencia de lo que hacen.
Algunos elementos destacados de la norma
Si tuviese que destacar algunos elementos de la norma me quedaría con los siguientes.
Sobre el registro de panelistas
· La siguiente información debe estar disponible para el cliente: ¿el panel está abierto (es posible el registro voluntario) o cerrado (sólo por invitación)? ¿se incentiva la captación? ¿cómo se evitan registros duplicados?
Sobre el tamaño de panel
· Se considera activo un panelista que haya participado en alguna encuesta en los últimos 12 meses.
· El tamaño de los paneles debe ser definido y comunicado con total transparencia. Sólo se deberán incluir panelistas activos - de acuerdo a la definición anterior - y se deberá acompañar de una estimación de la tasa de respuesta.
Sobre la información registrada
· El cliente debe ser informado sobre si ha habido subcontratación de muestra.
Sobre incentivación
· El sistema de incentivos debe ser público y tan neutro como sea posible, con el objetivo de no introducir sesgos en los resultados de los proyectos.
Sobre la obtención de muestras
· Los métodos empleados para seleccionar muestras no pueden introducir sesgos en los estudios y deben ser comunicados al cliente.
· La frecuencia con la que se encuesta cada panelista debe registrarse en el panel. La norma no obliga a informar de este dato a los clientes, no obstante Netquest ofrece dicha información a los clientes que quieran consultarlo.
Sobre validación de datos
· Deben implantarse formas de validar que la información facilitada por el panelista es veraz.
· Por lo menos 3 serán los criterios que permitan evaluar si una respuesta es fraudulenta: tiempo empleado en completar la encuesta, participación en preguntas abiertas y comparación de por lo menos un dato facilitado por el panelista en la encuesta con el mismo dato que facilitó en el registro o en una ampliación de datos de profiling
· Se recomiendan verificaciones adicionales sobre la participación como tests de consistencia dentro de la encuesta o las respuestas facilitadas en preguntas abiertas. Netquest ha implementado ambos controles, incluyendo preguntas trampa en encuestas de larga duración, y chequeando todas las respuestas abiertas.
Sobre entrega de datos
· El panel pondrá a disposición de los clientes que lo soliciten, información relativa al proyecto: invitaciones y cuestionarios empleados, métodos de muestreo del panel, periodo de campo, métodos de validación, tasas de respuesta, factores a tener en cuenta que puedan afectar a la representatividad, la realización de subcontrataciones y la adhesión a la norma ISO26362.
¿Algo que esconder?
La norma debería ser simple de cumplir para cualquier panel online, salvo que el panel en cuestión no quiera explicar cómo está haciendo las cosas. ¿Os imagináis un panel declarando a su cliente que un panelista puede ser invitado a participar en su proyecto después de haber participado en 3 encuestas seguidas? Ese sería un buen motivo para no certificarse.
