Necesitamos una medida justa del tamaño de los paneles online

La norma ISO26362 de paneles de acceso - de aplicación por tanto a los paneles online - nació con el propósito de dar más claridad a los clientes de investigación acerca de cómo se crean y se gestionan dichas fuentes de datos. Es un objetivo clave en un entorno digitalizado en el que el cliente difícilmente puede comprobar con sus propios ojos cómo se obtienen los datos de su investigación.

Aquellas empresas que hemos certificado nuestros paneles sabemos que la norma no impone unos criterios de calidad, seguramente porque no se ha demostrado qué métodos de captación, retención e investigación de panelistas ofrecen mejores resultados al cliente. No detalla si es mejor que el panel esté a abierto o cerrado al registro voluntario. Tampoco establece un nivel de incentivación mínimo al participante en estudios de investigación, ni especifica si es necesario remunerar participaciones filtradas. La norma se limita a obligar al panel certificado a explicar cómo resuelve cada una de estas cuestiones, así como muchas otras.

No obstante, aceptando que la misión fundamental de la norma debe seguir siendo la transparencia, creemos firmemente que es necesario realizar un cambio, muy simple, que daría un gran impulso a esta misión: redefinir la forma en que los paneles calculan su tamaño. Y el momento para hacer el cambio es ahora, justo cuando el comité ISO responsable ha decidido fusionar la norma 26362 con la 20525 y revisar el contenido de la misma.

El tamaño de panel sí importa

El tamaño que declaran gran parte de los paneles online siempre ha sido objeto de debate. Asistimos atónitos a la publicación de tamaños colosales, de varios cientos de miles de personas. Sin embargo, cuando solicitas a estos mismos paneles una muestra de 5.000 personas, la respuesta no es menos sorprendente: “el proyecto no es viable”. ¿Cómo puede ser que un panel de varios cientos de miles de personas no pueda completar una encuesta de 5.000 participantes? El problema es cómo calculan el tamaño.

La norma 26362 trató de poner orden a esta disparidad de criterios. Para ello, define como panelista activo, y que por tanto puede computarse en el cálculo del tamaño de un panel, aquél que “ha participado al menos en una encuesta durante el último año”. Es decir, captamos un panelista el 1 de enero, logramos que haga una encuesta, y considero que tengo un panelista hasta el 31 de diciembre aunque no participe en ninguna otra encuesta.

La definición actual no ofrece una visión real del tamaño de un panel y en consecuencia, trabaja contra el propósito general de la propia norma.  Es posible verlo con un simple ejemplo.

Supongamos que tenemos dos paneles (A y B) que disponen de 50.000 panelistas únicos para completar encuestas. Dicho de otra manera, si un cliente les pide encuestar a todo su panel para responder una única encuesta, ambos paneles son capaces de entregar 50.000 respuestas de personas distintas.

Supongamos que el panel A tiene una tasa de abandono mensual (churn rate) del 1% mientras que el panel B tiene una tasa de abandono del 50%. Y supongamos que ambos paneles quieren mantener una capacidad de producción de 50.000 encuestados, por lo que deben reponer los abandonos que sufren cada mes.

En un escenario como el anterior, los paneles A y B se verán obligados a captar durante un año el siguiente número de panelistas:

A – 50.000 x 1% x 12 meses = 6.000 panelistas

B – 50.000 x 50% x 12 meses = 350.000 panelistas

Dado que tanto los panelistas que inician el periodo anual como los captados para reponer los abandonos han participado en al menos una encuesta durante el último año, el tamaño ISO de ambos paneles acaba resultando:

A – 50.000 + 6.000 = 56.000

B – 50.000 + 350.000 = 400.000

Es decir, tenemos dos paneles que objetivamente tienen la misma capacidad pero que uno declara un tamaño - de acuerdo a la norma – casi 8 veces superior al otro.

Una nueva definición del tamaño de panel

Desde Netquest proponemos una nueva definición mucho más ajustada a la realidad de lo que es un panelista activo: aquél que va a participar en la próxima encuesta a la que le invitemos. Con este criterio, el tamaño de panel pasa a ser “la muestra más grande” que un panel puede ofrecer a un cliente (maximum delivery del panel).

Para estandarizar la forma en que un panel debe calcular este maximum delivery existen varias alternativas. Una forma simple y efectiva es considerar como activo “aquel panelista que ha respondido a la última encuesta a la que ha sido invitado, descartando invitaciones que se hayan enviado en los últimos 15 días y que el panelista puede no haber respondido aún por falta de tiempo y no por voluntad de hacerlo”. Este método calcula la última muestra más grande que el panel ha sido capaz de ofrecer como mejor indicador del maximum delivery actual.

Los beneficios del cambio

Las principales razones que nos impulsan a solicitar el apoyo de la industria para cambiar este aspecto de la norma son las siguientes:

  1. Porque la definición actual es simplemente incorrecta. La nueva definición corresponde exactamente a lo que el cliente entiende por el tamaño de un panel. Es difícil de explicar a un cliente por qué si un panel declara un tamaño de 400.000 personas sólo puede entregar 50.000 respuestas en un estudio concreto.
  2. Porque la definición actual paradójicamente favorece a aquellos paneles que peor retienen a sus participantes, haciendo difícil distinguir auténticos paneles online de sistemas de river sampling (participantes esporádicos en encuestas). La nueva definición daría claridad al cliente sobre qué tipo de panel está contratando.
  3. Porque la nueva definición obligaría al panel a ser más transparente acerca de sus procesos, un objetivo que ya está presente en el espíritu de la norma ISO. La definición actual, al facilitar la publicación de tamaños de panel irrealmente elevados, permite al panel cotizar proyectos que superan su capacidad real de producción, subcontratando la muestra que falta a terceros de forma poco transparente para el cliente.
  4. Porque este cambio no sólo impulsa la transparencia sino también la calidad. Saber que el tamaño real del panel de una compañía es pequeño indica que posiblemente está sobre-encuestando panelistas (produciendo muchas encuestas con los mismos respondientes). También indica que está teniendo una alta rotación de panelistas y que por tanto no puede validar la calidad de los mismos mediante comprobaciones que requieren comparar su comportamiento a lo largo del tiempo (comprobaciones recogidas por la norma actual).
  5. Porque la nueva definición permitiría valorar de forma justa el activo real con el que cuenta una empresa de panel, dando mayor claridad a sus accionistas y facilitando cualquier eventual operación de compra-venta de compañías.

Es por todo ello que pedimos el apoyo de la industria para cambiar este aspecto de la norma. Este pequeño cambio puede ser un gran impulso para mejorar los estándares de nuestro sector, trascendiendo el ámbito de las empresas que estamos certificadas, creando un baremo justo y simple con el que calcular la capacidad real de los paneles.

¡Suscríbete a nuestro boletín de noticias para recibir actualizaciones exclusivas y las últimas noticias!