El pasado 18 de agosto impartimos el Webinar: "Súmate a la Investigación Online", que contó con la presentación de Juan Mejía, Director de desarrollo de negocio de Netquest Colombia, y Alfonso Martínez Meyer, Director de Panel para la región Latam Norte en Netquest México. Durante el webinar se expusieron con detalle las virtudes a la migración a online de la investigación clásica, así como las cuestiones a tener en cuenta para llevar a cabo la migración con éxito.
Durante el webinar se recibieron muchas preguntas de los asistentes, varias de las cuales no pudieron ser respondidas por falta de tiempo. Lo hacemos ahora en este post y profundizamos un poco sobre las ya respondidas. Esperamos que sea de utilidad. Si te perdiste el webinar puedes verlo aquí:
1. ¿Cómo se pueden calcular las probabilidades de selección de la muestra, que es importante para una muestra representantiva y estrictamente medible?
R: En la mayor parte de paneles online destinados a investigación comercial no es posible calcular las probabilidades de selección (o inclusión), dado que no se tratan de paneles probabilísticos. Es el mismo problema que nos encontramos en offline en la mayor parte de muestras con la que trabaja la industria, por ejemplo al seleccionar una muestra para entrevistas personales interceptando personas en la calles de una ciudad, tampoco podemos calcular dichas probabilidades.
Para poder obtener ese cálculo, y por lo tanto trabajar con muestras probabilísticas, sería necesario obtener un listado de los individuos que forman parte del universo, es decir, toda la población de un país.
Sólo hay dos manera de hacer un panel online de esta manera: dado que no hay listados de personas conectadas a Internet, se debería partir de algún tipo de listado censal, hacer una selección aleatoria, invitarlos al registro en el panel y, en caso de que no tuviesen Internet, facilitarles el acceso online y formarlos para que lo pudiesen usar. Como puedes ver, es algo tremendamente costoso (casi imposible).
Tienes más información en nuestro blog de Netquest.
2. ¿Consideran que hay un proceso de autoselección en la participación de los panelistas?
R: Probablemente en parte sí, depende mucho del panel online en cuestión. Por ejemplo, nosotros tratamos de reducir al máximo la autoselección cerrando nuestro panel y permitiendo que las personas se registren sólo por invitación. Otros paneles están abiertos, de manera que cualquiera puede registrarse voluntariamente, lo cual incrementa mucho la autoselección.
Otra cosa que hacemos en esta línea es ofrecer un regalo de bienvenida a todos los registrados, para reducir el número de personas que abandonan el proceso de registro. En el fondo, pedir la participación en encuestas online sin nada a cambio es una fuerte forma de autoseleccionar, porque la mayor parte de personas no están dispuestas a hacer un esfuerzo de este tipo sin remuneración, por lo que no ofrecer incentivo es crear un panel de personas que les gustan las encuestas de por sí.
En definitiva, los paneles online pueden padecer de autoselección, al igual que otras metodologías. El cómo se crea un panel determina este nivel de autoselección.
3. ¿El análisis conjoint no se ve alterado cuando no se tiene físicamente los productos? ¿Sobre todo cuando son nuevos productos?
R: Dependerá mucho del producto. Por ejemplo, si son productos muy novedosos con los que el consumidor no está familiarizado, puede ser negativo hacer un Conjoint online, pero en la mayor parte de casos, este tipo de estudios se usan para buscar configuraciones óptimas de productos que el consumidor ya conoce: planes de precios de servicios de telefonía, de servicios de banca, configuración de equipos electrónicos, etc…
A favor del Conjoint online juega el hecho de que cada día más el consumidor compra online y debe tomar decisiones con descripciones virtuales de los productos. En este sentido, el Conjoint online reproduce esa situación.
En cualquier caso, es clave para obtener buenos resultados programar encuestas online con buenas descripciones, imágenes, etc.
4. Me queda claro cuáles son las ventajas ¿Cuáles son las desventajas o limitaciones de la investigación online?
R: Todas las metodologías tienen ventajas e inconvenientes. En el caso de la investigación online con paneles, los inconvenientes más destacados podrían ser: dificultad para acceder a clases bajas y a personas de avanzada edad, y necesidad de trabajar con paneles que hagan un buen control de calidad de los participantes, especialmente si son paneles abiertos, para evitar la presencia de participantes fraudulentos.
5. ¿Cuál es el tiempo máximo de una encuesta online para que no pierda efectividad?
R: Es una muy buena pregunta para que la que no tenemos una respuesta muy concluyente, porque de hecho no tenemos una respuesta clara para la duración de una encuesta en general, sea online u offline.
Algunos investigadores afirman que una encuesta larga no tiene por qué ser negativa, porque el encuestado aprende el funcionamiento de las preguntas a medida que avanza y da mejores respuestas. Otros opinan lo contrario, que a mayor duración, menor concentración, mayor cansancio y menor calidad de la respuesta.
Nosotros estamos más posicionados en la segunda corriente de opinión. Sabemos que a partir de 25 minutos el abandono de una encuesta online se dispara y, en el fondo, si perdemos participantes ya estamos introduciendo un sesgo en los resultados: sólo participan los más motivados, los que tienen más tiempo, etc.
Así que como respuesta diríamos que 25 minutos es lo máximo que recomendamos, lo óptimo estaría entre 10-15 minutos, y más allá de 40 minutos lo consideramos temerario.
6. ¿Cuál es la vida promedio de un participante dentro de un panel? ¿Semana, meses...?
R: Depende mucho del panel y es un dato con el que es muy fácil dar una respuesta engañosa, así que trataremos de explicarlo bien: en paneles offline en los que la vinculación con el panelista era muy fuerte, estaba mal visto tener panelistas que permaneciesen en el panel muchos años. Se consideraba como una mala práctica porque el panelista estaba demasiado acostumbrado a responder encuestas. Por ellos se promovía el abandono del panel a los 3-5 años.
En los paneles online el problema es el contrario: es muy difícil retener panelistas. Muchos paneles reclutan personas, nos les ofrecen casi nada por participar y estas personas abandonan por sí mismo el panel al cabo de 1 o 2 encuestas. Estos paneles pueden decir que el promedio de vida del panelista es de unos pocos meses, trasladando la idea de que tienen muestra fresca, cuando en realidad tienen muestra muy autoseleccionada: sólo tienen personas dispuestas a opinar sin nada cambio.
En nuestro caso, la vida media promedio de nuestros panelistas está en torno al año y medio o de 25 a 30 estudios, dependiendo del país.
7. ¿Se requiere autorización de los padres o tutores para poder tener datos de menores de edad?
R: No exactamente. La edad a partir de la cual se requiere autorización de los padres depende de la legislación de cada país. Adicionalmente, asociaciones del sector como ESOMAR, tienen códigos éticos al respecto, normalmente más exigentes que la propia legislación.
Netquest, por ejemplo, se acoge al código ético de ESOMAR que obliga a pedir autorización paterna a menores de 14 años. Lo hacemos a través de una verificación telefónica, auditada a través del cumplimiento de la norma ISO26362.
No debe confundirse este tema con otro diferente: la realización de encuestas sobre temas sensibles, como alcohol y tabaco. Estas encuestas no deben hacerse a menores de edad, con independencia de autorización paterna.
8. El tamaño de muestra se calcula de acuerdo al universo del cliente y no le podemos decir que se adapte a lo que tiene el panel.
R: Cierto. Por eso en ocasiones un panel online no puede dar respuesta a ciertas peticiones del cliente, y es necesario buscar otras metodologías.
No obstante, en ocasiones la petición del cliente llega formulada pensando en una metodología offline, y simplemente adaptándola a online el proyecto podría ser viable. Un ejemplo: a veces el cliente nos formula el requisito de obtener un número de encuestas en las 2 principales ciudades de un país. Lo pide así porque está habituado a que en encuesta personal es mucho más efectivo para evitar costes de desplazamiento. Sin embargo, en online es más efectivo obtener respuesta de todas las poblaciones y en el fondo es mejor para el cliente, salvo que haya una necesidad real de limitarse a dos poblaciones.
9. En el mystery shopping el valor está en tener evidencia de los no cumpliminetos, por lo que resulta casi imposible que no pidamos adjuntar documentos o imágenes.
R: Es necesario explicar al cliente que el servicio de mystery shopping vía un panel online no es un servicio “profesional”, en el sentido de que el trabajo lo hacen personas normales y corrientes, consumidores de a pie, con las ventajas e inconvenientes que tiene. Como ventajas: el mystery combina la recolección de datos con la percepción de un consumidor real. Como inconveniente, no es posible pedir a un panelista el grado de perfección que logra un experto en hacer mysterys. En cualquier caso, sí es posible pedirle a un panelista que haga fotos o que recoja y envíe escaneado algún documento tipo ticket de compra.
10. ¿Cuánta ayuda brindan en la elaboración de los cuestionarios? Es decir, ¿con las herramientas online cómo se pueden aprovechar?
R: Pues ofrecemos tanta ayuda como podemos. Si te enfrentas a tus primeros cuestionarios online, te aconsejamos sobre cómo modificar tu cuestionario para adaptarlo a online: el tono en el que debes dirigirte a los panelistas, cómo plantear preguntas abiertas, evitar ciertas baterías de preguntas que sabemos que dan malos resultados a nivel de calidad, etc. Adicionalmente, te mostraremos todas las capacidades que tenemos de hacer preguntas con formatos avanzados (góndolas virtuales para simular compras, preguntas tipo arrastrar, videos, etc.) para sacar el máximo provecho de la encuesta online. Tratamos de no involucrarnos mucho para no modificar la intención del investigador, sin embargo contamos con un departamento de Experience que revisa todas las encuestas.
11. En alguna de la lámina primarias se menciona que en online se pueden medir emociones ¿Cómo realizan esto?
R: Recientemente se han desarrollado tecnologías de reconocimiento de imagen muy avanzadas que permite hacer esto. Funcionan a través de la webcam que el participante pueda tener en su computador. Mostrando ciertos estímulos (por ejemplo, un video de un comercial) registramos el rostro del encuestado y mediante un software especializado, se identifican ciertos rasgos del rostro que se relacionan con sentimientos (alegría y tristeza, sorpresa y aburrimiento, etc.).
Ya es posible hacer estos estudios online, teniendo en cuenta lo siguiente:
- Es necesario que el participante tenga webcam
- Es necesario que acepte ser grabado. Estos estudios tienen un rechazo mucho más elevado que un estudio normal.
- Parte de las grabaciones que se realizan no son válidas, por problemas de iluminación, webcams mal orientadas, etc.
Globalmente se obtiene una tasa de éxito en torno al 20% por lo que son estudios más caros que una simple encuesta.
12. ¿Cuál es el proceso con Netquest para solicitar una cotización de un panel para segmentar muestras y cómo se maneja el nivel de confianza?
R: El proceso es a través de nuestro equipo comercial, que ofrece un trato personal para cotizar el proyecto. Tienes los contactos en nuestra web de Netquest o puedes enviarnos un email, o llamarnos, etc.
El nivel de confianza se maneja como en cualquier otra metodología, mirando el universo al que nos dirigimos y viendo la muestra disponible.
13. ¿En qué formato se reciben los resultados de las encuestas? ¿Tienen distintos tipos de reportes?
R: Ofrecemos resultados en la mayor parte de formatos aceptados en la industria: SPSS, Excel, CSV… Si necesitas otro formato, podemos estudiar cómo transformar los resultados para adaptarnos.
Adicionalmente, disponemos de un reporte online en tiempo real que permite hacer el seguimiento de los resultados de todas las preguntas a medida que transcurre el campo. También tenemos una herramienta, Netquest Visual Data, que permite mostrar reportes avanzados una vez ha finalizado el proyecto.
14. ¿Cómo se entregan los incentivos?
R: Tenemos dos tipos de incentivos. Los incentivos físicos (objetos como libros, útiles de cocina, objetos de decoración…) los enviamos por mensajería al domicilio del participante. Los incentivos virtuales (boletos de cine, códigos de descarga de videojuegos, minutos aire de telefonía celular…) los entregamos a través de email.
15. Duda: ¿Tienen una medición de qué tan diferente es la independencia entre las observaciones (medida como correlación intraclase, etc.) entre una muestra online y una cara cara? Me preocupa que se afecta en una muestra online la independencia entre observaciones, lo que afectaría algunos análisis, como los modelos de regresión que se utilizan en el conjoint analysis.
R: Pues no tenemos hecha esta medida en comparación a un estudio cara a cara, pero estaríamos encantados de hacer algún tipo de estudio piloto para medirlo. Entiendo que lo que te preocupa es que en online haya menor diversidad de respuesta, lo que indicaría que habría una autoselección de un determinado perfil de consumidor.
Si tienes interés en hacer este tipo de estudio con nosotros, ponte en contacto y lo podeos incluir como parte de nuestro programa de investigación metodológica (R2online.org).
16. ¿Cuántas veces se le pude recordar al participante que conteste la encuesta? Estos NO son parte de un panel; son personas que han asistido a una actividad/conferencia.
R: Lo habitual es hacer un recordatorio y tenemos que esperar 72 horas para hacer un primer recordadorio. Como máximo se hacen tres, pero en una base de datos como la que mencionas pensamos que un recordatorio es lo adecuado.
17. Cuando se requiere clase baja (poco frecuente en los paneles) ¿Cómo le hacen? ¿Cafés internet?
R: Es una asignatura pendiente de los paneles online. El problema de reclutar clases bajas en paneles online, un problema especialmente importante en Latinoamérica, parte del bajo uso de internet de estas clases.
Actualmente se están usando varias técnicas, entre las que destacaría:
- Captar en sitios web que cuenten con este perfil de usuario.
- Captación en café internet, como comentas.
- Reclutamiento al finalizar una encuesta personal, ofreciendo al encuestado formar parte de un panel.
- Reclutamiento mediante publicidad offline (publicidad estática en transportes públicos, TV, revistas…)
- Captación viral, en la que se accede a clases bajas a partir de panelistas que ya forman parte del panel.
18. ¿Cómo cuantificar el incentivo por la participación a la encuesta?
R: Eso depende de cada panel y de la demanda o lo que el cliente esté dispuesto a pagar, no existe una regla fija. Algunos paneles no incentivan, otros incentivan sólo con sorteos, o sólo con donaciones. Y la cantidad de incentivo que se ofrece por cada participación también es variable. Recomendamos que se pongan en el lugar del panelista y que la recompensa sea proporcional al esfuerzo. Es importante no comunicar el incentivo a priori.
Nosotros optamos por trabajar con un sistema de puntos canjeables por regalos. Los puntos nos permiten dar una cantidad de incentivo proporcional a la duración de la encuesta. También hemos optado por dar puntos por encuestas en las que el participante es filtrado por no ajustarse al objetivo del estudio. En el momento de decidir el incentivo, además de la duración de la encuesta, también incrementamos el importe si la encuesta pide alguna tarea especial como registrarse en un video, hacer una foto, participar en un foro, etc.
19. ¿Se puede contar con copia de los slides?
R: Aquí puedes encontrar todo el webinar si te perdiste algún momento de la transmisión.
20. ¿Qué tan factible y eficaz es hacer encuestas de interacción en tiempo real?
R: Entiendo que te refieres a la posibilidad de lanzar una encuesta a una persona en el momento en que está realizando alguna actividad online.
Eso ya es posible a través de tres vías:
- La primera es mediante un servicio llamado ad-tracking. Si un panelista accede a una página en la que previamente se ha insertado un código de detección (TAG), podemos saber que ha visitado la página y lanzarle una encuesta por email de forma casi inmediata. No es una intercepción pero es muy similar.
- La segunda es mediante el tracker: aquellos panelistas que tienen instalado el software que nos permite ver por donde navegan, pueden recibir una encuesta en el momento en que accede a cierto website. La encuesta se lanza desde el propio escritorio de su PC. Esto es parte de nuestro servicio de muestras observacionales.
- La tercera opción es más simple: si el propio website tiene un sistema de encuestas, puede lanzar un cuestionario a cualquier visitante, sea o no panelistas. La práctica muestra que la tasa de respuesta suele ser muy baja, ya que el usuario no panelista no está familiarizado con la idea de participar en una encuesta, no forma parte de un sistema de incentivos, etc.
21. ¿Si las personas quieren dar su opinión, por qué tienen que cumplir con un perdil de edad? ¿Por qué a veces no están calificados para llenar una encuesta? (¿Por qué muitos perfil e passar por meio da idade o nao e quialificado , se estamos para dar a opiniao porque nao passarei tenho que colocar aquilo que queres?)
R: En muchas ocasiones el cliente quiere limitar la participación a un tramo de edad en concreto, así que no tenemos más remedio que filtrar. También filtramos por otras cuestiones, por ejemplo pidiendo que el encuestado sea consumidor de un producto. Esto es peligroso en un panel online, porque si el participante observa repetidas veces que al responder ciertas respuesta es filtrado y no recibe premios, y al responder otras sí, puede empezar a sentirse maltratado y verse impulsado a comportarse mal y mentir.
Por eso en Netquest hemos optado por incentivar todas las encuestas, sean filtradas o no. Así eliminamos el interés por mentir de las personas.
22. ¿Tienen experiencia o comentarios sobre el uso de estudios online para estudios de marketing político? Pensaría que da resultados mucho más críticos que otros medios de recolección ¿Qué opinan?
R: La investigación online tiene poca experiencia en el ámbito político, porque requiere cierta madurez de la población online y del investigador. En Reino Unido, por ejemplo, la empresa YouGov ha cosechado varios éxitos en la predicción de resultados electorales (y algún fracaso). En España, Netquest ha tenido sus primeras experiencias con bastante éxito.
Lo que hemos aprendido hasta ahora es que la metodología online tiene como ventaja la ausencia del entrevistador, lo que permite al encuestado ser más sincero y crítico, como comentas. Como inconveniente, está el problema de poder cubrir bien todas las cuotas sociodemográficas (incluyendo clases bajas, regiones remotas, personas de más edad…)
23. En los casos en que se promociona el panel con una gratificación económica, como promedio ¿qué cantidad consideran apropiada en sus países de trabajo? Muchas gracias.
R: No podríamos darte una respuesta simple a esta pregunta, tal y como hemos comentado en una pregunta anterior, depende de muchos factores: el país, el tipo de cuestionario, la actividad que se solicita en el propio cuestionario…
Si quieres tener una idea aproximada, piensa en torno a 1USD por encuesta. Es una cantidad que consideramos baja, pero que tratamos de añadirle valor gracias al propio sistema de incentivos, a la posibilidad de acumular premios, etc.
24. Acerca de las herramientas de análisis cualitativo, (focus group, entrevistas a profundidad), ¿su plataforma permite generar transcripciones del estudio, pensando en realizar algún análisis textual posterior? Pregunto no por una grabación, sino por una transcripción textual.
R: Depende de la plataforma que se esté usando. El estudio cualitativo se ha hecho de forma escrita (muchos focus funcionan así, tipo chat), y la transcripción se entrega de forma automática.
Sin embargo, si es un estudio con conexión audio o video, no se entrega una transcripción como servicio directamente, es necesario hacer una transcripción manual que es posible contratar. Esta transcripción puede tratar de automatizar la conversión audio>texto, pero no es perfecta, por lo que siempre se requiere una revisión de una persona.
25. ¿Cuánto es el tiempo máximo de vigencia de una encuesta?
R: Si te refieres al tiempo que permitimos a un panelista para responder, no hay un tiempo máximo, más bien un tiempo mínimo. Cada día los timings de los estudio son más ajustados, tenemos clientes que nos piden hacer estudio en 24 horas. No somos partidarios de esta práctica, porque creemos que dejar tan poco tiempo autoselecciona a panelistas que son muy activos y que trabajan conectados a Internet, y porque daña la experiencia de participación de nuestros colaboradores. Por ello nos auto-imponemos un mínimo de 48 horas durante el cual todo panelista tiene derecho a participar y ganar su premio.
Lo que recomendamos es permitir el acceso durante 5 días, para permitir la entrada a todo tipo de perfiles, pero si el cliente puede permitir el acceso hasta 2 semanas, sería mejor. En este tema, más tiempo es más posibilidades de que participen más tipos de personas.
26. ¿Tienen paneles de médicos? Si los tienen ¿están divididos por especialidades?
R: Es algo que nos piden muchísimo. Hemos tenido un panel de médicos en España, pero no en México. Por ejemplo, en toda Colombia hay 100.000 médicos, por lo tanto la penetración de ese target es baja también.
Es un proyecto que está bajo estudio, sin embargo sí tenemos paneles de pacientes.
27. A veces la conexión a internet se cae y ocurren problemas porque no siempre se puede continuar a contestar dónde se dejó la encuesta (Tem vezes que a internet, cai ou tem problema porque nao , a mesma pesquisa nao se encontra no site para que possamos fazer rde onde parou)
R: Es un tema tecnológico. Algunas tecnología de encuesta, cuando hay un problema de conexión, obligan a reiniciar la participación.
En Netquest usamos una tecnología que permite retomar la encuesta donde se quedó si hubo un problema. Para volver a acceder a la misma, basta con volver a acceder al email desde el que el participante fue invitado.
28. Si la investigación es muy larga, se termina la paciencia de los encuestados. Sin duda, es mucho más conveniente optar por caminos y metas más cortas. (Verdad pesquisas muitos longa nem todo mundo tem paciencia diminundo comcerteza muito melhor mais pratico, para os dois)
R: Totalmente de acuerdo. Tal y como he comentado en una respuesta anterior, nosotros somos partidarios de encuestas más cortas, pero en ocasiones el investigador impone una duración del cuestionario más extensa de lo que nos gustaría. En esos casos tratamos de dar un incentivo superior.
29. ¿Se debe hacer una muestra aleatoria para encuestar online a los asistentes de una actividad, o estaría bien enviar la invitación de la encuesta al universo de los asistentes?
R: En universos reducidos, como serían los asistentes a un evento, el tamaño de muestra para lograr un nivel de error aceptable es muy parecido al del universo. Y como no sabemos cuanta gente va a responder, lo habitual es enviar la encuesta a todo el universo. A fin de cuentas, el asistente espera recibir esa encuesta, no es molesto invitarlos a participar, es más, pueden verlo como algo positivo aunque decidan no responder.
30. ¡Gracias por compartir estos conocimientos! ¡Un cordial saludo!
R: Gracias a todos por asistir y por las interesantes preguntas. Nos vemos en el próximo Webinar.
