Annie Pettit se define a si misma como “metodologista en investigación”. Sus 15 años de experiencia en Data Quality primero en encuestas online y luego en paneles online, han acabado convirtiéndola en una experta del Data Quality en Social Media.
Rapidez, eficacia y un gran sentido del humor, son las reglas que definen su juego.
Recientemente ha publicado un par de artÃculos en su blog, sobre los Pros y los Contras de la investigación de mercados a través de redes sociales. Son los siguientes:
Las 10 cosas que nos encantan de la investigación en Social Media
Las 10 quejas más habituales en investigación en Social Media
Próximamente irá publicando en su blog diferentes artÃculos para discutir sobre la veracidad o falsedad de estos inconvenientes, y cómo poder resolverlos en caso de que nos causen problemas. ¡Os mantendremos informados!
El siguiente gráfico muestra la penetración de Internet (Fuente Internet World Stats) de los principales mercados de investigación online en el mundo.

Es interesante observar como:
A la luz de estos datos, pues, podemos argumentar que la penetración a internet no es el único factor que determina el porcentaje de investigación online que se realiza en un mercado. Otros aspectos, como por ejemplo la presencia o no de proveedores locales especializados en online, parece ser que tienen una importancia mayúscula.
La investigación de mercados mediante encuestas online tiene una trayectoria de ya más de 10 años, y es muy interesante mirar atrás para ver cómo los institutos de investigación han ido migrando algunos proyectos que antes realizaban mediante encuestas presenciales o telefónicas a usar paneles online.
En este artÃculo analizaremos los consejos que el gurú británico de los nuevos métodos de investigación Ray Poynter nos propone en su libro para aquellos que estéis pensando hacer esta migración al online.
Preguntas clave antes de migrar un proyecto a online:
1) ¿Se puede contactar a la muestra adecuada por Internet?
En primer lugar, es importante considerar si la muestra se extrae de una base de datos interna de la compañÃa (de clientes por ejemplo) o bien de un panel de acceso online. En ambos casos, es importante tener en cuenta los posibles efectos de internet a la hora de medir temas relacionados con el propio uso de internet como por ejemplo la compra de vuelos o la penetración de banda ancha. El hecho de contactar la muestra por internet puede atribuir un sesgo por encontrar a más heavy users de portales de comparativa de vuelos o mayor penetración de banda ancha. En paÃses como España con penetración del 60% de internet en hogares, es bastante probable que la muestra se pueda contactar por internet en la mayorÃa de estudios de mercado.
2) ¿La muestra online es lo suficientemente amplia para este proyecto?
Si el estudio es un tracking semanal es importante garantizar que se dispone de la suficiente muestra como para realizar la encuesta sin tener que encuestar al mismo panelista demasiado a menudo y sin tener que recurrir a fuentes alternativas. Hay estudios que demuestran que un cambio de fuente (por ejemplo de un panel a otro) puede producir cambios en los resultados no derivados de cambios poblacionales. El mÃnimo de entrevistas recomendado para que la muestra sea lo suficientemente amplia y representativa es de 1000.
3) ¿La muestra online será diferente de la que ya obtenÃamos por otras vÃas?
La muestra online, aunque sea una réplica a nivel demográfico, puede mostrar diferencias en términos actitudinales, de creencias o experiencias. Esto no significa que sea peor. Diferente puede significar una mejora en otros criterios o un cambio por variables que antes producÃan sesgo (como el efecto entrevistador).
4) ¿Se pueden hacer las mismas preguntas online?
Algunas preguntas sencillas de hacer por teléfono o en persona pueden ser problemáticas por Internet (y viceversa). El investigador que quiera convertir un cuestionario ofline a online ha de revisarlo pregunta por pregunta para acomodarlo a las restricciones del nuevo medio. Por ejemplo, en preguntas de conocimiento espontáneo (di la primera marca que te venga a la cabeza…), al tratarse de una pregunta abierta en la que el entrevistado ha de responder por escrito, es más difÃcil crear enrutamiento posterior basado en esa respuesta abierta ya que el mismo concepto puede escribirse de muchas maneras diferentes. En cambio ante un entrevistador, la interpretación del concepto es automática y es más fácil redirigir la encuesta.
5) Tal y como están formuladas las preguntas, ¿darán diferentes resultados online?
Aunque las preguntas se puedan formular de la misma manera online y offline, las respuestas puede que no sean las mismas. Una de las grandes diferencias entre los cuestionarios auto-administrados y el entrevistador es que en el caso del auto-administrado el entrevistado es más honesto, lo que provoca diferentes resultados en preguntas como las escalas de probabilidad de compra (que suelen ser más bajas en online). La ausencia de entrevistador hace que el encuestado esté menos tentado a dar respuestas socialmente aceptadas. Aunque hay datos de estudios que nos indican qué tipo de preguntas dan diferentes resultados online, en la mayorÃa de casos es necesario realizar estudios piloto previos para comparar metodologÃas.
6) El nuevo cuestionario ¿deberÃa minimizar las diferencias con el antiguo estudio o maximizar las potenciales mejoras?
Pasar una encuesta a online se puede aprovechar para mejorar los resultados de estudios previos por ejemplo utilizando estÃmulos visuales que no eran viables por teléfono. No obstante, a menudo una mejora en los resultados por la reducción de sesgos significa resultados diferentes a lo que ya se obtenÃa, lo cual puede ser problemático para el investigador. Por ejemplo, si se asocian incentivos a los comerciales en función de la encuesta de satisfacción de cliente, los resultados de ésta (aunque sean más válidos o fiables) pueden tener repercusiones negativas para la organización.
7) ¿Se puede realizar el nuevo estudio en paralelo con el antiguo?
La mejor vÃa de migrar un proyecto a online es hacer un piloto en paralelo al estudio previo. Este proceso permitirá identificar posibles problemas con la implementación online y las diferencias en los resultados.  No obstante esto implica incrementos en el coste y puede retrasar el cambio.
8 ) ¿Se pueden modelizar las diferencias en los resultados de ambos estudios?
Si la nueva encuesta corre en paralelo con el estudio previo durante un tiempo, es posible modelizar las diferencias entre ambos estudios. Por ejemplo, si la muestra online está 10% más satisfecha que la offline, los datos anteriores pueden adaptarse (ponderando los criterios de satisfacción anteriores). Lo ideal es modelizar los datos antiguos, no los nuevos.
Si el estudio que queremos migrar está basado en el paradigma del muestreo probabilÃstico, este paradigma cambiará al migrar a online (a no ser que se trate de un estudio a bases de datos de clientes y la gran mayorÃa de los clientes estén en internet).  En cambio si el estudio previo se basa en entrevistar a una sección poblacional utilizando cuotas para controlar la naturaleza de la muestra, el estudio online encajará en el mismo paradigma.
En resumen, la migración de proyectos off a online es un proceso progresivo que requiere planificación y conocimientos de internet para anticiparnos a posibles cambios en los resultados. Saber interpretar esos cambios y poder actuar en consecuencia con las ponderaciones correspondientes es la clave de una migración exitosa.
El último número de la revista mexicana de la AMAI (asociación de investigadores de mercado en México) publica un estudio en el que se concluye que a nivel nacional las entrevistas cara a cara obtienen una tasa de rechazo del 42.9%. Es decir, “cada vez que se seleccionó una vivienda y se tocó una puerta buscando lograr una entrevista, existÃa casi un 43% de probabilidades de que esa entrevista no se lograra en esa ocasión” según declara el estudio.
Por regiones, la central (que abarca DF, Estado de México e Hidalgo) presentaba la mayor tasa de rechazo con un 55%, y por nivel socioeconómico la clase A/B un 53% frente a un 35% del extremo opuesto en la distribución.
Esta tasa de rechazo se mide por el promedio de número de intentos necesarios para obtener una entrevista (número de puertas tocadas) lo que nos dice que en promedio por cada 1000 contactos válidos es necesario contactar con 1.800 viviendas.
El estudio, realizado por la consultora Mitofsky concluye que la tasa de rechazo es producto de factores imponderables como las condiciones de tensión social o el clima, y que es un reto del sector conseguir que se reduzca.
En investigación online sucede algo similar a las entrevistas cara a cara: la tasa de rechazo es clave para obtener la muestra necesaria. Aunque no estemos utilizando marcos muestrales comparables (muestreo estratificado vs muestreo por cuotas), podemos comparar las consecuencias de la tasa de rechazo: no abrir el email con la invitación a la encuesta online serÃa el equivalente a no abrir la puerta de casa al encuestador. Un panel online con tasas bajas de respuesta tendrá un problema añadido al propio sesgo de autoselección ya existente en esta metodologÃa. Como ya nos contaba Carlos Ochoa hace 4 años, una buena tasa de conversión y respuesta reporta beneficios metodológicos motivados por una menor autoselección de los participantes y eso revierte en muestras más heterogéneas, más diversas y eficientes. Es un primer paso para reducir el sesgo de no respuesta en investigación online y mejorar la representatividad de las muestras.
Link | Revista AMAI Marzo 2011
Razones para tener un panel online con buenas tasas de respuesta
Leo en un foro de LinkedIn sobre investigación de mercados el siguiente debate: “¿Por qué a las personas que participan “demasiado” en encuestas online se les clasifica como “panelistas profesionales” (por tanto son automáticamente descartados en los estudios) mientras que a los que generan “mucho” contenido cualitativo en comunidades online se les llama “engaged” (o “motivados” en catellano)?
Por un lado se habla de que los que participan muy reiteradamente en encuestas son panelistas profesionales con el único fin de conseguir más incentivos a cualquier costa. “No tendrÃamos ningún inconveniente en que esta gente nos proporcionase buenos datos y sin sesgos” dice Melanie Courtright. Realmente ese es el verdadero problema de la mala calidad de las respuestas: el sesgo. ¿Dicen los encuestados la verdad? ¿Son consistentes con sus respuestas? Según Melanie, el problema es del método: es difÃcil estar motivado haciendo encuestas y se puede ver en tiempos, respuestas abiertas, inconsistencias, etc. Pero ¿y si este perfil de internauta “hiperactivo” (que dependiendo del panel puede ser un pequeño porcentaje), nos dijera la verdad y diera respuestas coherentes?. Bob Fawson de Western Wats argumenta que la industria ha decidido que los resultados de los profesionales de las encuestas son lo suficientemente buenos y demuestran suficiente validez externa, pero que aun asà hay empresas de panel que están haciendo verdaderos esfuerzos invirtiendo mucho en los activos del panel (los panelistas).
El debate surge en un momento en el que todo el sector de la investigación está preocupado por dos cosas: por el lado “cuanti” de la validez de los datos obtenidos en paneles online (la profesionalidad del panelista, la duplicidad de respuestas, la misma persona contestando la misma encuesta varias veces, la mala calidad del dato) y por el “cuali” de ver si las comunidades online/redes sociales son herramientas válidas y cómo introducirlas en el porfolio de metodologÃas.
Pero ¿realmente una persona que contesta varias encuestas al mes es diferente del que postea varios comentarios en un foro/comunidad de investigación? ¿dónde ponemos el lÃmite? Alastair Gordon nos recuerda que en los paneles siempre se ha limitado el número de encuestas que puede hacer una persona y que en muchos estudios aún se filtra a los que hayan realizado una encuesta recientemente con el fin de evitar el posible sesgo derivado de conocer la mecánica del método de encuestación y de influir en la forma en cómo se contestan a determinadas preguntas (pérdida de espontaneidad, recuerdo de marcas, fatiga en las respuestas). ¿Se deberÃa también limitar la participación en las comunidades online y las redes sociales de investigación a determinados perfiles “hiperactivos” por posible sesgo de profesionalización? ¿Se comportarÃan igual que los “grupistas profesionales” en los focus tradicionales?
En la metodologÃa basada en paneles online, no he encontrado evidencia cientÃfica (si alguien puede aportarla serÃa muy útil para este debate) que demuestre que la existencia de respondents hiperactivos (participan en muchas encuestas especialmente online sin mentir en los datos que aportan) sesga los resultados de las encuestas o su perfil influye negativamente en la toma de decisiones de negocio del cliente. Aun asÃ, es importante que el % de este perfil dentro de la muestra se corresponda con la realidad y no esté sobre-representado.
Seguiremos investigando para demostrar los posibles sesgos de este target hiperactivo/profesional en los resultados de las encuestas pero sobre todo evitando su registro voluntario en nuestros paneles en primer lugar.
Fuente | Debate en LinkedIn
El dÃa de hoy Esomar publicó un avance del Reporte Global de la Industria 2010. La versión completa, que se entregará en el Congreso Mundial Anual de Esomar (este año en Grecia) se convertirá una vez más en la fuente de más prestigio y la más exhaustiva para medir la salud de nuestro sector.
Pese a que durante el 2009 se evidencia un decrecimiento de la inversión en investigación de mercados a nivel global (asà como en España y América Latina), se observa una consolidación del uso de investigación online:  supone el 22% del mercado, a 5 puntos por encima del CATI y 2 puntos porcentuales más que en 2008.
Respecto al total mundial de inversión en estudios online, Estados Unidos de América (EUA) representa el 30% del mercado, seguida por el Reino Unido, Alemania, Francia y Japón (que juntos suman otro 36% ).
Es posible interpretar en base a esta tendencia global en el sector de la investigación que la fuerza de los mitos sobre los estudios online está disminuyendo, en parte debido a la mayor penetración de Internet en todo el globo, pero también a la conveniencia de este tipo de estudios para acceder a los principales protagonistas del mercado: los consumidores.
Seguiremos comentando el reporte a medida se hagan públicos más resultados y compartiremos nuestra perspectiva del sector también a través de los medios sociales en los que Netquest participa.
Siempre se ha dicho que las encuestas largas aburren al que las contesta y generan sesgo en las respuestas. Pero también hace años (Noviembre 2007) llegábamos a la conclusión mirando datos de nuestros paneles de que la duración no tenÃa porque ser un factor de peso en la satisfacción del encuestado y demostramos que encuestas cortas podÃan llegar a tener peor valoración que las largas dependiendo de otros factores (por ejemplo el ser filtrado por no cumplir el perfil, o no ser de tu interés la temática del cuestionario). ParecÃa que el encuestado valora otras cosas de las encuestas además de su duración, tales como la temática, el diseño, el incentivo… y asà lo hicimos ver en un artÃculo sobre este tema el año pasado.
Este mes dos empresas del sector de la investigación online retoman el eterno debate sobre la longitud del cuestionario: SSI llega a la conclusión comparando datos de 2004 y 2009 de que encuestas más largas generan más fatiga, menos compromiso con las respuestas a medida que aumenta la encuesta y por lo tanto sesgo en los resultados. MarketTools por otro lado argumenta que hay otras variables que influyen en la satisfacción/calidad de la respuesta como el tiempo de lapso entre páginas del cuestionario. Por último, el debate ha llegado al punto de que algunos investigadores creen que en el futuro no habrá más encuestas largas y otros ya vaticinaron en 2005 que dejarÃa de haber encuestas de más de 20 minutos. Por último, los más atrevidos argumentan que en nuestra industria no hay nadie desde el punto de vista económico que esté interesado en que las encuestas sean más cortas, ya que todos se benefician de ello al ser un factor relevante a la hora de elaborar presupuestos.
La cuestión es interesante de analizar pero parece que no se llega a ninguna conclusión. La primera pregunta es ¿realmente estamos gestionando encuestas demasiado largas o es una leyenda urbana del sector? Y si es asÃ, ¿por qué?
En Netquest hemos implementado miles de encuestas en el último mes para investigadores en España, y hemos hecho el cálculo de cuánto han durado como media sin contabilizar filtrados o abandonos. La media de duración está en 10 minutos exactos lo cual no es una mala cifra dada las crÃticas hacia los investigadores de mercado que hablan de cuestionarios de más de media hora.
Como conclusión: se ha demostrado que la duración es un factor a tener en cuenta pero no es el único ni quizás el que genera mayor sesgo en las respuestas. El investigador ha de tener en cuenta el diseño de las preguntas, la forma de comunicar, la complejidad de las tareas… Recomendamos al investigador hacerse a sà mismo la encuesta antes de enviarla para sentirse en la piel del que contesta y ver si realmente la duración es la clave de una mala respuesta.
Acaba de terminar el congreso titulado Frontiers (organizado por Esomar), que ha reunido en Canadá a los principales actores de la industria mundial de estudios de mercado y opinión. Además de muchas ponencias interesantes –me gustó especialmente la de Hernando de Soto, que expuso con mucha claridad por qué el problema del desarrollo tiene tanto que ver con la estructura jurÃdica de los paÃses, en especial con la existencia de derechos de propiedad bien definidos-, este congreso me ha servido, un año más, para comprobar una cosa: estamos sólo al principio de una revolución en los métodos de recolección de datos para investigación social y de mercado. La revolución evidentemente es Internet, y la consideración de que estamos al principio es sólo una de las cosas que quiero contar a continuación.
Pese a que vemos muchas empresas bien establecidas, con una facturación importante -que, ingenuamente, podrÃamos pensar que han dado con un modelo definitivo- lo cierto es que se trata de un primer modelo, de una primera fórmula. Repasemos lo sucedido estos años (¡qué poco hace que empezó todo!). Primero se extiende el uso del ordenador entre toda la población, algo que en los años 70 parecÃa impensable. A continuación, aparece Internet, y todas estas personas conectan sus ordenadores entre sÃ. Acto seguido, la industria de la investigación ve ante sus ojos la posibilidad de encuestar a las personas de forma remota; de, en definitiva, hacer que las personas desde sus casas o sus trabajos contesten a cuestionarios online, y las empresas de la industria procesen los datos y los analicen. Todo serÃa mucho más barato y más eficiente, pensamos. Pero enseguida aparece un “pequeño†inconveniente: ¿cómo se contactan las personas en este nuevo mundo? Solución: los paneles online. Muchas empresas en la industria se vuelcan a “captar†respondientes de encuestas, personas que aceptan participar en estudios de mercado a cambio de ciertos incentivos, o, simplemente, porque les gusta dar su opinión. El éxito es inmediato. Rápidamente las empresas empiezan a realizar ciertos tipos de estudios (especialmente aquellos en los que hay imágenes, audio o vÃdeo) vÃa web utilizando estos paneles online, y las empresas que crearon los paneles y los gestionan, se convierten, como dije al principio de este párrafo, en empresas fuertes, bien establecidas. Desde entonces, sostengo, vivimos en lo que podrÃamos llamar la “ilusión de la estabilidadâ€.
Os cuento a qué me refiero, es sencillo. El rápido éxito de los paneles online existentes nos ha generado la ilusión de que el modelo inicial de panelización de las grandes empresas (SSI, Research Now, Toluna, Greenfield, GMI, y tantas otras) es estable; que funciona, que se mantendrá por mucho tiempo. Ah, pero aquà está en mi opinión el gran error –un error que cometemos siempre los humanos-, la miopÃa. ¿Cómo iba a ser definitivo un modelo de panelización que ha nacido hace escasamente 8 años, y que depende enteramente de la evolución del ecosistema tecnológico y comportamental de Internet? Para hacernos una idea del error que podrÃamos estar cometiendo, no hay mejor ejemplo que los portales horizontales que en los noventa veÃamos como los grandes “players†del mundo Internet. Se trataba de “puertas†de acceso a la red, sitios que reunÃan contenidos de muchos tipos en una suerte de corte inglés virtual…sitios que hoy son absolutamente insignificantes, que ninguno de nosotros utiliza. No señores, no nos equivoquemos. Los proveedores de online sampling todavÃa no hemos dado con un buen modelo de valor para los respondientes y los investigadores, y todo lo que estamos viendo sufrirá muy pronto cambios “dramáticos†(que dirÃa un anglosajón).
Con esto llego al núcleo de este post. Estoy completamente convencido de que nunca habrá lo que se ha llamado “peak panel†en la industria. Para los que no conozcáis el concepto, se trata de la predicción de que la demanda de pronto la oferta de respondientes de encuestas no será capaz de satisfacer a la demanda, y se producirá un colapso en la industria. Pues bien, creo que una idea como la de peak panel es precisamente una idea que emana de la “ilusión de estabilidad†de la que os hablaba antes. Por qué? Es muy claro. Un colapso de oferta como el que predice el peak panel sólo puede ocurrir si existe una única fórmula de panelización y esta fórmula entra en problemas. Es decir, si por alguna razón los modelos actuales de panel fuesen los únicos posibles, y, subiera la demanda progresivamente mientras se mantiene fija la cantidad de personas dispuestas a participar en encuestas, pues sÃ, habrÃa peak panel. Pero el error (inmenso) es considerar que los actuales modelos de panelización son los únicos posibles. ¡Pero si en realidad son casi los primeros que hemos probado! ¡Pero si estamos en plena revolución del comportamiento de los usuarios de Internet! ¡Qué ingenuidad pensar que no aparecerán fórmulas que aumenten las personas predispuestas a participar en encuestas! (…y qué pesimismo, es casi sospechoso…)
Quienes han augurado peak panel para la industria creo que están mirando el mundo actual con unas gafas de mediados del siglo veinte todavÃa. En realidad, hay algo muy revelador de que miran, efectivamente, con las gafas equivocadas. Y es que el mismo término, peak panel, viene de los debates acerca del abastecimiento de petróleo en el mundo. La teorÃa original se llamó peak oil, y sostenÃa que el crecimiento de la demanda de petróleo era superior al crecimiento de la capacidad de extracción de petróleo, condicionado (este último) por la tecnologÃa de extracción. ¿Alguien cree que las tecnologÃas web y el comportamiento de los internautas evolucionarán en estos próximos años igual de lentos que las tecnologÃas de extracción de petróleo? (¡¡porque esta es la hipótesis subyacente a la tesis del peak panel!!).
No habrá peak panel. La teorÃa es muy memética, pero creedme, no habrá ningún colapso de la oferta, sino simplemente cambios en las tecnologÃas/metodologÃas de captación y encuestación. Y por si no os convencen mis argumentos, os diré que a lo largo de estos dÃas de congreso en la bonita ciudad de Montreal, Canadá, he tenido la ocasión de hablar con varios de los principales actores en esta industria del online fieldwork, y he podido comprobar lo que os decÃa: que no habrá peak panel. Y hasta aquà puedo leer.
En un reciente post, Maritza Guaderrama de DNX ilustra que en Internet no sólo hay jovenes varones urbanitas. Me permito extraer algunos párrafos:
*Un hombre de 67 años, cuya hija estudiaba en Inglaterra y que le habÃa enseñado a comprar billetes de avión baratos por Internet. Gracias a esto, los padres de la chica habÃan comenzado a disfrutar de una jubilación más activa aprovechándose de ofertas de vuelos en Europa. La consecuencia negativa – según señalaba con risa el propio entrevistado – es que la hija habÃa recibido más visitas de sus padres de lo que quizás le hubiese gustado.
*Una mujer mayor de 50 años utilizaba Internet para “chatear con las de su puebloâ€. El ayuntamiento de su localidad natal desarrolló una página web del pueblo e introdujo una facilidad para el Chat. Pues bien, nuestra usuaria en cuestión habÃa encontrado en Internet una forma de reducir su factura telefónica.

Si no se fiase, no comprarÃa por internet (las compras por internet aumentan cada año) ni accederÃa a su banca online (ya hay entidades que solo operan por internet) ni enviarÃa correos electrónicos.
La confianza depende de la empresa que esté detras. Si el que realiza una encuesta no percibe confianza en la empresa que la gestiona, o no responde o bien sesga las respuestas.
En Netquest hemos puesto todos los medios para que la confianza del panelista se mantenga. Controlamos la experiencia de usuario de cada panelista. Preveemos posibles casos de panelistas descontentos y les enviamos emails para solucionar posibles problemas (por ejemplo cuando detectamos cancelaciones de encuestas sin terminar) y motivar su participación.
El panelista tiene un número de atención 902 al que llamar en cualquier momento para consultas o dudas relativas a las encuestas que puedan surgirle, y lo más importante: percibe que su tiempo es debidamente recompensado.