Aprende sobre los errores de medici贸n en encuestas con la UPF

Escrito por Ruth Alonso el 17 de octubre 2014

Hoy os queremos invitar al curso del RECSMPredicci贸n de la calidad de las preguntas con聽SQP: Mejora de las preguntas y correcci贸n de errores de medici贸n鈥. Este curso se realizar谩 los d铆as 17 y 18 de noviembre de 2014 en el Campus de la Ciutadella de la Universitat Pompeu Fabra en Barcelona.

recsm

 

La profesora Melanie Revilla, Investigadora del聽RECSM en la Universidad Pompeu Fabra e Investigadora del R2Online, impartir谩 este curso para hablar de 鈥el problema de los errores de medici贸n en la investigaci贸n mediante encuestas鈥.

Esta formaci贸n va dirigida a 鈥減rofesionales de empresas vinculados al an谩lisis de encuestas comerciales, investigadores y estudiantes de ciencia pol铆tica, sociolog铆a, psicolog铆a, medicina, econom铆a y otras disciplinas, que desarrollen encuestas鈥.

Lugar:

Universidad Pompeu Fabra (AULA: 54.031)

Roc Boronat, 138

08018 Barcelona

Mapa

Precio:

Profesionales: 400鈧

Profesores e investigadores: 200鈧

Estudiantes: 50鈧

M谩s informaci贸n:

recsm@upf.edu

Si te interesa, recuerda que la fecha l铆mite de inscripci贸n es el 5 de noviembre y que las plazas son limitadas. 隆Suscr铆bete ahora!

Categoría: Barcelona | Encuestas Online | Formaci贸n Trackback | Comentarios(0)

Apple vs Samsung, que decida un conjoint

Escrito por Ferran Sav铆n el 15 de octubre 2014

Probablemente hab茅is o铆do hablar del litigio entre Apple y Samsung a ra铆z de una demanda de la empresa fundada por Steve Jobs. Seg煤n la demanda, Samsung habr铆a violado las patentes de algunas tecnolog铆as empleadas en sus iPhone y iPad.聽Los da帽os y perjuicios reclamados por Apple ascend铆an a m谩s 2.000 millones de d贸lares. Pero, 驴de d贸nde sac贸 Apple esta cifra? 驴c贸mo es posible evaluar qu茅 habr铆a sucedido en el mercado si Samsung no dispusiese de esas prestaciones? 驴es posible medir de forma objetiva algo as铆?

samsung contra apple

Por lo que se ha sabido durante el jucio, la evaluaci贸n de da帽os de Apple se fundament贸 en un an谩lisis conjoint.聽La finalidad de un an谩lisis conjoint es determinar qu茅 aceptaci贸n va a tener por parte del consumidor una combinaci贸n de atributos de un producto. Para ello, un conjoint eval煤a el valor o utilidad que el consumidor otorga a cada atributo. Y lo hace sin tener que preguntar directamente por los mismos, s贸lo a trav茅s de comparaciones de productos.聽Esta metodolog铆a ha acreditado mayor fiabilidad que los estudios convencionales en la evaluaci贸n de la importancia real que una prestaci贸n de un producto tiene en la decisi贸n de compra de un consumidor.

La capacidad de predecir el comportamiento del consumidor convierte a los estudios conjoint en una potente herramienta para valorar situaciones hipot茅ticas. En el caso concreto del juicio Apple vs Samsung, el objetivo era medir c贸mo los consumidores valoraban las caracter铆sticas de Apple y qu茅 cuota de mercado hab铆a perdido por el supuesto plagio de Samsung. Para evaluar la importancia de las prestaciones plagiadas, se realizaron dos estudios online con una muestra de 507 encuestados con tel茅fonos m贸viles y otros 459 con Tablet.

 

Y 驴cu谩l fue el resultado?

El resultado del estudio conjoint llevado a cabo por el Profesor Hauser聽determin贸 que los consumidores estaban dispuestos a gastar entre 32$ y 102$ adicionales por las prestaciones en litigio. Evidentemente, Samsung contraatac贸 con otro estudio conjoint donde defin铆a otro tipo de atributos de sus productos, no valorados en el primer estudio, como por ejemplo la duraci贸n de la bater铆a.聽Esta historia ilustra perfectamente una de las fortalezas de los an谩lisis conjoint: la obtenci贸n de resultados cuantificables y fiables.

 

Usos del conjoint

El an谩lisis conjoint es una t茅cnica conocida desde hace d茅cadas, que vive una segunda juventud gracias a su uso a trav茅s de encuestas online y al incremento de la capacidad de proceso de los ordenadores para abordar an谩lisis m谩s sofisticados.

Hay innumerables firmas que est谩n utilizando esta t茅cnica para dise帽ar productos. Por ejemplo:

  • AT & T en la definici贸n de funciones del tel茅fono m贸vil.
  • IBM la utilizaba para definir caracter铆sticas de sus ordenadores
  • Operadores de telefon铆a para definir tarifas.
  • MasterCard, lo utiliz贸 para definir las propuestas de viajes y entretenimiento.
  • Dise帽o del sistema de seguimiento de FedEx.
  • Habitaciones de los hoteles Ritz Carlton.
  • Embalaje de herbicidas de Monsanto.

La t茅cnica de an谩lisis conjoint cuenta con la confianza de prestigiosos investigadores porque es (1) fiable, ya que obtiene datos mediante simulaciones realistas de situaciones cotidianas de compra, en las cuales el respondiente es forzado a priorizar unas prestaciones renunciando a otras, (2) discrimina, margina mejor la importancia de los atributos de un producto o servicio, y (3) permite聽simular nuevos productos y calcular cuotas de mercado, entre otras grandes virtudes.

Si el an谩lisis conjoint no goza de mayor popularidad se debe a que es percibido por el investigador como una t茅cnica altamente compleja. En gran medida, es cierto. Los modelos estad铆sticos que emplea son sofisticados. Pero una vez se obtienen los resultados del modelo (lo que se conoce como utilidades), las posibilidades de an谩lisis y simulaci贸n de escenarios son casi ilimitadas. Y la parte positiva es que interpretar y emplear las utilidades est谩 al alcance de cualquier investigador.

Atendiendo al inter茅s que despiertan estos estudios, en聽Netquest hemos empezado a ofrecer a investigadores profesionales un servicio conjoint que permite ejecutar este tipo de estudios sin necesidad de adquirir software especializado, ni tener un conocimiento t茅cnico del funcionamiento de los algoritmos ni de las t茅cnicas estad铆sticas propias del conjoint.

Os animamos a que deis el salto a esta metodolog铆a. Para ayudaros, en los pr贸ximos d铆as iremos publicando una serie de 10 post-tutoriales en los que explicaremos cada uno de los elementos a tener en cuenta para desarrollar tu propio estudio conjoint.

Categoría: Herramientas | Innovaci贸n | Investigacion de Mercados Trackback | Comentarios(0)

Zorros y erizos, buenos y malos predictores

Escrito por Carlos Ochoa el 13 de octubre 2014

Uno de los cap铆tulos m谩s interesantes de La se帽al y el ruido, de Nate Silver, est谩 dedicado a la cuesti贸n de si algunas personas predicen mejor que otras.

zorroyerizo

Silver emplea las predicciones pol铆ticas聽como terreno de juego de su an谩lisis. En concreto, se fija en un programa televisivo de Estados Unidos, The McLaughlin Group. Este programa re煤ne semanalmente un panel de expertos pol铆ticos que debaten sobre diferentes cuestiones y que finalizan su intervenci贸n con varias predicciones sobre la actualidad pol铆tica. Las predicciones deben formularse en pocos segundos. Son tanto sobre temas sugeridos por el presentador como propuestos por el propio experto.

Durante el programa los expertos suelen manifestar predicciones con tanta rotundidad como poca base documental y estad铆stica. Algunos de ellos no dudan en predecir una victoria de un candidato a la presidencia que cuenta con todas las encuestas en contra, dando a entender que manejan alg煤n tipo de informaci贸n privilegiada al respecto.

As铆 que Silver decidi贸 analizar las 1.000 煤ltimas predicciones del panel de expertos, para medir de forma objetiva su capacidad de acertar. El resultado fue el siguiente:

  • Predicciones completamente acertadas ………….. 39%
  • Mayoritariamente acertadas…………………………… 聽7%
  • Parcialmente acertadas, parcialmente falsas……. 聽8%
  • Mayoritariamente falsas ……………………………….. 10%
  • Completamente falsas …………………………………… 37%

Los datos mostraban que lo expertos apenas acertaban m谩s que una moneda lanzada al aire. 驴Este nivel de aciertos es algo habitual entre supuestos expertos? Philip Tetlock, tras formularse la misma pregunta, decidi贸 estudiar predicciones de expertos, tanto del mundo acad茅mico como gubernamental. Sus resultados mostraron que no es as铆: algunos expertos aciertan, de forma consistente,聽m谩s que otros. Es decir, existen buenos y malos predictores.

El zorro y el erizo

Tetlock se dedic贸 a estudiar qu茅 rasgos de personalidad caracterizaban a los buenos predictores frente a los malos. Dio con dos perfiles muy diferenciados: los zorros y los erizos.

Los erizos son aquellas personas que creen en ideas rectoras que gobiernan el mundo, convencidos de que todo puede ser explicado y comprendido. Son personas de fuertes convicciones, que buscan una victoria clara al enfrentarse a un problema. Karl Marx o Sigmund Freu encajar铆an en este perfil.

Los zorros, por el contrario, son personas que aceptan las imperfecciones del mundo, que creen en una multitud de peque帽as ideas y que piensan que la mejor forma de afrontar un problema es emplear diversas aproximaciones. Son m谩s tolerantes a la incertidumbre, a la complejidad y a la discrepancia de opiniones.

Silver nos facilita una tabla de actitudes t铆picas de zorros y erizos. 驴Sabr铆as decir en qu茅 lado est谩s t煤?

 

C贸mo piensan los zorros C贸mo piensan los erizos
De forma multicisciplinaria: Incorporan ideas de diferentes disciplinas, sin importarle su origen ideol贸gico. Especializada: Habitualmente dedican la mayor parte de sus carreras a uno o dos grandes problemas. Pueden ver con escepticismo聽las opiniones disruptivas.
Adaptables: Encuentran una nueva aproximaci贸n – o persiguen m煤ltiples aproximaciones a la vez – si no est谩n seguros de que la aproximaci贸n original funciona. Leales: Se mantienen fieles a la misma aproximaci贸n integral al problema. La nueva informaci贸n que pueda estar disponible se usa para refinar el modelo original.
Autocr铆ticos: A menudo reconocen errores en sus predicciones y asumen su culpa en esos errores. Obstinados: Achacan los errores a la mala suerte o a circunstancias inevitables. Un buen modelo tuvo un mal d铆a.
Tolerantes a la complejidad: Ven el universo como algo muy complejo, hasta el punto de aceptar que muchos problemas fundamentales pueden ser irresolubles o inherentemente impredecibles. Buscadores de un orden: Esperan que el mundo funcione de acuerdo a unas pocas y relativamente simples leyes fundamentales, obtenidas una vez se haya logrado identificar la se帽al dentro del ruido.
Cautos: Expresan sus predicciones de forma probabil铆stica, matizando sus opiniones. Confiados: Rara vez expresan predicciones con matices y son reacios a modificarlas.
Emp铆ricos: Conf铆an m谩s en la observaci贸n que en la teor铆a. Ideol贸gicos: Esperan que las soluciones a muchos problemas diarios sean manifestaciones de una gran teor铆a.
Los zorros son mejores predictores Los erizos son peores predictores

 

Tetlock se percat贸 de que los zorros son mucho mejores predictores que los erizos. Es una cuesti贸n de actitud. Pensemos en la ca铆da de la URSS en 1991. Muy pocos analistas pol铆ticos predijeron dicha ca铆da cuando, mirando retrospectivamente, gran cantidad de indicios habr铆a permitido predecirla. Muchos de esos analistas eran erizos y su aproximaci贸n al problema no fue la correcta para hacer una buena predicci贸n. Algunos analistas, muy cr铆ticos con el comunismo, ve铆an la URSS como un peligro mayor de lo que realmente era a finales de los 80. Su aversi贸n al r茅gimen de Mosc煤 les impidi贸 interpretar correctamente las se帽ales, de todo tipo, que emit铆a un estado en destrucci贸n. Otros, m谩s afines a la ideolog铆a comunista, cometieron el error inverso, infravalorando la importancia de esas se帽ales precisamente porque no quer铆an verlas. S贸lo unos pocos analistas fueron capaces de detectar y dimensionar correctamente las se帽ales.

Actitud frente a la informaci贸n

Como se deduce del ejemplo anterior, la principal carencia de un mal predictor es una mala actitud frente a la informaci贸n. Supuestamente, cuanta m谩s informaci贸n tenemos, mejor deber铆an ser nuestras predicciones. Sin embargo, esa regla no se cumple para el erizo. Frente a informaci贸n abundante, el erizo se refugia en su idea rectora y filtra convenientemente los datos que recibe, qued谩ndose con aquellos que refuerzan su predisposici贸n inicial.

Esta actitud explica porqu茅 Silver y Tetlock encontraron grandes fallos en las predicciones pol铆ticas. En pol铆tica, es habitual encontrar predictores sesgados, vinculados a una fuerte ideolog铆a. Eso condiciona irremediablemente las predicciones. Si a eso sumamos un esquema de incentivos perverso – una predicci贸n m谩s temeraria es televisivamente m谩s atractiva – nos encontramos con un 谩mbito especialmente castigado por malas predicciones.

Algo parecido sucede con el econom铆a. Pero eso lo veremos en otro post.

Categoría: mercados predictivos | Predicciones | Sin categor铆a Trackback | Comentarios(0)

驴C贸mo hacer preguntas abiertas?

Escrito por Ruth Alonso el 8 de octubre 2014

preguntas_abiertas

La mayor铆a de las preguntas utilizadas en encuestas son preguntas cerradas, es decir, preguntas en las que s贸lo se permite contestar mediante una serie cerrada de alternativas. Sin embargo, tambi茅n es posible emplear preguntas abiertas, preguntas en las que se permite al encuestado responder cualquier cosa seg煤n la pregunta, sin presentar una lista de alternativas posibles.

Existen dos tipos principales de preguntas abiertas (Couper et al, 2011): las preguntas abiertas que suscitan respuestas muy cortas (por ejemplo, el lugar de nacimiento o la marca de cerveza preferida) y las preguntas abiertas narrativas, que suscitan respuestas m谩s elaboradas y detalladas (por ejemplo, cu谩les crees que ser谩n los pr贸ximos desaf铆os para ti en el futuro).

Las preguntas abiertas narrativas tienen el inconveniente de que las respuestas no pueden utilizarse directamente para an谩lisis cuantitativos, sino que es necesario hacer un trabajo de codificaci贸n previo para poder trabajar con esas respuestas. Este trabajo de codificaci贸n puede requerir mucho tiempo y ser bastante complicado si las respuestas que han dado los respondientes no son claras respecto a lo que el investigador quer铆a medir con ellas.

Por otro lado, las preguntas abiertas narrativas tienen聽 ventajas: permiten obtener una variedad mucho mayor de respuestas, con contenidos m谩s detallados y ricos en informaci贸n. Adem谩s, no orientan a los respondientes en ninguna direcci贸n, y permiten responder de manera m谩s natural, de forma similar a un di谩logo, dando mayor libertad al respondiente para聽 鈥渆xplayarse鈥. Por lo tanto, es frecuente que este tipo de preguntas se adapten mucho mejor a las necesidades de investigaci贸n que las preguntas cerradas.

preguntas_abiertas

驴C贸mo usar preguntas abiertas narrativas?

Al usar estas preguntas abiertas narrativas, si la encuesta es administrada por un entrevistador (cara-a-cara o por tel茅fono) el respondiente puede dar una respuesta tan larga como desee. Pero cuando estas preguntas son parte de una encuesta online, es necesario decidir la mejor manera de presentarlas. En particular, hay que elegir el tama帽o del text box (la caja visual en la que el encuestado escribe su respuesta) y si se a帽ade un contador indicando cuantos caracteres disponibles quedan o no.

Todos los resultados de diferentes investigaciones sobre el impacto del tama帽o del text box (Christian and Dillman, 2004; Israel, 2010; Smyth et al. 2009) van en la direcci贸n de que un text box de tama帽o m谩s grande produce respuestas m谩s largas. Tambi茅n se observa que utilizar un contador indicando cuantos caracteres quedan puede permitir aumentar la media del n煤mero de caracteres de las respuestas (Emde y Fuchs, 2012).

Adem谩s, Emde y Fuchs (2013) han estudiado la interacci贸n entre el tama帽o del text box y el n煤mero de caracteres del contador. Sus resultados son bastante intuitivos: un contador con m谩s caracteres que el tama帽o visible del text box inicial produce respuestas m谩s largas, mientras que un contador con menos caracteres produce respuestas m谩s cortas.聽 Parece por tanto que los respondientes toman m谩s en cuenta el contador (cuando hay uno) que la referencia proporcionada por el tama帽o del text box.

Aparte, Emde y Fuchs (2013) tambi茅n concluyen que tanto el tama帽o del text box (150 caracteres, o 300, o 600) como la presencia del contador no afectan a la tasa de no-respuesta a la pregunta, y tampoco afectan al n煤mero medio de temas mencionados. Lo que cambia, por tanto,聽 es el nivel de detalle de las respuestas.

En conclusi贸n, por lo que se sabe sobre el impacto del tama帽o del text box y la presencia de un contador, parece recomendable para las preguntas abiertas narrativas utilizar un text box en combinaci贸n con un contador autorizando m谩s caracteres de los visibles inicialmente (hasta un 33% m谩s). Es preferible que el text box sea de tama帽o relativamente grande, sin ser exagerado, porque si se combina con un contador con m谩s caracteres, las respuestas ser谩n m谩s largas, y adem谩s, no cambiar谩n el n煤mero de temas mencionados.

 

Referencias bibliogr谩ficas:

R2Online,聽http://www.netquest.com/newsletters/r2online/4a_capsula_informativa.pdf

Categoría: estadisticas | sesgo Trackback | Comentarios (1)

La se帽al y el ruido

Escrito por Carlos Ochoa el 7 de octubre 2014

Ha ca铆do en mis manos un ejemplar del c茅lebre libro La se帽al y el ruido, de Nate Silver. He ido a parar a esta lectura despu茅s de una interesante conversaci贸n con 脌ngels Pont, directora del instituto de investigaci贸n GESOP, sobre mercados predictivos.

La se帽al y el ruido, de Nate Silver.

Los mercados predictivos constituyen una t茅cnica de investigaci贸n innovadora que permite hacer predicciones (sobre cualquier cosa, ya sean los resultados de unas elecciones o de un evento deportivo) dejando que un grupo de individuos puedan comprar y vender acciones de los diferentes resultados posibles. El valor de este mercado burs谩til de opiniones refleja el resultado m谩s probable.

Hablaremos en otro post sobre mercados predictivos, pero la idea tremendamente seductora que mueve esta t茅cnica y que poco tiene que ver con la investigaci贸n de mercados tradicional, es preguntar a la gente su opini贸n sobre la posibilidad de que se produzca un evento en lugar de su posici贸n personal respecto a dicho evento.

Veamos un ejemplo: predecir el resultado de unas elecciones. En un estudio cl谩sico seleccionamos una muestra altamente representativa de electores y les preguntamos a qu茅 candidato piensan votar. Si la muestra se ha creado correctamente, podremos inferir el resultado m谩s probable de las elecciones dentro de cierto intervalo de error. Una muestra m谩s grande nos permite reducir el intervalo de error.

Pero, 驴qu茅 suceder铆a si preguntamos a una muestra de personas qui茅n creen que va a ganar las elecciones en lugar de qu茅 candidato piensan votar? Diversas experiencias muestran la extraordinaria capacidad predictiva de las personas, algo a lo que Arist贸teles llamaba la sabidur铆a de las masas en su Pol铆tica.

Arist贸teles

Como t茅cnica, los estudios predictivos no tienen nada que ver con un muestreo cl谩sico. Nuestro universo ya no lo componen personas que votan, sino la informaci贸n que poseen las personas sobre qu茅 votar谩n los dem谩s. Cada persona contiene mucha m谩s informaci贸n que su propia intenci贸n de voto: sabe lo que votar铆a 茅l pero tambi茅n c贸mo votar谩n las personas de su entorno, ha visto resultados de sondeos, puede estar informada sobre el estado de la opini贸n p煤blica… Es por ello que una muestra realmente peque帽a de opiniones personales puede darnos una buena predicci贸n.

Pero, 驴c贸mo debe seleccionarse una muestra de predictores? 驴existen personas con mayor capacidad de predicci贸n que otras? 驴en qu茅 medida influye en la capacidad de predicci贸n el conocimiento de la muestra sobre el tema tratado? Alexander Wheatley聽y聽Hubertus Hofkirchner聽presentaron en el ESOMAR CONGRESS de Niza聽los resultados de algunos estudios experimentales al respecto. Sometieron a una muestra de panelistas a diferentes preguntas de naturaleza predictiva: qu茅 precio crees que tendr谩 el nuevo iPAD mini 2 el d铆a de su lanzamiento, resultados deportivos, c贸mo crees que se comportar谩n otras personas en una situaci贸n dada… Algunos de los aprendizajes de Wheatley y Hofkirchner fueron los siguientes:

  • En general las personas poseen capacidad predictiva. En cualquiera de los temas tratados la capacidad de predicci贸n de la muestra superaba el acierto por puro azar.
  • Destacaron la capacidad de predicci贸n del comportamientos y opiniones… 隆de los dem谩s! Preguntaron a una muestra de personas si ten铆an intenci贸n de recoger su bandeja cuando acabasen de comer en un restaurante autoservicio. La respuesta del “s铆” fue del 50%. Al preguntar a la misma muestra qu茅 porcentaje del resto de personas cre铆an que lo har铆an, la respuesta fue de 15%. El dato real observado fue del 13%.
  • Algunas personas son mejores prediciendo que otras. Y no estamos hablando del caso de J.A. y el tribunal de cuentas espa帽ol. Estudios longitudinales mostraron que algunos individuos superaban la media de aciertos de forma consistente a lo largo del tiempo, sobre diferentes temas.
  • La calidad de una predicci贸n depende de la cantidad de informaci贸n al alcance de las personas, el esfuerzo que dedican a la predicci贸n, su objetividad y la dificultad de la predicci贸n.
  • El acierto no depende directamente del tama帽o de la muestra. Un 煤nico individuo muy informado y con gran capacidad puede ser m谩s certero que una muestra m谩s amplia de predictores mediocres.
  • Una buena muestra de predictores no depende tanto del tama帽o como de la diversidad y de la inteligencia que contenga.聽Jed Christianson, de la Universidad de Birmingham, considera que 16 personas es m谩s que suficiente para hacer buenas predicciones.
  • La forma en que deben agregarse las predicciones individuales de una muestra es seleccionando la mediana de las predicciones, no la media.

Parte de las razones que explican la capacidad de predicci贸n de un individuo vienen explicadas en el libro cuyo t铆tulo preside este post. Las personas hacemos predicciones usando dos componentes: la se帽al, que es informaci贸n correcta, y el ruido, informaci贸n irrelevante que nos aleja de la se帽al. Si agregamos predicciones de personas independientes y no sesgadas, podemos llegar a cancelar el ruido y acercarnos a la se帽al que buscamos.

En su libro, Nate Silver profundiza en c贸mo hacemos predicciones y qu茅 caracter铆sticas tiene un buen predictor. A trav茅s de numerosos ejemplos, que abarcan desde predicciones pol铆ticas, deportivas, econ贸micas e incluso meterol贸gicas, Silver identifica qu茅 hace buena una predicci贸n y qu茅 caracteriza a los buenos predictores. Y a los malos.

En pr贸ximos posts iremos desgranando algunas de las claves facilitadas en este interesante libro. En cualquier caso, os animo a leerlo, porque en los detalles y en el estilo narrativo del autor est谩 gran parte de la informaci贸n 煤til. Es decir, la se帽al.

Categoría: esomar | Estudios | Herramientas | Innovaci贸n | mercados predictivos | Predicciones | Sin categor铆a Trackback | Comentarios(0)

Market Research Heroes: Annie Pettit

Escrito por Ruth Alonso el 25 de septiembre 2014

Versi贸n en espa帽ol >>

annie_pettit

In this new release, we鈥檝e had the opportunity to talk with聽Annie Pettit, a person who can teach us a lot about market and social research, either through her conferences or her several articles.

Annie聽is PhD in psychology and Chief Research Office at聽Peanut Labs. She is also Vice President of Research Standards at聽Research Now. She specializes in data quality, sampling and survey design, and social listening.

She won the聽MRIA Award of Outstanding Merit聽in 2014, the聽 Best Methodological Paper at Esomar in 2013, and the 2011 AMA David K. Hardin Award. Annie tweets at聽@LoveStats聽and is the author of聽The Listen Lady, a novel about social media research.

 

Let鈥檚 get started鈥 Annie, what did you want to be when you were growing up?

First a veterinarian but I quickly realized I was kind of scared of animals. Then an archeologist, and then a psychometrist. I have no idea how I discovered that career!

 

When did you start your professional career as a researcher? And what was the beginning like?

If we鈥檙e talking strictly research, I鈥檒l have to include graduate school when I researched the generalizability of results from college students, as well as the data quality of online survey data.

In my first real job after school, I was essentially a psychometrist with the Ontario government. I used a few standard statistics to develop personality tests. I really liked the work but, along the way, I realized that there was a career called marketing research where people get to use all kinds of statistics to accomplish all kinds of goals, not just a few for one goal.

Once I realized I鈥檇 have many more options in the MR world, I immediately sought out a new job. I remember being surprised at all the things I did NOT know about research in the business world even though I had taken so many classes in statistics, research methods, and survey design. They don鈥檛 teach you box scores in university!

 

Who was/is your hero in the market research world?

There are lots of people from marketing research doing some really great things. I love that Kristin Luck is on a campaign for full representivity of men and women at conferences and at senior levels.

I love that Tom Ewing and Reg Baker point out the obvious even though something is only obvious because they pointed it out first and even when the idea is controversial and upsets the purists.

pettit_quotes_eng_1

If you had to name one attribute every social researcher should have, which would it be?

“Social” implies an understanding of people, of how people think and feel, why people think and feel, and how people often don鈥檛 know how they think and feel. So I鈥檓 going to make a grand assumption that we鈥檙e all good there. In that case, every social researcher needs to be comfortable with numbers.

I鈥檝e heard too many people happily confess that they aren鈥檛 good with numbers and too many presenters apologize for not understanding the numbers on their slides. We can鈥檛 do our jobs well if we don鈥檛 have a feel for numbers and how they can do us right and wrong.

That means we聽 need to understand ideas of randomness, margin of error, and confidence intervals. We need to understand that just as people鈥檚 opinions aren鈥檛 written in stone, neither are the numbers we create during the research process.

 

How do you get inspired to create? What field, besides market research, inspires you the most?

Without other people, I鈥檓 not very creative. When people share their ideas on Twitter or Facebook or LinkedIn or at conferences, it makes me think of additional ideas. Or, I鈥檒l disagree so completely with an idea that crosses my path that I鈥檒l have to share what I think is a better idea. It鈥檚 all a matter of opinion.

It seems like every blog post I write is inspired by a conversation with someone (you know who you are!)

Outside of marketing research, I get a lot of inspiration from books, in particular biographies and documentaries. So many people have done so many incredible things. The creativity and strength they have shown reminds me that I need to just get out there and聽DO.

pettit_quotes_eng_2

What would you say is the most interesting research project you have carried out?

I work behind the scenes as opposed to directly with clients so most of my work is research on research. Which I love.

The most interesting project I鈥檝e worked on has to be the development of a global panel data quality system that incorporated numerous mid-survey data quality techniques as well as long-term individual tracking components.

It really helped me to understand that real people aren鈥檛 perfect. Everyone makes mistakes on surveys now and then. You hit the wrong key, you mis-interpret a poorly worded question. People can鈥檛 be penalized for being human. On the other hand, there are always a few people who aren鈥檛 truly invested in the survey process and those kinds of people don鈥檛 need to be a part of the process.

How would you describe the current situation of our industry?

I鈥檇 describe it as “wishfully thinking forward but comfortably seated in the past“.

There are indeed a number of companies trying hard to be progressive. They are actively working on mobile solutions, neuroscience techniques, and more, and doing everything they can to convince clients to come along with them.

Lots of folks are encouraged by all the new techniques available to them but they are still very happy with the surveys and focus groups they鈥檝e been doing all along. They already know the pros and cons of those techniques, they already have all their templates and processes in place.

It鈥檚 just a ton of work to do something different. I think we鈥檙e really good at wanting to do new cool things but those new cool things are really a very small part of our work.

 

What do you think market research will be like in 10 years time? What challenges do you think we will face?

Ah, to dream! I would love to say that surveys will be short and well-written, and that responder engagement will be higher than ever. I think we will be closer to that but not by much. We鈥檒l still be fighting the cost of business which means little time to write the best survey ever and little money to support that endeavor.

However, I do think we鈥檒l have made some great strides in terms of truly understanding engagement. It鈥檚 only been in the last couple of years that we鈥檝e really focused on the person participating in the research as opposed to the techniques of research. As we focus more on people, and see the benefits of focusing on people, not data, our research data will get better.

I really hope that in ten years time neuroscience as applied to marketing research will be much more in play than today. We like to think that people understand themselves but we really don鈥檛. On the surface, we know we like this or that, but we don鈥檛 know why. We don鈥檛 know why our hand grabbed at a certain shape, size, or colour. We just know that we love or hate something and then researchers make us try to come up with reasons when we鈥檝e never really considered the reasons to begin with. Neuroscience will get us a lot closer to reality.

 

Which film or which book do you recommend to researchers?

I鈥檓 going to extrapolate a bit and recommend a TV show. Anyone who knows me knows I always watch American Idol. 聽And, I always keep a score card from week to week rating every singer with A, B, C, D, or F. Yes, Yes, I鈥檓 a data geek.

The interesting thing is that it really reminds me of the difficult task we ask of our survey responders. Was the singer I rated with a B last week just as good as the singer I rated with a B this week? And what was it about the singer that I rated A four times in a row that got them kicked off this week – a personality characteristic, their clothes, their song choice, their hair?

It鈥檚 a great way to remember just how random and forgetful people are when they鈥檙e judging things whether it鈥檚 people or products.

 

And at last, your life motto in 1 tweet =)

When someone says you can鈥檛 do something, that鈥檚 your cue to do it.聽#InspirationalQuote聽@LoveStats

 

Categoría: H茅roes de la investigaci贸n | Humor | Investigacion de Mercados | usa Trackback | Comentarios(0)

H脡ROES DE LA INVESTIGACI脫N: ANNIE PETTIT

Escrito por Ruth Alonso el 25 de septiembre 2014

English version >>

annie_pettit

En esta nueva entrega hemos tenido la suerte de poder conversar con Annie Pettit, una de las personas de las que m谩s aprendemos, ya sea en sus conferencias o en sus numerosos art铆culos.

Annie es Doctora en Psicolog铆a y Directora de Investigaci贸n de聽Peanut Labs. Es tambi茅n vicepresidenta de Est谩ndares de Investigaci贸n en聽Research Now. Est谩 especializada en calidad de los datos, muestreo, dise帽o de encuestas, y social listening.

Gan贸 el Award of Outstanding Merit de la MRIA en 2014,聽 el Best Methodological Paper de Esomar en 2013 y el David K. Hardin Award de la AMA. Tuitea como @LoveStats y es la autora de聽The Listen Lady, una novela sobre investigaci贸n en redes sociales.

 

Empecemos. Annie, cuando eras peque帽a, de mayor quer铆as ser…

Quer铆a ser veterinaria, pero me di cuenta r谩pidamente de que los animales me daban un poco de miedo. Despu茅s quise ser arque贸loga y m谩s tarde psicometrista (隆no tengo ni idea de c贸mo descubr铆 esta 煤ltima carrera!).

 

驴Cu谩ndo y c贸mo te iniciaste como investigadora?

Si hablamos en un sentido amplio, empec茅 en la Universidad, donde trabaj茅 en un proyecto para extrapolar los resultados de los estudiantes a la poblaci贸n general, y tambi茅n llev茅 a cabo una investigaci贸n sobre la calidad de los datos en las encuestas online.

Mi primer empleo tras la Universidad fue como psicometrista en el Gobierno de Ontario.聽 Ah铆 utilizaba unas pocas pruebas estad铆sticas para crear tests de personalidad. Me gustaba, pero entonces descubr铆 la existencia de una carrera llamada investigaci贸n de mercados en la que se aplicaban todo tipo de estad铆sticas para lograr cualquier tipo de objetivo, no s贸lo unas pocas para alcanzar uno solo. Cuando me di cuenta de que tendr铆a m谩s oportunidades en el campo de la investigaci贸n de mercados, busqu茅 inmediatamente otro empleo.

Recuerdo que cuando empec茅 a trabajar en investigaci贸n comercial, me sorprend铆an todas las cosas que NO sab铆a, a pesar de que hab铆a estudiado mucha estad铆stica, m茅todos de investigaci贸n, dise帽o de encuestas…隆en la universidad no te ense帽an a sacar tablas de frecuencias!

 

驴Qui茅n ha sido tu h茅roe/hero铆na en el mundo de la investigaci贸n?

Hay muchas personas que est谩n haciendo cosas realmente impresionantes en nuestro terreno. Me encanta la campa帽a que Kristin Luck est谩 llevando a cabo en el mundo del marketing para que las mujeres estemos plenamente representadas en las conferencias y en los puestos de direcci贸n.

Me gusta tambi茅n la capacidad que tienen Tom Ewing y Reg Baker para hacernos ver como evidentes cosas que a primera vista no lo son, especialmente cuando se trata de ideas que pueden ser controvertidas o molestar a los puristas.

pettit_quotes_1

Si tuvieras que destacar una 驴cu谩l crees que es la cualidad que deber铆a atesorar todo investigador social?

鈥淪ocial鈥 significa entender a las personas, saber c贸mo piensan y sienten, entender por qu茅 piensan y sienten as铆, y comprender que a menudo las personas ignoran sus propios pensamientos y sentimientos. Suponiendo -y es mucho suponer- que todos los investigadores somos diestros en lo anterior, dir铆a que lo siguiente que necesitamos es familiarizarnos con los n煤meros.

He escuchado a demasiada gente confesar alegremente que no son buenos con los n煤meros y a muchos conferenciantes pedir perd贸n por no entender los datos que aparecen en sus presentaciones.

No haremos bien nuestro trabajo si no tenemos ni idea de n煤meros y desconocemos c贸mo nos pueden ayudar.

Esto significa que debemos conocer conceptos como la aleatoriedad, el margen de error y los intervalos de confianza. Necesitamos entender que de la misma forma que las opiniones de la gente son cambiantes, tambi茅n lo son los datos que surgir谩n durante una investigaci贸n.

 

驴C贸mo te inspiras para crear? 驴Qu茅 mundos fuera del mundo de la investigaci贸n te inspiran m谩s?

Sin las otras personas no ser铆a muy creativa. Los pensamientos que la gente comparte en Twitter,聽 Facebook, LinkedIn o en una conferencia, me generan nuevas ideas. O si veo una idea con la que estoy totalmente en desacuerdo me siento apremiada a compartir lo que yo pienso que puede ser una idea mejor.

De hecho, dir铆a que cada post que publico en el blog lo escribo inspirada en una conversaci贸n con alguien (隆ya sabes qui茅n eres!).

Fuera de la investigaci贸n de mercados me inspiran mucho los libros, especialmente las biograf铆as y los documentales: tanta gente ha hecho cosas tan incre铆bles. La creatividad y la fuerza que demuestran me recuerda a diario que tengo que salir ah铆 fuera y simplemente HACER.

 

驴Cu谩l dir铆as que es la investigaci贸n o el proyecto m谩s interesante que has llevado a cabo?

Trabajo entre bastidores, no directamente con clientes, es decir, mi labor radica en investigar sobre la propia investigaci贸n. Y me encanta.

El proyecto m谩s interesante que he realizado ha sido el desarrollo de un sistema de medici贸n de la calidad en un panel internacional. Este sistema incorporaba varios componentes de calidad a corto plazo, y tambi茅n t茅cnicas de seguimiento de los encuestados a largo plazo.

Me ayud贸 a entender que las personas no somos perfectas. Cualquiera puede cometer un error al responder una encuesta. Puedes pulsar la tecla equivocada, o confundirte ante una pregunta mal formulada. No podemos penalizar a las personas por ser humanas. En cambio, siempre hay algunas personas, muy pocas, que no est谩n dispuestas a esforzarse al responder una encuesta. A 茅stas personas s铆 que debemos excluirlas de nuestros proyectos.

pettit_quotes_2

驴C贸mo definir铆as el momento en el que se encuentra nuestro sector?

Lo describir铆a as铆: 鈥mirando hacia delante con ilusi贸n, pero acomodado en el pasado鈥.

Hay muchas empresas que se esfuerzan por innovar. Trabajan en el desarrollo de soluciones m贸viles, t茅cnicas de neurociencia…y hacen todo lo posible por convencer a sus clientes para que las incorporen a sus estudios.

Pero pese al entusiasmo que generan estas nuevas t茅cnicas,聽 la realidad es que la mayor铆a de profesionales siguen satisfechos con las encuestas y los focus groups de toda la vida. Conocen bien los pros y contras de las t茅cnicas tradicionales, y ya tienen sus聽 procesos pre-establecidos .

Hacer algo diferente implica mucho esfuerzo. Nos seducen mucho las cosas nuevas e interesantes, pero la realidad es que estas innovaciones suponen una parte 铆nfima de nuestro trabajo.

 

驴C贸mo te imaginas que ser谩 la investigaci贸n dentro de 10 a帽os? 驴A qu茅 retos piensas que nos enfrentaremos?

隆Ah, so帽ar! Me encantar铆a decir que las encuestas ser谩n cortas, estar谩n bien redactadas y que el compromiso con el encuestado ser谩 mayor que nunca. Creo que nos iremos acercando a esto, pero no demasiado. Seguiremos luchando con los costes, lo que significa tener poco tiempo para escribir la mejor encuesta posible, y poco dinero para cambiar esta inercia.

Pese a todo, s铆 que pienso que hemos hecho grandes avances en la comprensi贸n profunda de lo que significa el compromiso con el encuestado. En realidad solo hace 2 a帽os que nos estamos preocupando por las personas que participan en las encuestas, en lugar de por la propias t茅cnicas de investigaci贸n. A medida que nos centremos m谩s en la gente , y veamos los beneficios que conlleva, los datos que obtendremos ser谩n de m谩s calidad.

Espero que en unos diez a帽os la neurociencia aplicada a la investigaci贸n de mercados est茅 m谩s extendida de lo que hoy est谩. Nos gusta pensar que las personas nos comprendemos a nosotras mismas, pero no es as铆. En la superficie, sabemos que nos gusta esto o aquello, pero no sabemos las razones. No sabemos por qu茅 nuestra mano agarr贸 algo de determinada forma, tama帽o o color. Solamente sabemos que algo nos gusta o no nos gusta y despu茅s los investigadores nos hacen pensar en el porqu茅, cuando en realidad, nosotros nunca lo hemos tenido en cuenta. La neurociencia nos debe ayudar谩 a comprender c贸mo tomamos decisiones realmente.

 

驴Qu茅 pel铆cula recomendar铆as ver o qu茅 libro recomendar铆as leer a todo investigador/a?

Voy a salirme de la pregunta y recomendar茅 un programa de televisi贸n. Cualquiera que me conozca sabe que siempre miro American Idol.聽 Y cada semana relleno un tarjeta de valoraci贸n para puntuar a cada cantante con una A, B, C, D, o F. S铆, s铆, soy una geek de los datos.

Lo interesante del caso es que me recuerda la dif铆cil tarea que le pedimos a los encuestados. 驴El cantante que puntu茅 la semana pasada con una B es tan bueno como el cantante que he puntuado con una B esta semana? 驴Y qu茅 pasa con el cantante que he puntuado con una A cuatro veces seguidas y que han echado esta semana: ha sido por una caracter铆stica de su personalidad, su ropa, la canci贸n elegida, su pelo鈥?

Es una fant谩stica manera de recordarme cu谩n aleatorias y olvidadizas son nuestras mentes cuando emitimos un juicio, ya sea sobre una persona o sobre un producto.

 

Y por 煤ltimo, tu lema vital en 1 tuit

Cuando alguien te dice que no puedes hacer algo… es la se帽al para hacerlo聽#InspirationalQuote @LoveStats

 

Categoría: H茅roes de la investigaci贸n | Humor | Investigacion de Mercados Trackback | Comentarios(0)

Los paneles online escoceses ya lo sab铆an

Escrito por Ruth Alonso el 19 de septiembre 2014

what-happens-if-scotland-votes-yes-136393139796503901-140908101013

 

Despu茅s de tantas idas y venidas, tantas predicciones, especulaciones, interpretaciones鈥 ayer lleg贸 la hora de la verdad. Los escoceses ten铆an que votar si quer铆an que su pa铆s siguiera formando parte del Reino Unido o no. Con m谩s de 10 puntos de diferencia entre las dos opciones de respuesta, Escocia ha dejado claro que NO quiere la independencia (S铆 44,70% – No 55,30%). Y este resultado, adquiere a煤n m谩s valor, cuando leemos que la participaci贸n fue del 84,59%, un porcentaje de participaci贸n inusualmente elevado.

 

Pero, 驴qu茅 dec铆an las predicciones de los paneles online?

En 2011 se empezaron a realizar los primeros sondeos para averiguar qu茅 prefer铆an los ciudadanos escoceses, sondeos que no han dejado de realizarse hasta pocos d铆as antes del refer茅ndum de ayer (pod茅is consultar el listado de los estudios realizados en Wikipedia).

La mayor铆a de estos sondeos se han realizado mediante聽paneles online de empresas especializadas en investigaci贸n de mercados. Los resultados obtenidos, en su mayor铆a, se han acercado mucho al dato final, y es que la penetraci贸n de Internet en Escocia聽es superior al聽80%.

A este factor se suma la existencia de unos paneles de acceso maduros y representativos de la sociedad. Y, por 煤ltimo, debemos tener en cuenta que el online elimina el sesgo del entrevistador. Todo ello hace que la metodolog铆a online sea ya un canal perfectamente v谩lido para conocer las preferencias reales de los electores.

 

Fuentes consultadas:

http://www.lavanguardia.com/internacional/referendum-escocia/20140919/54415193418/escocia-indepencia.html

http://www.scotland.gov.uk/About/Performance/scotPerforms/indicator/internet

http://en.wikipedia.org/wiki/Opinion_polling_for_the_Scottish_independence_referendum,_2014

 

Categoría: Art铆culos | calidad | Encuestas Online | estadisticas | Estudios | internet | Investigacion de Mercados | Noticias | Paneles Online | Predicciones | sesgo Trackback | Comentarios(0)

Conclusiones del Chilescopio 2014

Escrito por Ruth Alonso el 12 de septiembre 2014

El pasado 27 de agosto de 2014 Netquest tuvo la oportunidad de asistir al evento de Chilescopio y en este post queremos compartir con vosotros esta experiencia.

Fruto de nuestra colaboraci贸n con Chilescopio 2014, en esta edici贸n se ha ampliado el enfoque ofreciendo una comparativa de las actitudes de los chilenos hacia las marcas, junto con las de argentinos, peruanos y colombianos.

chilescopio_ (1)

El estudio de Chilescopio presenta en esta edici贸n c贸mo son los chilenos con respecto a otros pa铆ses a trav茅s de una serie de encuestas realizadas a miembros del panel Netquest en Chile, Argentina, Colombia y Per煤. Los resultados generan una idea sobre las tendencias de estilos de vida y consumo en estos pa铆ses.

Algunas de las conclusiones del estudio son:

  • Chile se destaca en el grado de satisfacci贸n en desarrollo econ贸mico por sobre de Argentina Colombia y Per煤.
  • Las tem谩ticas que m谩s insatisfacci贸n generan en los chilenos son: salud, transporte y respeto por los derechos de los trabajadores.
  • A煤n perteneciendo a un mismo continente, cada pa铆s de Latinoam茅rica tiene sus particularidades y debe ser estudiado individualmente.

chilescopio

Para Netquest fue un placer colaborar y agradecemos la entusiasta recepci贸n por parte de las empresas.

Puedes consultar el documento 鈥淐贸mo son los chilenos respeto a otros pa铆ses鈥 aqu铆.

 

Categoría: estadisticas | Estudios | Investigacion de Mercados | LATAM | netquest | Panel | Paneles Online | Sin categor铆a Trackback | Comentarios(0)

驴Leer谩s este post hasta el final?

Escrito por Oriol Llaurad贸 el 5 de septiembre 2014

Espero que s铆, pero la verdad es que vivimos en un mundo abarrotado de est铆mulos en el que el tiempo es un bien escaso. Toda esta saturaci贸n est谩 afectando a nuestra capacidad de concentrarnos sin distracciones.

Leo con inter茅s un estudio realizado por el Lloyds Bank cuya conclusi贸n es que聽la capacidad de concentraci贸n humana ha ca铆do hasta los 5 minutos en 2014聽 (隆cuando era de 12 en 2004!).

Pensando en nuestra industria, resulta atractivo que desarrollemos lo que podr铆amos llamar micro metodolog铆as, esto son, tomas de datos en las que obtengamos la informaci贸n de los consumidores de forma 谩gil y r谩pida, respetando su d铆a a d铆a.

Una encuesta de 1-2 minutos es especialmente apta para contestarse a trav茅s del smartphone, en tiempo real, en el momento de la verdad: tras ver un anuncio en TV, ante el lineal de un supermercado, cuando se abandona el carrito de la compra en un e-commerce…

Una encuesta corta no reemplazar谩 nunca un estudio en profundidad, pero puede ser un complemento para enriquecerlo y, a la vez, representa una forma de adaptarnos a los horarios de nuestros encuestados.聽Una experiencia de participaci贸n agradable y conveniente nos garantiza la obtenci贸n de unas respuestas m谩s genuinas.

Por 煤ltimo, conviene tener presente que los datos recogidos siempre los podremos cruzar con toda聽informaci贸n de perfil聽disponible de los panelistas.

Si todav铆a no lo has hecho, te animo a incorporar a tu arsenal de investigaci贸n las Insta encuestas. Ah, y gracias por haber llegado hasta el final ;-)

 

Categoría: Sin categor铆a Trackback | Comentarios(0)