Cómo predecir sin saber, y ¡acertar!

Escrito por German Loewe el 5 de marzo 2009

Hoy quiero contaros algo sobre una curiosidad estadística que puede ser muy útil a cualquier persona que tenga que hacer una predicción cuantitativa. La situación típica podría ser la siguiente: supongamos que queremos estimar las ventas que tendremos en la empresa este mes, concretamente, el número de unidades que se habrán vendido entre el día 1 y el 31 del mes. Y supongamos que para hacer esta estimación contamos únicamente con 2 expertos, por un lado, un compañero del departamento financiero especializado en controlling financiero, que dice que serán 100 unidades. Por otro lado, un segundo experto, en este caso un estadístico externo especializado, que concluye que venderemos 200. No hay más datos. ¿Qué hacer? ¿A quién creer? ¿Al controller interno o al estadístico externo? Supongamos que la realidad finalmente resulta ser X (no la desvelaremos de momento). Es fácil calcular el error de la predicción: si habíamos escogido 100, el error de predicción será el valor absoluto de la resta 100-X. En caso de haber escogido 200, la diferencia o error habrá sido el valor absoluto de 200-X. Claro…el problema es que no conocemos X, así que no parece posible saber a ciencia cierta cuál de los expertos es mejor. De hecho, ¿tenemos información a priori sobre quién podría ser mejor? En realidad parece que no. Podemos creer que tenemos razones para escoger (apuesto a que más de un lector tiene a estas alturas ya una “apuesta personal” sobre qué experto es mejor a priori), pero lo cierto es que no tenemos ningún dato en este problema que nos permita decantarnos por ninguno; ¡creer lo contrario es un defecto de serie que tenemos los humanos!

Veamos las consecuencias de este “defecto humano”. Como no hay razones sólidas para escoger uno u otro, podemos suponer que la mitad de las personas escogerán uno y la otra mitad el otro. Por lo tanto, el error medio que cometemos si escogemos uno de los expertos al azar será: Error1 = 0,5x[100-X]+0,5x[200-X]=([100-X]+[200-X])/2. (utilizo los corchetes para indicar “valor absoluto”).

Y aquí es donde quería llegar. La pregunta obvia es: ¿se puede mejorar este error esperado? A primera vista parece que no, pero conviene detenerse a analizarlo. De hecho, la primera estrategia alternativa en la que todos pensamos cuando estamos en situaciones parecidas es utilizar el promedio entre las dos predicciones, en este caso: (100+200)/2. La intuición que tenemos sin embargo es que el error esperado de predicción de este promedio es el mismo que el que tendríamos escogiendo un experto al azar como en el párrafo anterior. Pero…¿es así? Calculémoslo: Error2=[(100+200)/2-X]=[(100+200)/2-2X/2] =([100-X+200-X])/2.

Para comparar parece claro que queremos ver cuál de los errores esperados es menor. Así que básicamente debemos comparar [100-X]+[200-X] con [100-X+200-X]. No hay duda de que lo segundo es siempre (!) menor o igual a lo primero, cualquiera que sea el valor de X. En realidad, podéis comprobar que siempre que X caiga entre 100 y 200, entonces Error2<Error1; y cuando X se sitúe fuera del intervalo de las dos predicciones, entonces Error2=Error1. Por lo tanto, en un problema de esta naturaleza, ¡utilizar la media de las predicciones es siempre beneficioso!

Al principio que acabo de exponer hay quien le llama ‘averaging principle’, y es conocido al menos desde Kelley,1925. Pero es muy contraintuitivo para quien lo piensa por primera vez. Eso explica las fuertes reticencias que tienen muchos investigadores a la hora de combinar metodologías, pese a que en realidad promediar resultados de estudios que han utilizado diferentes metodologías seguramente es muy beneficioso. Claro, promediar es mejor salvo cuando el investigador tiene fuertes indicios de que uno de los estimadores individuales es un mejor “experto”…En general, sin embargo, es mucho más rentable ser humildes, combinar y promediar. Eso es lo que hace por ejemplo ww.pollyvote.com, que logró pronosticar con mucha precisión el resultado de las pasadas elecciones en EEUU combinando 4 fuentes de datos con metodologías completamente diferentes; y lo hizo aplicando ni más ni menos que el ‘averaging principle’.

Las cuatro fuentes de pollyvote fueron:
1. Resultados combinados y corregidos de sondeos electorales
2. Previsiones de un panel de expertos en política norteamericana
3. Mercado Electrónico de Predicciones de IOWA
4. Modelos Cuantitativos

pollyvote_grafico_de_predicciones_electorales
pollyvote_prediccion_electoral_usa1

Categoría: Artículos | Destacados | Predicciones Trackback | Comentarios (4)

Por qué no habrá peak panel

Escrito por German Loewe el 29 de septiembre 2008

Acaba de terminar el congreso titulado Frontiers (organizado por Esomar), que ha reunido en Canadá a los principales actores de la industria mundial de estudios de mercado y opinión. Además de muchas ponencias interesantes –me gustó especialmente la de Hernando de Soto, que expuso con mucha claridad por qué el problema del desarrollo tiene tanto que ver con la estructura jurídica de los países, en especial con la existencia de derechos de propiedad bien definidos-, este congreso me ha servido, un año más, para comprobar una cosa: estamos sólo al principio de una revolución en los métodos de recolección de datos para investigación social y de mercado. La revolución evidentemente es Internet, y la consideración de que estamos al principio es sólo una de las cosas que quiero contar a continuación.

Pese a que vemos muchas empresas bien establecidas, con una facturación importante -que, ingenuamente, podríamos pensar que han dado con un modelo definitivo- lo cierto es que se trata de un primer modelo, de una primera fórmula. Repasemos lo sucedido estos años (¡qué poco hace que empezó todo!). Primero se extiende el uso del ordenador entre toda la población, algo que en los años 70 parecía impensable. A continuación, aparece Internet, y todas estas personas conectan sus ordenadores entre sí. Acto seguido, la industria de la investigación ve ante sus ojos la posibilidad de encuestar a las personas de forma remota; de, en definitiva, hacer que las personas desde sus casas o sus trabajos contesten a cuestionarios online, y las empresas de la industria procesen los datos y los analicen. Todo sería mucho más barato y más eficiente, pensamos. Pero enseguida aparece un “pequeño” inconveniente: ¿cómo se contactan las personas en este nuevo mundo? Solución: los paneles online. Muchas empresas en la industria se vuelcan a “captar” respondientes de encuestas, personas que aceptan participar en estudios de mercado a cambio de ciertos incentivos, o, simplemente, porque les gusta dar su opinión. El éxito es inmediato. Rápidamente las empresas empiezan a realizar ciertos tipos de estudios (especialmente aquellos en los que hay imágenes, audio o vídeo) vía web utilizando estos paneles online, y las empresas que crearon los paneles y los gestionan, se convierten, como dije al principio de este párrafo, en empresas fuertes, bien establecidas. Desde entonces, sostengo, vivimos en lo que podríamos llamar la “ilusión de la estabilidad”.

Os cuento a qué me refiero, es sencillo. El rápido éxito de los paneles online existentes nos ha generado la ilusión de que el modelo inicial de panelización de las grandes empresas (SSI, Research Now, Toluna, Greenfield, GMI, y tantas otras) es estable; que funciona, que se mantendrá por mucho tiempo. Ah, pero aquí está en mi opinión el gran error –un error que cometemos siempre los humanos-, la miopía. ¿Cómo iba a ser definitivo un modelo de panelización que ha nacido hace escasamente 8 años, y que depende enteramente de la evolución del ecosistema tecnológico y comportamental de Internet? Para hacernos una idea del error que podríamos estar cometiendo, no hay mejor ejemplo que los portales horizontales que en los noventa veíamos como los grandes “players” del mundo Internet. Se trataba de “puertas” de acceso a la red, sitios que reunían contenidos de muchos tipos en una suerte de corte inglés virtual…sitios que hoy son absolutamente insignificantes, que ninguno de nosotros utiliza. No señores, no nos equivoquemos. Los proveedores de online sampling todavía no hemos dado con un buen modelo de valor para los respondientes y los investigadores, y todo lo que estamos viendo sufrirá muy pronto cambios “dramáticos” (que diría un anglosajón).

Con esto llego al núcleo de este post. Estoy completamente convencido de que nunca habrá lo que se ha llamado “peak panel” en la industria. Para los que no conozcáis el concepto, se trata de la predicción de que la demanda de pronto la oferta de respondientes de encuestas no será capaz de satisfacer a la demanda, y se producirá un colapso en la industria. Pues bien, creo que una idea como la de peak panel es precisamente una idea que emana de la “ilusión de estabilidad” de la que os hablaba antes. Por qué? Es muy claro. Un colapso de oferta como el que predice el peak panel sólo puede ocurrir si existe una única fórmula de panelización y esta fórmula entra en problemas. Es decir, si por alguna razón los modelos actuales de panel fuesen los únicos posibles, y, subiera la demanda progresivamente mientras se mantiene fija la cantidad de personas dispuestas a participar en encuestas, pues sí, habría peak panel. Pero el error (inmenso) es considerar que los actuales modelos de panelización son los únicos posibles. ¡Pero si en realidad son casi los primeros que hemos probado! ¡Pero si estamos en plena revolución del comportamiento de los usuarios de Internet! ¡Qué ingenuidad pensar que no aparecerán fórmulas que aumenten las personas predispuestas a participar en encuestas! (…y qué pesimismo, es casi sospechoso…)

Quienes han augurado peak panel para la industria creo que están mirando el mundo actual con unas gafas de mediados del siglo veinte todavía. En realidad, hay algo muy revelador de que miran, efectivamente, con las gafas equivocadas. Y es que el mismo término, peak panel, viene de los debates acerca del abastecimiento de petróleo en el mundo. La teoría original se llamó peak oil, y sostenía que el crecimiento de la demanda de petróleo era superior al crecimiento de la capacidad de extracción de petróleo, condicionado (este último) por la tecnología de extracción. ¿Alguien cree que las tecnologías web y el comportamiento de los internautas evolucionarán en estos próximos años igual de lentos que las tecnologías de extracción de petróleo? (¡¡porque esta es la hipótesis subyacente a la tesis del peak panel!!).

No habrá peak panel. La teoría es muy memética, pero creedme, no habrá ningún colapso de la oferta, sino simplemente cambios en las tecnologías/metodologías de captación y encuestación. Y por si no os convencen mis argumentos, os diré que a lo largo de estos días de congreso en la bonita ciudad de Montreal, Canadá, he tenido la ocasión de hablar con varios de los principales actores en esta industria del online fieldwork, y he podido comprobar lo que os decía: que no habrá peak panel. Y hasta aquí puedo leer.

Categoría: Artículos | Destacados | Eventos | Mitos del Online Trackback | Comentarios (2)

Investigación online y representatividad “situacional”

Escrito por German Loewe el 28 de octubre 2007

En 2004 el reputado investigador Robin Hogarth tituló un artículo suyo “The Challenge of Representative Design in Psychology and Economics”. La idea principal es que el investigador social debe preocuparse tanto de la representatividad poblacional como de la situacional. En el trabajo de campo a través de Internet estamos todavía trabajando en alcanzar el primer tipo de representatividad…y vamos a ver muchos avances en los próximos años. Están empezando a aparecer medidas estadísticas de la representatividad poblacional en muestras de paneles online, y se anticipa un campo apasionante y un gran reto para los proveedores de panel. Pero cuidado que la lección de Robin Hogarth es que al preocuparnos tanto de la representatividad poblacional, podemos estar descuidando otra igualmente importante…

La idea es que cuando un investigador plantea una serie de preguntas o decisiones al entrevistado, lo hace normalmente en el marco de una única situación. Supongamos, por ejemplo, que un investigador pretende estudiar si un nuevo packaging de la marca A conseguirá que las ventas de A recorten la distancia a las ventas de B. Una idea sencilla podría ser montar un cuestionario en el que apareciese el packaging antiguo de A y otro cuestionario en el apareciese el nuevo; preguntado en cada caso la valoración del packaging y predisposición a comprar, podríamos concluir, digamos, que sí, que el nuevo gusta mucho más. Pero la idea de la representatividad situacional nos alertaría de varios posibles sesgos:

1. En primer lugar, la valoración que solicitamos no está enmarcada en una “escena representativa”. Me explico…nunca solemos enfrentarnos a esa decisión de esa manera. Normalmente, decidiremos en un contexto mucho más “real”, y numerosos descubrimientos en teoría de la decisión durante los últimos 20 años nos alertan de la importancia del “frame”, del marco de la decisión. En pocas palabras, las preferencias entre el packaging antiguo y el nuevo que expresen las personas en el cuestionario pueden ser poco representativas de su conducta real. Para hacerlas más representativas, se podría por ejemplo presentar la decisión de forma visual, tratando de “representar” mejor la situación en la que se suele tomar esa decisión (en el contexto de una tienda con gente, y escogiendo entre varios posibles productos, por ejemplo).

2. Pero hay algo más que el realismo de la decisión. Porque, por mucho que la escena que presentemos al entrevistado sea “realista”, eso todavía no implica que estemos alcanzando la representatividad situacional. Si lo que queremos es saber si los clientes comprarán más A con el nuevo packaging, entonces tenemos que estudiar la decisión en todas las posibles configuraciones de esa escena. Por ejemplo, es posible que en la mitad de los supermercados el producto esté rodeado de otro producto X, mientras que en la otra mitad, esté rodeado de otro producto Y. En ese caso, habría que estudiar ambas configuraciones para mejorar la representatividad situacional. También se podrían estudiar diferentes situaciones personales en el momento de compra. En una, se le diría a la persona “imagínate que sales de trabajar, es tarde, y entras en un supermercado”. En otra, se le podría decir “imagínate que es sábado, y decides ir a comprar a tu tienda habitual”. Y así sucesivamente, con todas aquellas configuraciones que puedan resultar relevantes a los ojos del investigador.

Por supuesto que tampoco es bueno (ni factible) llevar estas cuestiones hasta sus últimas consecuencias, porque entonces la investigación misma carecería de sentido, sería más bien una reproducción de la realidad, algo demasiado costoso. Pero la idea de Robin Hogarth es sencillamente avanzar en esta linea, porque si descubrimos por ejemplo que el nuevo pacakging es preferido al antiguo en las 8 configuraciones que hemos probado, los resultados son realmente robustos. En cambio, visto así…si sólo hemos probado una configuración, la sensación es muy parecida a la de obtener los resultados únicamente de, digamos, personas de una determinada clase social.

Mi propuesta es que la investigación online puede hacer MUCHO por la representatividad situacional. Por un lado, las muestras pueden ser más grandes, y permitir estudiar en paralelo las diferentes situaciones con tamaños muestrales diferentes. Por otro lado, las encuestas pueden ser multimedia, y hacer así más realista la escena de la decisión. Así que auguro un gran futuro a la investigación online, porque irá mejorando progresivamente en la representatividad poblacional, y creo que supondrá un boom en la situacional. Los investigadores siempre han tenido presente de algún modo la representatividad situacional, pero nunca han dispuesto de tanta potencia en el trabajo de campo como ahora.

Categoría: Artículos | Destacados Trackback | Comentarios(0)