Actualidad de la investigación de mercados online

Predecir lo que no sabes que existe

Escrito por Carlos Ochoa el 9 de diciembre 2014

Leer el artículo completo

Uno de los capítulos más interesantes de la Señal y el ruido de Nate Silver es el titulado “Lo que no conoces puede hacerte daño”.

A lo largo de su obra, Silver nos detalla todo tipo de problemas predictivos. Documenta casos de éxito (como la predicción meteorológica), fracasos (como las predicciones económicas) y áreas en las que ni siquiera hay una esperanza razonable de llegar a tener éxito (como la predicción de seísmos).

En este capítulo el autor se centra en una cuestión aún más compleja: las predicciones que fallan porque ni siquiera se buscaba en el lugar adecuado.

 

Pearl Harbor, un ataque inesperado

Para ilustrar el problema, Silver recurre a un episodio trágico de la historia de Estados Unidos: el ataque de la armada japonesa a la base militar de Pearl Harbor.

 

pearl-harbor

Existían múltiples indicios que podían hacer pensar en ese ataque. Las relaciones de ambos países se habían deteriorado mucho en 1941. Los movimientos de tropas y señales hostiles habían sido numerosas durante el periodo previo al ataque. De hecho, Estados Unidos había desplazado gran parte de su marina a Pearl Harbor como medida de precaucación.

Sin embargo, el ataque japonés pilló totalmente desprevenida a la flota norteamericana. ¿Cómo pudo fallar de forma tan estrepitosa la inteligencia militar estadounidense? Las razones son una buena enseñanza para cualquier investigador.

La primera razón es que la inteligencia norteamericana trabajaba casi exclusivamente con la hipótesis de un sabotaje, no de un ataque directo. En Hawai viven muchos descendientes de japoneses, lo cual alimentó esa teoría. Para poder proteger mejor la aviación de un sabotaje, se optó por aparcar todas las naves agrupadas, lo que hizo más dañino el ataque japonés.

La segunda razón, aún más sorprendente, fue el silencio. Los americanos habían logrado descifrar el código de encriptación usado por los japoneses en sus comunicaciones diplomáticas, pero no el usado en las militares. Aun así, la recepción de dichas señales facilitaba la localización de la flota japonesa en el Pacífico.

Sin embargo, unos días antes del ataque, la armada japonesa dejó de emitir señales de comunicación. Los americanos interpretaron esa señal como un repliegue de la flota, lo que haría imposible recibir señales. Por el contrario, lo que estaba sucediendo es que la flota avanzaba hacia Pearl Harbor en total silencio, preparando un ataque extremadamente dañino.

 

El célebre desconocido desconocido

Muchos años después, Donald Rumsfeld, secretario de Defensa del gobierno de George Bush, daba una buena explicación a este tipo de fallos predictivos.

 

donald-rumsfeld

Según Rumsfeld nos enfrentamos a diferentes tipos de problemas:

Para Rumsfeld, el ataque de Pearl Harbor era un desconocido desconocido. La inteligencia norteamericana no detectó el ataque porque no contemplaba esa opción, trabajaba con otros escenarios. Es imposible detectar una señal si ni siquiera la estamos buscando.

La misma teoría de los “unknown unknowns” suele emplearse para explicar los ataques a las torres gemelas el 11-S. Para muchos analistas, estos ataques eran impredecibles. Pero, ¿fue realmente así?

 

La probabilidad de los sucesos poco probables

Silver hace un análisis de hasta qué punto estos ataques eran impredecibles desde dos puntos de vista: (1) ¿era esperable un ataque de esta magnitud?, y (2) ¿había indicios que, de haberse detectado, podrían haber evitado este ataque concreto?

 

ataque11septiembre2001

Respecto a la primera cuestión, Silver compara la probabilidad de un ataque terrorista con la de un terremoto. Ambos fenómenos tienen una característica común: la frecuencia con que ocurren es relativamente alta para los fenómenos de magnitud pequeña y baja para los de magnitud grande. En el mundo se registran centenares de pequeños terremotos cada año, terremotos que pasan prácticamente inadvertidos. Por el contrario, los grandes terremotos de escala 7 u 8, son fenómenos raros que ocurren muy ocasionalmente pero que tienen una enorme capacidad de destrucción.

El terrorismo sigue una pauta similar. Anualmente se registran gran cantidad de actos terroristas, la mayoría de los cuales no ocasiona víctimas mortales. A medida que estudiamos atentados con mayor número de víctimas, su frecuencia disminuye.

Un atentado como el del 11-S no se había observado antes en la historia. Pero, ¿significa eso que era totalmente impensable que sucediese? Responder a esta pregunta es equivalente a preguntarse si es posible que suceda un terremoto de 8 puntos en la escala Richter. Y la respuesta, obviamente, es afirmativa. Ambos son sucesos infrecuentes, pero no improbables. Son cosas diferentes. Los grandes terremotos pueden suceder cada 20, 30 o 60 años. Lo mismo sucede con un gran ataque terrorista.

Ambos fenómenos siguen un comportamiento conocido como ley potencial (power law). La frecuencia con que ocurren los fenomenos decrece potencialmente con la magnitud de los mismos. Si trazamos esta relación magnitud-frecuencia en el caso del terrorismo con datos anteriores al 11-S, el resultado nos indicaría que la frecuencia esperada de un atentado de esa magnitud era de 1 suceso cada 80 años. Es poco frecuente, pero está lejos de ser imposible.

 

No hay peor ciego que el que no quiere ver

Está bien, sabemos que un atentado como el del 11-S no era impensable. Pero detectarlo e impedirlo es una cosa diferente. A fin de cuentas, no somos capaces de anticipar la aparición de un gran terremoto. ¿Podría haber evitado la inteligencia norteamericana el 11-s?

La respuesta nos la da nuevamente el famoso “unknown unknowns”. Antes del 11-S se habían producido atentados de gran magnitud, había precedentes de ataques con avionetas e incluso se detuvo poco antes a un sospechoso (Zacarias Moussaoui) por haber solicitado de forma atípica un curso de aviación para manejar un Boeing 747 cuando apenas sabía volar. Hubo numerosos indicios, pero nadie mirando en la dirección correcta. Paradójicamente, al contrario de lo que sucedió en Pearl Harbor, Estados Unidos contemplaba la posibilidad de un ataque exterior; en ningún caso contempló el escenario de ser atacado con sus propios aviones provenientes de vuelos domésticos.

 

Enseñanzas

La historia de los fenómenos infrecuentes nos recuerda la importancia de mantener la mente abierta, de contemplar todas las posibilidades. Es una cualidad imprescindible para un buen investigador. Trabajar con escenarios rupturistas – o catastróficos – quizá podría haber hecho correr mejor suerte a empresas como Kodak. ¿O acaso no era posible predecir el fin del carrete fotográfico?

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Predicciones Trackback | No hay comentarios

Predecir lo impredecible

Escrito por Carlos Ochoa el 24 de octubre 2014

Leer el artículo completo

El ser humano ha hecho grandes progresos en su capacidad de predicción. Escribo dos simples letras en Google, “eb”, y recibo sugerencias sobre el brote del “ébola” en el mundo, justo lo que quería encontrar. Estos progresos nos hacen sobrestimar nuestra capacidad predictiva. Sin embargo, Nate Silver en su libro sobre predicciones, documenta más fracasos que éxitos predictivos. Y la mayor parte de los fracasos vienen por un exceso de confianza en nuestra capacidad predictiva.

 

bola

 

¿Todo es predecible?

Responder a esta pregunta nos lleva a antiguos debates. San Agustín y los calvinistas creían en la predestinación, lo que nos llevaría a pensar que es posible predecir cualquier cosa aunque no alterar el curso de los acontecimientos. Por el contrario, los jesuitas y Santo Tomás de Aquino creían en la libre voluntad del hombre y por lo tanto en la impredecibilidad.

Con la llegada de la ilustración y la revolución industrial, el debate pasó a moverse en otros términos. Las leyes de la mecánica descubiertas por Newton hablaban de un universo ordenado y perfectamente predecible, gobernado por unas leyes relativamente simples. El ser humano empezó a creer en algo llamado determinismo, sutilmente diferente a la predestinación.

La idea del determinismo queda ilustrada en un principio elaborado por Pierre-Simon Laplace en 1814, conocido popularmente como el demonio de Laplace. Laplace venía a decir que una inteligencia superior que pudiese conocer la posición actual de todas las partículas del universo y que conociese todas las leyes que rigen el mismo, podría predecir perfectamente el futuro. Para esta inteligencia, el futuro sería algo tan evidente como el pasado. Por lo tanto, si el hombre no puede predecir su futuro es por falta de esa inteligencia superior.

 

laplace

La idea del demonio del Laplace ha sido objeto de controversia. Algunos pensadores concluyeron que, en la práctica, el universo sólo se puede conocer hasta cierto punto, lo que nos obliga a hablar de probabilidades. Más recientemente, el descubrimiento de la mecánica cuántica nos ha llevado a pensar que el universo realmente funciona de forma probabilista. Cuando miramos una partícula de cerca, se comporta como una onda y no podemos saber su posición y su movimiento al mismo tiempo. Parece ser que ni siquiera una inteligencia superior puede predecir el curso de las cosas.

 

¡Pero si apenas predecimos el tiempo!

Bien, aceptemos que no podemos predecir todo, que el universo es intrínsecamente incierto por la forma en que se comportan las partículas. Afortunadamente, la meteorología funciona a nivel de moléculas, lo que nos evita estos problemas cuánticos. Si pudiésemos conocer las condiciones de la atmósfera con detalle (presión, temperatura… en cada posición del espacio) y las leyes que rigen los gases, podríamos predecir qué tiempo hará en el futuro.

Durante varias décadas numerosos científicos han tratado de hacer predicciones meteorológicas basadas en esta idea. Se trata de crear un modelo de la atmósfera, introducir la información de la situación actual de la misma  y simular cómo va a evolucionar con el paso del tiempo. Esta forma de predecir contrasta con métodos basados puramente en la estadística, principalmente dos:

(1) Persistencia: predecir el tiempo que hará mañana basándonos en el tiempo de hoy.

(2) Climatología: predecir el tiempo basándonos en qué época del año estamos. Si es invierno, la probabilidad de frío es más alta.

Sorprendentemente, sólo en las últimas décadas las previsiones meteorológicas han mejorado las predicciones basadas en persistencia o climatología. Pese a que cada vez disponemos de datos más precisos y mayor capacidad de cálculo para simular la atmósfera, la precisión de las previsiones ha mejorado muy lentamente. En 1970, una previsión de temperatura tenía un error promedio de 6º, en la actualidad de 3,5º. Un enorme esfuerzo para tan poco resultado. ¿Por qué?

 

El efecto mariposa

La respuesta la descubrió Edward Lorentz en 1972. Trabajando en un modelo meteorológico, Lorentz se percató de que una pequeña imprecisión en un dato sobre las condiciones iniciales de la atmósfera podía generar una predicción climática completamente diferente a varios días vista. Una décima de grado de temperatura puede transformar completamente la predicción. Este efecto, explicado a menudo con la frase “un aleteo de las alas de una mariposa en Brasil puede producir un tornado en Texas”, se conoce como teoría del caos o efecto mariposa. Se produce en sistemas no lineales y dinámicos, en los que el resultado de una predicción se usa para generar otra, y otra, y otra….

Los modelos meteorológicos tienen ambas propiedades. Por eso son tan malos haciendo predicciones a largo plazo. Las pequeñas imperfecciones de los datos se transforman en predicciones grotescas cuando las llevamos demasiado lejos en el tiempo. Nat Silver nos facilita un ejemplo muy interesante de este efecto. Silver comparó la precisión de una previsión sobre temperatura hecha con 3 sistemas: (1) un modelo meteorológico sofisticado, (2) una predicción basada en persistencia y (3) otra basada en la climatología. Los resultados muestran que las predicciones de los modelos meteorológicos son mejores que las basadas en persistencia o climatología, pero sólo a 6 días vista. Cuando tratamos de predecir más allá, acertaremos más basándonos en la climatología.

El resultado es sorprendente. No estamos diciendo que la predicción será igual, decimos que será peor. La explicación es que en un modelo dinámico, a medida que me alejo de la situación de inicio, el ruido de los datos se va amplificando cada vez más. El efecto mariposa es devastador.

 

Y pese a todo, un éxito

Pese a todas estas consideraciones, la meteorología es una de las pocas disciplinas que han tenido éxito predictivo. El huracán Katrina de 2005 fue predicho con antelación, permitiendo acotar la zona geográfica en la que impactaría con una precisión de 160 km. Tan sólo 20 años antes, la precisión habría sido de 560 km.

Es posible evacuar una región de 160km en 72 horas y salvar muchas vidas. Si el Katrina mató a 1.800 personas no fue por una mala predicción, fue por malas decisiones en la gestión de la crisis y por la resistencia de la gente a moverse de sus casas. Curiosamente, uno de los factores que jugó en contra fue el huracán que golpeó la misma región en 1965, el Betsy. Estudios realizados indican que haber sobrevivido a un huracán te hace más reacio a abandonar tu casa en el siguiente y reduce tu probabilidad de sobrevivir.

 

katrina

Estamos tan acostumbrado a que los hombres del tiempo acierten, que nos fijamos más en sus errores que en sus aciertos. Pero es indudable que realizan un gran trabajo y han desarrollado un nivel de profesionalidad muy elevado. Sus predicciones gozan de un nivel de honestidad envidiable. Acompañan sus previsiones con una indicación de qué fiabilidad tienen (“70% de probabilidad de lluvia”), algo que no observamos en predicciones del ámbito económico, por ejemplo.

En próximos posts veremos otros terrenos en los que el hombre sigue sin encontrar las claves de una buena predicción.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Artículos | Predicciones | Sin categoría Trackback | No hay comentarios

Zorros y erizos, buenos y malos predictores

Escrito por Carlos Ochoa el 13 de octubre 2014

Leer el artículo completo

Uno de los capítulos más interesantes de La señal y el ruido, de Nate Silver, está dedicado a la cuestión de si algunas personas predicen mejor que otras.

zorroyerizo

Silver emplea las predicciones políticas como terreno de juego de su análisis. En concreto, se fija en un programa televisivo de Estados Unidos, The McLaughlin Group. Este programa reúne semanalmente un panel de expertos políticos que debaten sobre diferentes cuestiones y que finalizan su intervención con varias predicciones sobre la actualidad política. Las predicciones deben formularse en pocos segundos. Son tanto sobre temas sugeridos por el presentador como propuestos por el propio experto.

Durante el programa los expertos suelen manifestar predicciones con tanta rotundidad como poca base documental y estadística. Algunos de ellos no dudan en predecir una victoria de un candidato a la presidencia que cuenta con todas las encuestas en contra, dando a entender que manejan algún tipo de información privilegiada al respecto.

Así que Silver decidió analizar las 1.000 últimas predicciones del panel de expertos, para medir de forma objetiva su capacidad de acertar. El resultado fue el siguiente:

Los datos mostraban que lo expertos apenas acertaban más que una moneda lanzada al aire. ¿Este nivel de aciertos es algo habitual entre supuestos expertos? Philip Tetlock, tras formularse la misma pregunta, decidió estudiar predicciones de expertos, tanto del mundo académico como gubernamental. Sus resultados mostraron que no es así: algunos expertos aciertan, de forma consistente, más que otros. Es decir, existen buenos y malos predictores.

El zorro y el erizo

Tetlock se dedicó a estudiar qué rasgos de personalidad caracterizaban a los buenos predictores frente a los malos. Dio con dos perfiles muy diferenciados: los zorros y los erizos.

Los erizos son aquellas personas que creen en ideas rectoras que gobiernan el mundo, convencidos de que todo puede ser explicado y comprendido. Son personas de fuertes convicciones, que buscan una victoria clara al enfrentarse a un problema. Karl Marx o Sigmund Freu encajarían en este perfil.

Los zorros, por el contrario, son personas que aceptan las imperfecciones del mundo, que creen en una multitud de pequeñas ideas y que piensan que la mejor forma de afrontar un problema es emplear diversas aproximaciones. Son más tolerantes a la incertidumbre, a la complejidad y a la discrepancia de opiniones.

Silver nos facilita una tabla de actitudes típicas de zorros y erizos. ¿Sabrías decir en qué lado estás tú?

 

Cómo piensan los zorros Cómo piensan los erizos
De forma multicisciplinaria: Incorporan ideas de diferentes disciplinas, sin importarle su origen ideológico. Especializada: Habitualmente dedican la mayor parte de sus carreras a uno o dos grandes problemas. Pueden ver con escepticismo las opiniones disruptivas.
Adaptables: Encuentran una nueva aproximación – o persiguen múltiples aproximaciones a la vez – si no están seguros de que la aproximación original funciona. Leales: Se mantienen fieles a la misma aproximación integral al problema. La nueva información que pueda estar disponible se usa para refinar el modelo original.
Autocríticos: A menudo reconocen errores en sus predicciones y asumen su culpa en esos errores. Obstinados: Achacan los errores a la mala suerte o a circunstancias inevitables. Un buen modelo tuvo un mal día.
Tolerantes a la complejidad: Ven el universo como algo muy complejo, hasta el punto de aceptar que muchos problemas fundamentales pueden ser irresolubles o inherentemente impredecibles. Buscadores de un orden: Esperan que el mundo funcione de acuerdo a unas pocas y relativamente simples leyes fundamentales, obtenidas una vez se haya logrado identificar la señal dentro del ruido.
Cautos: Expresan sus predicciones de forma probabilística, matizando sus opiniones. Confiados: Rara vez expresan predicciones con matices y son reacios a modificarlas.
Empíricos: Confían más en la observación que en la teoría. Ideológicos: Esperan que las soluciones a muchos problemas diarios sean manifestaciones de una gran teoría.
Los zorros son mejores predictores Los erizos son peores predictores

 

Tetlock se percató de que los zorros son mucho mejores predictores que los erizos. Es una cuestión de actitud. Pensemos en la caída de la URSS en 1991. Muy pocos analistas políticos predijeron dicha caída cuando, mirando retrospectivamente, gran cantidad de indicios habría permitido predecirla. Muchos de esos analistas eran erizos y su aproximación al problema no fue la correcta para hacer una buena predicción. Algunos analistas, muy críticos con el comunismo, veían la URSS como un peligro mayor de lo que realmente era a finales de los 80. Su aversión al régimen de Moscú les impidió interpretar correctamente las señales, de todo tipo, que emitía un estado en destrucción. Otros, más afines a la ideología comunista, cometieron el error inverso, infravalorando la importancia de esas señales precisamente porque no querían verlas. Sólo unos pocos analistas fueron capaces de detectar y dimensionar correctamente las señales.

Actitud frente a la información

Como se deduce del ejemplo anterior, la principal carencia de un mal predictor es una mala actitud frente a la información. Supuestamente, cuanta más información tenemos, mejor deberían ser nuestras predicciones. Sin embargo, esa regla no se cumple para el erizo. Frente a información abundante, el erizo se refugia en su idea rectora y filtra convenientemente los datos que recibe, quedándose con aquellos que refuerzan su predisposición inicial.

Esta actitud explica porqué Silver y Tetlock encontraron grandes fallos en las predicciones políticas. En política, es habitual encontrar predictores sesgados, vinculados a una fuerte ideología. Eso condiciona irremediablemente las predicciones. Si a eso sumamos un esquema de incentivos perverso – una predicción más temeraria es televisivamente más atractiva – nos encontramos con un ámbito especialmente castigado por malas predicciones.

Algo parecido sucede con el economía. Pero eso lo veremos en otro post.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: mercados predictivos | Predicciones | Sin categoría Trackback | No hay comentarios

La señal y el ruido

Escrito por Carlos Ochoa el 7 de octubre 2014

Leer el artículo completo

Ha caído en mis manos un ejemplar del célebre libro La señal y el ruido, de Nate Silver. He ido a parar a esta lectura después de una interesante conversación con Àngels Pont, directora del instituto de investigación GESOP, sobre mercados predictivos.

La señal y el ruido, de Nate Silver.

Los mercados predictivos constituyen una técnica de investigación innovadora que permite hacer predicciones (sobre cualquier cosa, ya sean los resultados de unas elecciones o de un evento deportivo) dejando que un grupo de individuos puedan comprar y vender acciones de los diferentes resultados posibles. El valor de este mercado bursátil de opiniones refleja el resultado más probable.

Hablaremos en otro post sobre mercados predictivos, pero la idea tremendamente seductora que mueve esta técnica y que poco tiene que ver con la investigación de mercados tradicional, es preguntar a la gente su opinión sobre la posibilidad de que se produzca un evento en lugar de su posición personal respecto a dicho evento.

Veamos un ejemplo: predecir el resultado de unas elecciones. En un estudio clásico seleccionamos una muestra altamente representativa de electores y les preguntamos a qué candidato piensan votar. Si la muestra se ha creado correctamente, podremos inferir el resultado más probable de las elecciones dentro de cierto intervalo de error. Una muestra más grande nos permite reducir el intervalo de error.

Pero, ¿qué sucedería si preguntamos a una muestra de personas quién creen que va a ganar las elecciones en lugar de qué candidato piensan votar? Diversas experiencias muestran la extraordinaria capacidad predictiva de las personas, algo a lo que Aristóteles llamaba la sabiduría de las masas en su Política.

Aristóteles

Como técnica, los estudios predictivos no tienen nada que ver con un muestreo clásico. Nuestro universo ya no lo componen personas que votan, sino la información que poseen las personas sobre qué votarán los demás. Cada persona contiene mucha más información que su propia intención de voto: sabe lo que votaría él pero también cómo votarán las personas de su entorno, ha visto resultados de sondeos, puede estar informada sobre el estado de la opinión pública… Es por ello que una muestra realmente pequeña de opiniones personales puede darnos una buena predicción.

Pero, ¿cómo debe seleccionarse una muestra de predictores? ¿existen personas con mayor capacidad de predicción que otras? ¿en qué medida influye en la capacidad de predicción el conocimiento de la muestra sobre el tema tratado? Alexander Wheatley y Hubertus Hofkirchner presentaron en el ESOMAR CONGRESS de Niza los resultados de algunos estudios experimentales al respecto. Sometieron a una muestra de panelistas a diferentes preguntas de naturaleza predictiva: qué precio crees que tendrá el nuevo iPAD mini 2 el día de su lanzamiento, resultados deportivos, cómo crees que se comportarán otras personas en una situación dada… Algunos de los aprendizajes de Wheatley y Hofkirchner fueron los siguientes:

Parte de las razones que explican la capacidad de predicción de un individuo vienen explicadas en el libro cuyo título preside este post. Las personas hacemos predicciones usando dos componentes: la señal, que es información correcta, y el ruido, información irrelevante que nos aleja de la señal. Si agregamos predicciones de personas independientes y no sesgadas, podemos llegar a cancelar el ruido y acercarnos a la señal que buscamos.

En su libro, Nate Silver profundiza en cómo hacemos predicciones y qué características tiene un buen predictor. A través de numerosos ejemplos, que abarcan desde predicciones políticas, deportivas, económicas e incluso meterológicas, Silver identifica qué hace buena una predicción y qué caracteriza a los buenos predictores. Y a los malos.

En próximos posts iremos desgranando algunas de las claves facilitadas en este interesante libro. En cualquier caso, os animo a leerlo, porque en los detalles y en el estilo narrativo del autor está gran parte de la información útil. Es decir, la señal.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: esomar | Estudios | Herramientas | Innovación | mercados predictivos | Predicciones | Sin categoría Trackback | Comentarios (3)

Los paneles online escoceses ya lo sabían

Escrito por Ruth Alonso el 19 de septiembre 2014

Leer el artículo completo

what-happens-if-scotland-votes-yes-136393139796503901-140908101013

 

Después de tantas idas y venidas, tantas predicciones, especulaciones, interpretaciones… ayer llegó la hora de la verdad. Los escoceses tenían que votar si querían que su país siguiera formando parte del Reino Unido o no. Con más de 10 puntos de diferencia entre las dos opciones de respuesta, Escocia ha dejado claro que NO quiere la independencia (Sí 44,70% – No 55,30%). Y este resultado, adquiere aún más valor, cuando leemos que la participación fue del 84,59%, un porcentaje de participación inusualmente elevado.

 

Pero, ¿qué decían las predicciones de los paneles online?

En 2011 se empezaron a realizar los primeros sondeos para averiguar qué preferían los ciudadanos escoceses, sondeos que no han dejado de realizarse hasta pocos días antes del referéndum de ayer (podéis consultar el listado de los estudios realizados en Wikipedia).

La mayoría de estos sondeos se han realizado mediante paneles online de empresas especializadas en investigación de mercados. Los resultados obtenidos, en su mayoría, se han acercado mucho al dato final, y es que la penetración de Internet en Escocia es superior al 80%.

A este factor se suma la existencia de unos paneles de acceso maduros y representativos de la sociedad. Y, por último, debemos tener en cuenta que el online elimina el sesgo del entrevistador. Todo ello hace que la metodología online sea ya un canal perfectamente válido para conocer las preferencias reales de los electores.

 

Fuentes consultadas:

http://www.lavanguardia.com/internacional/referendum-escocia/20140919/54415193418/escocia-indepencia.html

http://www.scotland.gov.uk/About/Performance/scotPerforms/indicator/internet

http://en.wikipedia.org/wiki/Opinion_polling_for_the_Scottish_independence_referendum,_2014

 

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Artículos | calidad | Encuestas Online | estadisticas | Estudios | internet | Investigacion de Mercados | Noticias | Paneles Online | Predicciones | sesgo Trackback | No hay comentarios

Preguntar es un arte (o más bien una ciencia)

Escrito por Ruth Alonso el 4 de julio 2014

Leer el artículo completo

De todos es sabido que preguntar es de sabios, pero más sabio es aquel que sabe cómo preguntar, aquel que tiene “arte para preguntar”. Aunque, como veréis en el artículo [ENG] que os presentamos hoy, a veces preguntar es más una ciencia que un arte…

Carlos Ochoa, Director de Marketing e I+D de Netquest, y Melanie Revilla, Postdoctorada de la Universidad Pompeu Fabra – RECSM, han trabajado conjuntament bajo el paraguas del grupo de investigación R2Online, para llevar a cabo un estudio que averiguará hasta qué punto es importante el diseño de un cuestionario para obtener datos de calidad.

La manera en que preguntamos por un dato o una opinión a una persona, determina los resultados que obtenemos. Esta es la razón por la cual un cuestionario debe ser creado por un investigador experto, poniendo atención a los efectos que el diseño de las preguntas tendrá sobre los resultados del estudio.

Los resultados del estudio, presentados en este artículo bajo el título “Different scales, different results” (Escalas diferentes, resultados distintos), se han obtenido a través de un experimento realizado a los paneles de Netquest en España, México y Colombia. El proyecto consistió en preguntar sobre los ingresos y el tamaño del hogar de tres maneras distintas…

¡Lee el artículo entero aquí! [ENG]

 survey magazine

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: estadisticas | Estudios | Investigacion de Mercados | Predicciones | Preguntas y respuestas | R2Online Trackback | Comentarios (2)

6 factores clave de la investigación de mercados en 2014

Escrito por Ruth Alonso el 19 de marzo 2014

Leer el artículo completo

Hoy os presentamos un resumen del GRIT Report, para aquellos que no lo conozcan, se trata de un informe trimestral que realiza el portal GreenBook y que reúne las tendencias de la industria de la investigación de mercados.

GRIT_2014

El GRIT extrae datos encuestando a profesionales del sector que, al fin y al cabo, son los que conocen de primera mano las novedades, cambios y creencias de la investigación de mercados.

En este último informe, que pertenece al último trimestre de 2013, participaron 2.229 encuestados, 1.786 de los cuáles fueron proveedores y el 443 fueron clientes, de todo el mundo. A continuación, vamos a exponer un resumen realizado por Vision Critical que reúne en 6 puntos clave los ejes principales del estudio:

 

1. Técnicas y tecnología no son los factores principales por los cuáles los clientes escogen a sus proveedores

Mientras que hay clientes que sienten que cosas como el último paquete estadístico, el último método de recogida de datos o las tecnologías sofisticadas son lo más importante; los temas más importantes para la mayoría de ellos son realmente las “habilidades blandas” tales como escuchar, tener personal capacitado y conocimiento de las necesidades del cliente.

Los proveedores están más interesados en herramientas y técnicas, porque gracias a ellas pueden entregar sus resultados. Los clientes, sin embargo, necesitan centrarse en los resultados. Para las agencias asuntos como “proyectos finalizados a tiempo” y “rápidas respuestas a peticiones” figuran más arriba de la lista de prioridades de los clientes, cuyas prioridades, por otro lado, son “entendimiento de los nuevos canales comunicativos de los clientes” o “tener métodos únicos”.

 

2. Los eventos y webinars son clave para mantener a las personas informadas

La lista de clientes y proveedores asistentes a seminarios, conferencias y ferias es un método clave para mantenerse al día, así como los webinars y eventos virtuales. Si no acudes a este tipo de eventos, es probable que te estés quedando atrás, por mucho que leas con asiduidad artículos escritos por profesionales del sector, blogs y prensa especializada.

 

3. El motor de cambio principal del cliente es el presupuesto

Los proveedores parecen estar motivados por una mezcla de necesidades de presupuesto y opciones tecnológicas, pero los clientes tienen claro cuál es su problema número uno: las limitaciones presupuestarias.

 

4. Lo viejo es demasiado caro, lo nuevo es desafiante y lo atractivo no está probado

Los métodos antiguos, tales como el cara a cara, el CATI y los focus group se perciben como demasiado caros y, en general, demasiado lentos. Nuevos métodos como el análisis de texto y las encuestas vía móvil son vistas como tecnológicamente desafiantes. Las nuevas y atractivas herramientas como la gamification, el crowdsourcing e incluso la monitorización del social media son vistas como técnicas cuya fiabilidad todavía no se ha validado.

 

5. Las comunidades online y la encuestación móvil son las áreas de mayor crecimiento

En términos de lo que la gente está usando y de lo que está planeando, las comunidades online sigue siendo el método de “nueva investigación” más destacado, seguido por las encuestas vía móvil. Al otro lado, otras técnicas como el análisis facial, el neuromarketing y las biométricas se mantienen en un papel más secundario.

 

6. Los mensajes clave

> Las nuevas técnicas que están funcionando son las escalables, tales como las comunidades online y la tecnología móvil.

> La manera de hacer investigación es más importante para proveedores que para clientes, mientras los resultados importan más a los clientes.

> Las limitaciones de presupuesto es en la mayoría de casos uno de los factores más influyentes para el cliente en el momento de dar forma al proyecto.

> El punto que diferencia a los proveedores, a ojos de los clientes, es su habilidad por escuchar, pensar y entregar respuestas centradas en el negocio.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Artículos | Comunidades | Encuestas Online | estadisticas | Estudios | Innovación | internet | Investigacion de Mercados | moviles | Predicciones | Preguntas y respuestas Trackback | Comentarios (3)

¿Puede terminar el smartphone con la brecha digital?

Escrito por Oriol Llauradó el 4 de febrero 2014

Leer el artículo completo

Nos gustaría creer que sí. Pero más allá del optimismo, os queremos compartir las razones por las que pensamos que puede ser así.

En los últimos años hemos vivido la enorme popularización de Internet, basada en la difusión del PC y la banda ancha. Sin embargo, han sido muchas las personas excluidas del acceso a la red, dando lugar al fenómeno conocido como brecha digital.

Para las empresas de campo de Iberoamérica, acceder y comunicarnos con las personas de un nivel socio-económico más bajo ha representado un reto colosal. En ocasiones se trata de personas que viven en barrios alejados de los centros urbanos.  O en entornos que representan un riesgo para el equipo de investigación. O cuyo nivel de alfabetización les impide rellenar una encuesta con un formato excesivamente sofisticado. Y, en el caso de la investigación online, suelen ser familias sin un ordenador personal ni acceso permanente a la red.

Screen-Shot-2013-07-24-at-10.11.13-PM-e1389803378750

No obstante, hoy en día, estas personas casi con toda seguridad tienen un teléfono móvil. Y lo utilizan con destreza. Para ellas, el teléfono no es un bien de lujo, sino una herramienta de comunicación con sus vecinos, un medio de pago, un instrumento para gestionar su salud, o una eficaz herramienta educativa. El teléfono móvil (en su mayoría smartphone) es el principal medio de conexión con su entorno.

Con tan solo 5 años de vida, los smartphones están teniendo una tasa de adopción espectacular. Se estima que en el mundo ya hay más smartphones que PCs: unos 1.400 millones de unidades a finales de 2013. Y la previsión es que la velocidad de conexión seguirá subiendo y los precios de los teléfonos bajando.

La industria de investigación de mercados ha estado atenta a este fenómeno. La recolección de datos a través del smartphone ya nos está permitiendo realizar diarios personales, geolocalizar a los entrevistados, video-entrevistarles , recibir fotografías de sus productos favoritos… logrando que la experiencia de participar  en un estudio sea mucho más atractiva que la basada en la web.

En el caso de las clases bajas, la tecnología móvil conlleva 2 ventajas añadidas:

En definitiva, pensamos que el móvil es una herramienta espléndida que nos debe permitir llegar a más personas y, por lo tanto,  mejorar nuestra capacidad científica de realizar encuestas representativas.

No solo esto, sino que identificar y entender las necesidades de estas personas puede ser una poderosa fuente de innovación local, logrando construir entre todos una sociedad más inclusiva.

Más información sobre este tema:

The mobile advantage in illiterate or limited literacy populations >>

http://www.greenbookblog.org/2014/01/20/the-mobile-advantage-in-illiterate-or-limited-literacy-populations/

The Fortune at the Bottom of the Pyramid >>

http://www.stuartlhart.com/sites/stuartlhart.com/files/Prahalad_Hart_2001_SB.pdf

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Estudios | Geomarketing | Herramientas | internet | Investigacion de Mercados | LATAM | moviles | netquest | Predicciones | Representatividad Trackback | Comentarios (2)

AIMRI Conference in Barcelona

Escrito por Ruth Alonso el 12 de marzo 2013

Leer el artículo completo

AIMRI Conference, Barcelona: “Getting ahead in the battle for global growth”

Friday 8th March 2013

aimriStarting the day with a distended coffee at 9:30 in the hotel NHCalderon situated in the heart of Barcelona, close to Catalunya’s Square. The delegates arriving and everything was ready to an interesting AIMRI meeting called “Getting ahead in the battle for global growth”.

Conference Chairman Michael Stanat, coming from the USA, welcomed the 20 delegates to the conference and introduced the first lecturer Marta Llobet. Llobet has a wide experience working for different market research companies such as TNS UK and Millward Brown, and is now working for Estudio Silvia Roca (ESR).

Her presentation was about the importance of “Taking the global view” and she focused it on the region of Latin America. Moreover, she added some interesting facts about countries in the region such as: Peru is one of the leading countries in the fishing industry, Colombia supplies 90% of the world production of emeralds, the first World Cup was win and hosted by Uruguay… And so, she said that we do not have to assume similarities in between those 19 countries that compose South America. Marta presented Mexico and Brazil as the two most relevant Latin America countries in the Market Research industry, detailing that they are in the 12th and 8th places of international research markets, respectively.

In addition, she explained some peculiarities about Mexico and Brazil. On one hand she said, Mexican people are very concerned about security and that’s why up to 70% of respondents fail when answering about personal information (post address or telephone number. Another relevant fact is about the cell phone penetration in the country, which is really high however it stills expensive. Apparently, only 17% of the total Mexican population are able to log on.

On the other hand, Brazilian people are optimistic, love to feel important and think high incentives are needed. With them only shorts surveys should be conducted (no more than 20 minutes long) and a researcher can easily get useful information and access to many different sectors of population.

aimri_conference

Next presentation came from Catherine Delcin’s hand, who is Managing Director of Delcin Consulting Group headquartered in San Francisco. Catherine, explained the importance of Life Sciences sector which includes Pharma, Biotech and Med Device and added that last year Life Science firms spent 30% of their annual income on legal settlements. The main industry trend in this area is the rising demands for new drugs in Asia Pacific and Latin America, where there are emerging clusters. The research opportunities in this business area are: the geographical expansion, the topical growth such as oncology and HIV, the industry clusters (emerging VS mature markets) and the workforce development.

At last, but not least, Catherine extoled that we cannot forget that “the key industry player is the Navigant”. And she added a quote from the writer Stephen Covey which says “Management is efficiency in climbing the ladder of success: leadership determines whether the ladder is leaning against the right wall”.

The following lecturer was Michael Stanat, the Conference Chairman, who is Global Research Executive at SIS International Research (Asia Pacific) and an expert in China’s market as we can deduce from his authorship of the book called “China’s Generation Y: Understanding the Future Leaders of the World’s Next Superpower”. Stanat started his speech, called “Global transformation: how research can meet the needs of a rising Asia”, with China’s most important facts and trends: the world’s 2nd largest economy, the emergence of the middle class, the reduced growth, the new emphasis on consumption, the growth of 18% in the luxury market… He emphasized the opportunity in China’s e-commerce as it is increasing thanks to the Internet penetration; it is the world’stanats biggest smartphone country, the social media is in right now and there exists a consumer loyalty.

However, there are still difficult challenges to go through in this Asia country. The economy is improving, but its evolution is slow. There are cultural and traditional norms which are real barriers for market researchers. And there exist many HR hurdles such as: intellectual property, ageing society, domestic competition…

In conclusion, China’s economy is in transition, with increased development. In the end, Michael cited a Chinese proverb “Be not afraid of growing slowly, be afraid only of standing still”.

Lecturer Joaquim Bretcha, Sales Director Europe at Netquest, came after Stanat. Bretcha started working in the mass consumer sector (Carrefour, Auchan and Aecoc) and later on he developed his professional career in market research companies such as TNS and Synovate. His presentation “Keys for a real takeoff for online research in LATAM”, was focused on the Latin America region and he introduced it saying that Brazil is this region, in terms of market research, equivalent to Italy in Europe, as the Portuguese speaking country has more than the 40% of the total amount of market research industry in the Latin countries. Mexico is equivalent to Sweeden, covering the 20% of the industry and Colombia to Turkey, which is in the 3rd position in the ranking followed by Argentina.  Despite these positive facts, there is a huge challenge in this region which is: online market research. In order, Argentina (66,4%), Colombia (59,5%), Chile (58,6%) and Brazil (45,6%) are the top four countries in terms of Internet penetration in the last year. Internet is getting slowly to the region but online market research is not advancing simultaneously.

All of this leads to a kind of “the chicke or the egg causality dilemma”: no panel means no local demand, no local demand means no panel. Foreign online-experienced researchers are currently demanding online sample in Latin America but, without higher local demand, Latin American panels cannot deliver hard-to-reach targets. Bretcha then revealed the four things that could break the current dynamic: tackling the “social class” problem recruiting low social class population, mixing bretchamethodologies, invest in growing the panel to promote demand later and taking advantage in the definitive takeoff of mobile Internet (solving at the same time the lower class access to internet).

His ending was to get to these different countries through local knowledge, because Latin America is a region but not as “uniform” as we think so a deep knowledge about the region is needed.

After Netquest exposition lecturers gathered in the hotel’s dining room to have lunch and exchange opinions about the industry.

At three o’clock they returned to the saloon to listen to Sola Akinnagbe, Group Managing Director at Market Research Consultancy Ltd. Lagos. The Nigeria’s expert started his speech joking about Africa and saying it was not a country. He added that the 7,8% of the world’s Internet users are African people, where the top Internet countries are: Nigeria (45% ), Egypt (21%) and Morocco (15,6%). Afterwards, Sola make his considerations about the Nigeria consumer: the 86% of Nigeria population (120,000,000 people) are in low social class, 60-65% are rural population and nearly 51% do not have daily access to TV.

All of these facts shape the habits and trends in the country, where shopping behavior is more concerned about volume than quality, and the consumers will search for acceptable quality at a reasonable price taking advice from the retailer. Nigerian people like to chat and gossip with neighbors, love to enjoy social gatherings and follow the recommendations of opinion leaders. They are very religious too and respect opinions of the religious leaders.

The major challenges in the African country are: cultural differences (religion, ethnicities, traditions, gender equalities and marriage…) diversity of languages (4 languages in South Aneruca, 7 in Zambia, 8 in Kenya…), infrastructural ways of communication, environmental hitches… The current situation though is that face-to-face (CATI) surveys have already started to take place, printing suvryes it too expensive and there are lots of difficulties in making surveys on phone due to a lack of lines.

Finishing with the last presentation called “Respondents are people too!” by the hand of Nik Harta Director at Opinion Matters coming from the UK. Nik began his presentation talking about the importance of the technology as it has allowed human to cross borders. Moreover, he said that we are now facing another culture change, as the technology brings to: saving time and money, more choices, broadcast our opinions… In the EU there is a 57% of smartphone penetration, which is increasing speedily.

As respondents we used to go to the market researchers, but now they come to us. Nowadays, respondents (consumers) have the power and that is why we ask for instant access, positive experience, customer service and instant engagement. In fact, we are creatures of habits as we always re-visit the same 5 or 6 websites and we are so “predictable” even when evolving.

Harta, added that as the phone companies puzzle over their future business model, pollsters are starting to wonder about their own ability to continue in a world without landlines. He also said it was so relevant to look for different ways to engage the audience through hobbies, sports, news, socializing and creating a tone and style to match your target audience. Nic Harta concluded his speech with a last consideration “Don’t be afraid to innovate and try new things, ensure it works and hope the audience has enjoyed the experience, leave them a reason to return and say thank you”.

After this last session, lecturers could have a break followed by the open council meeting presented by John Mackay which headed to an open discussion. To end with, all the lecturers were invited to the gala dinner in a local restaurant in Barcelona enjoying the charming weather.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Artículos | Barcelona | Comunidades | Empresas | In English | Investigacion de Mercados | LATAM | mexico | netquest | Predicciones | Recursos Humanos | redes sociales Trackback | Comentarios (1)

Google Consumer Surveys, un nuevo intento de Google de cambiar las reglas

Escrito por Carlos Ochoa el 5 de abril 2012

Leer el artículo completo

Pasados unos días desde el lanzamiento de Google Consumer Surveys, el primer intento de Google de entrar en el sector de la investigación de mercados, podemos obtener algunas conclusiones sobre qué están ofreciendo y qué impacto puede tener en el sector.

Como era de esperar, Google no se ha limitado a entrar en el sector como un player más, a través de un panel online o un sistema de river sampling al uso. Google tiene un largo historial de lanzamientos de servicios y nuevas propuestas de valor que han acabado en auténticas revoluciones. Uno de los casos más paradigmáticos es el de sus servicios de publicidad online (adwords, adsense), con los cuáles, no sólo logró dominar la inversión publicitaria en Internet, sino que acercó a una multitud de pequeños anunciantes a la red. ¿Está intentando Google algo parecido con la investigación?

En mi opinión, la respuesta es SÍ. Una vez leída la información que ofrece Google de su nuevo servicio – incluido un interesante paper llamado “Comparing Google Consumer Surveys to Existing Probability and Non-Probability Bases Internet Surveys” -es posible apreciar todos y cada uno de los aspectos en los que Google está tratando de transformar la investigación online.

Recordemos brevemente las características de Google Consumer Surveys, algunas de las cuáles pueden pasar inadvertidas en una primera lectura:

1. El servicio se ofrece a tres bandas: (a) El investigador contrata a Google su investigación a través de una simple herramienta online que permite configurar preguntas y seleccionar las características de la muestra, (b) Google difunde el acceso a los cuestionarios en una red de “publishers” y (c) los publishers usan las encuestas como un medio de pago por contenidos, lo que ellos llaman “surveywall” (para poder leer un artículo o ver un video de la web de los publishers, se ofrece al visitante la opción de pagar o, alternativamente, responder 1-2 preguntas de Google Consumer surveys).

2. El cuestionario es limitado: Google vincula la creación del cuestionario y la gestión del campo en una herramienta propietaria, en la que las preguntas deben tener un formato simple y cerrado.

3. El investigador paga por pregunta respondida: Por cada pregunta respondida Google cobra 0,1USD, o bien 0,5USD si la pregunta va dirigida a un target específico (ya sea un target sociodemográfico o un target de consumo). Para ello el cuestionario permite definir preguntas filtro que definen el target buscado.

4. La información sociodemográfica no se pregunta, se deduce: Este punto me parece fundamental. Según explican en su White Paper…

Unlike traditional surveys which explicitly ask respondents for demographic and location information, Consumer Surveys infers approximate demographic and location information using the respondent’s IP address and DoubleClick cookie.

Este aspecto es realmente innovador. A través de la dirección IP, el sistema calcula la localización del respondent y la compara con información del censo para calcular variables que tradicionalmente deben preguntarse al encuestado, como el tamaño de hábitat, ingreso más probable, clase social… Asimismo, a través del sistema de cookies que emplean para la gestión publicitaria, pueden rastrear los sites visitados por el respondent, y deducir su rango de edad y sexo. Dicho en otras palabras, trabajan con datos sociodemográficos ‘probables’.

Ambos aspectos son polémicos: ¿acaso algún investigador ha permitido hasta ahora dar por bueno un dato de nivel de ingresos deducido a través de medidas indirectas? ¿algún cliente hasta ahora ha aceptado trabajar con edades de encuestados que no hayan sido declaradas, sino deducidas por el tipo de páginas que visita? Sólo Google podía proponer algo así…

5. Un mismo cuestionario es respondido por múltiples respondents: Otro aspecto innovador. Aunque el investigador incluya 10 preguntas en su cuestionario, Google Consumer Surveys no va a administrar las 10 preguntas seguidas a un mismo respondent, sino que como máximo va a preguntar 1-2 a cada individuo. Esta fragmentación del cuestionario en micro-surveys, permite incrementar la tasa de respuesta de las encuestas, algo que según Google incrementa la representatividad-calidad:

Many researchers are used to doing multi-question surveys in which the same respondent is asked to fill out a 10+ minute questionnaire. This may lead to survey fatigue, with respondents clicking through the survey without taking the time to read the questions and answer accurately.With Consumer Surveys, you can run multi-question surveys by asking different people one question at a time. This results in higher response rates (~24% compared with an industry standard of 0.1 – 2%) and more accurate answers.

Pero, más importante aún, este mecanismo es clave para que el modelo de negocio de Google funcione: si se pretende usar la encuesta como moneda de pago para acceder a contenidos de valor muy limitado (lectura de un artículo online), ésta debe tener un formato estandarizado y limitado, de 1-2 preguntas.

6. Las respuestas obtenidas se ponderan a través de “post-stratification weighting”: Google no se compromete a obtener todas las respuestas deseadas por el investigador en cada tramo de edad y de localización, por lo que aplica de forma automatizada “weighting”. Las razones por las que necesitan usar esta técnica: no lograr a tiempo las respuestas deseadas por falta de publishers disponibles para el tipo de perfil buscado en la investigación.

Viendo  las características anteriores, parece evidente que Google se dirige al cliente final con su propuesta: el servicio es muy cerrado, simple, limitado, y no permite apenas añadir valor a un investigador. Los cuestionarios son simples y el análisis posible muy limitado (por ejemplo, al dividir un mismo cuestionario entre varios respondents sólo se pueden hacer análisis agregados, no por individuo). Dicho de otra manera, difícilmente un cliente va a pagar a una agencia para que le gestione un estudio en Google Consumer Surveys.

Al dirigirse al cliente final, Google también aspira a cambiar las reglas del juego de las investigaciones actuales: ¿alguien del sector ha visto alguna vez encuestas de 5 preguntas? Las empresas de panel estamos cansadas de proclamar los graves problemas de representatividad-veracidad de respuesta de cuestionarios de 45 minutos que habitualmente tenemos que enviar a nuestros paneles. Es por ello que sí que creo que el sistema de Google puede ser altamente representativo, pero no tanto por su método de acceso a los encuestados (a través de publishers) sino por algo tan elemental como preguntar a cada participante 1-2 preguntas.

¿Podrá Google captar una parte importante del negocio de la recolección y análisis de datos online? Está por ver. Por la definición de su propuesta, parece que no aspiran a captar los grandes estudios de investigación (sofisticados, complejos) de las multinacionales de consumo. Por el contrario, su éxito podría venir de dos fuentes: (1) Convencer a los clientes de que una parte importante de sus necesidades de investigación se puede resolver con preguntas simples y directas a los encuestados, apelando a la mayor fiabilidad de los resultados obtenidos y (2) despertar necesidades de investigación latentes que actualmente no se concretan en proyectos debido a la dificultad/coste de llevarlos a cabo.

Share on LinkedInTweet about this on TwitterShare on FacebookShare on Google+Email this to someone
Categoría: Artículos | google | Noticias | Panel | Predicciones Trackback | Comentarios (6)