El auge de los Large Language Models (LLMs) representa, sin duda, un cambio de paradigma para la industria de la investigación de mercados. La capacidad de la Inteligencia Artificial (AI) para agilizar procesos de investigación y analizar grandes volúmenes de datos generados por humanos ofrece ventajas innegables. Sin embargo, una de sus aplicaciones más debatidas es la fabricación o simulación de insights.
Esto implica el uso de LLMs para imitar respuestas humanas mediante la creación de “respondentes sintéticos”: agentes de AI diseñados con características específicas de demografía, preferencias o incluso personalidad, que simulan respuestas “humanas”. El resultado es una nueva categoría de Synthetic Data (Datos Sintéticos) que promete soluciones más rápidas y económicas para la investigación de mercados.
No obstante, a pesar de su atractivo, estos datos fabricados conllevan riesgos significativos. La dependencia excesiva de respuestas sintéticas puede derivar en insights erróneos y decisiones poco fundamentadas. Estos desafíos pueden resumirse en lo que llamamos las 5 zonas ciegas de las respuestas sintéticas:
- Desconectadas de la causa: Las respuestas sintéticas suelen omitir el “por qué” subyacente, ofreciendo interpretaciones limitadas que no conectan los puntos de manera significativa.
- Sin corazón: Carecen de la emoción humana auténtica, lo que dificulta conectar con el comportamiento real de las personas.
- Representatividad Sesgada: Ofrecen una visión parcial que no refleja con precisión la complejidad del mundo real.
- Una talla que no le queda a nadie: Tienden a ser rígidas y estandarizadas, sin capturar la diversidad de las interacciones humanas.
- Consistencia intermitente: Pueden alternar entre resultados útiles e inexactitudes notables, minando su credibilidad con el tiempo.
Exploremos más a fondo estas zonas ciegas.
1. Desconectadas de la Causa
Aunque los LLMs aprenden de forma que recuerda al desarrollo cognitivo humano, existen diferencias clave. El ser humano desarrolla inteligencia general a través de experiencias variadas; en cambio, la Inteligencia Artificial necesita enormes volúmenes de datos específicos para desempeñarse en tareas “estrechas” o más limitadas. Investigaciones sugieren que la tendencia infantil a preguntar “¿por qué?” está vinculada al desarrollo cognitivo, especialmente al entendimiento de la causalidad. El ser humano rechaza los modelos “caja negra” y busca comprender los mecanismos subyacentes, cosa que no ocurre con el aprendizaje de los LLMs.
Por ejemplo, un LLM podría predecir que cierto grupo demográfico prefiere un producto, pero pasar por alto las razones culturales que impulsan esa elección. Aunque los LLMs y los modelos basados en correlaciones pueden hacer predicciones efectivas, frecuentemente no pueden explicar el por qué de los fenómenos.
Un clásico ejemplo: la correlación entre comer helado y sufrir quemaduras solares. Para entender la causa real, hay que controlar la exposición al sol. Las predicciones basadas en causalidad son más sólidas, porque identifican cómo un factor influye directamente sobre otro.
Aunque modelos más recientes como Strawberry de OpenAI están explorando enfoques de razonamiento más avanzados, aún queda un largo camino para que los LLMs comprendan a fondo las motivaciones del comportamiento humano.
2. Sin Corazón
Las respuestas sintéticas, aunque lógicas, suelen carecer de la profundidad emocional presente en las interacciones humanas. Esto limita la capacidad de entender contextos de consumo donde la empatía, la confianza y la conexión personal son clave.
Elementos emocionales están profundamente arraigados en los procesos de toma de decisiones descritos por el Sistema 1 de Kahneman: impulsivos, rápidos e instintivos. Estudios como "Digital Respondents and their Implications for Market Research" o "Using Synthetic Data to Solve Client Problems" han evidenciado que las respuestas generadas por LLMs, aunque racionalmente correctas, no logran resonar emocionalmente.
Esto se debe, en parte, a que los LLMs no experimentan emociones y, por tanto, no pueden replicarlas con autenticidad. Así, aunque eventualmente puedan imitar marcos de decisión lógicos, seguirán desconectados de los factores emocionales que impulsan la conducta humana.
3. Representatividad Sesgada
Los LLMs son especialmente vulnerables a los sesgos presentes en sus datos de entrenamiento. Si esos datos reflejan prejuicios históricos o representan de forma desigual a ciertos grupos, los insights generados también estarán sesgados.
Un estudio reciente de Yan Tao, Olga Viberg y otros investigadores, titulado “Cultural Bias and Cultural Alignment of Large Language Models”, demostró que modelos como ChatGPT tienden a reflejar los valores culturales de Europa del Norte y países anglosajones. Sin una orientación específica, sus respuestas al World Values Survey se alinearon con esas culturas.
Sin embargo, cuando se le pidió a ChatGPT responder como si fuera una persona de países específicos, sus respuestas reflejaron mucho mejor los valores locales. Este hallazgo subraya la importancia de controlar activamente los sesgos para generar resultados más inclusivos. En este contexto, contar con buenos datos semilla es fundamental para producir Synthetic Data confiables.
4. Una talla que no le queda a nadie
Uno de los argumentos más comunes a favor de los Datos Sintéticos es su capacidad de replicar valores promedio similares a los datos humanos. Pero esto es engañoso. Aunque las medias coincidan, la dispersión (la variabilidad en las respuestas) suele ser mucho menor.
Las métricas de dispersión como la varianza o el rango intercuartílico son cruciales para comprender cómo se distribuyen los datos. Dos conjuntos de datos con la misma media pueden llevar a interpretaciones totalmente distintas si sus dispersiones difieren.
Los datos sintéticos, aunque útiles, tienden a ser homogéneos y a perder matices. Esto puede generar insights reciclados y poco innovadores. Clayton Christensen, autor de la teoría de Disruptive Innovation, tenía un cartel en su oficina de Harvard que decía: “Anomalies Welcome”. Porque, muchas veces, la innovación surge de los valores atípicos.
Además, limitarse a datos sintéticos puede crea bucles de retroalimentación peligrosos, donde la falta de diversidad compromete futuros análisis, estrategias y decisiones.
5. Consistencia Intermitente
Aunque algunas zonas ciegas pueden corregirse con mejores prompts e ingeniería inversa, persiste un problema clave: la inconsistencia. Todo parece obvio una vez que se sabe la respuesta, pero la variabilidad en la calidad de las respuestas de los LLMs socava su fiabilidad.
Las decisiones del consumidor son moldeadas por normas culturales, condiciones económicas y motivaciones individuales. Detectar y corregir sesgos en los LLMs es un campo emergente, aún sin soluciones definitivas. Además, la creación y entrenamiento de estos modelos requiere grandes volúmenes de datos y recursos computacionales.
Lo más preocupante es que los datos sintéticos presentan una forma de inestabilidad epistémica: pueden oscilar entre aciertos brillantes y errores flagrantes. Esta inconsistencia recuerda a la crisis de replicabilidad en psicología, donde los hallazgos fundamentales se ven cuestionados por su falta de consistencia metodológica.
Para confiar en la Artificial Intelligence y el Synthetic Data, necesitamos estándares sólidos de consistencia y reproducibilidad. Sin ellos, los modelos pierden credibilidad y se debilita su valor como herramientas de apoyo en la toma de decisiones estratégicas.
