Ilustración de Raffaele Mainella para <em>Nos Invisibles</em> (1907). Dominio público, vía The Public Domain Review.
Cómo medir si tu web aparece en las respuestas de la IA (y por qué una sola consulta no alcanza)
Ver contenido
Cada vez me llegan más consultas con la misma pregunta de fondo: “¿aparezco cuando alguien le pregunta a ChatGPT o a Perplexity por lo que yo ofrezco?”. Tiene sentido que aparezca ahora. Según el informe de OpenAI sobre el uso de ChatGPT en el primer trimestre de 2026, varios países de América Latina (entre ellos República Dominicana, México, Brasil y Costa Rica) están entre los diez que más escalaron en mensajes por habitante, con República Dominicana subiendo nueve posiciones en el ranking global. Y un informe de McKinsey y el Foro Económico Mundial de enero de 2026 estima que la IA podría sumar entre 1.9% y 2.3% anual de productividad a la región. No es que estos números digan que tu marca necesita aparecer en la IA (son cosas distintas), pero sí describen el terreno: cada vez más gente consulta a un asistente antes que a un buscador, y de ahí nace la pregunta de si uno está o no en esa conversación.
El problema aparece cuando quieres medirlo. El reflejo natural es ir a analytics a buscar el dato. Y ahí te encuentras con que no existe un “Search Console para IA”: muchas veces la métrica no está, la fuente de tráfico llega sin identificar, o directamente el asistente responde sin que nadie haga clic hacia tu sitio. En mi experiencia, es de las primeras frustraciones con las que se topa cualquiera que quiera tomarse esto en serio.
Escribo esto porque en UXR ya incorporamos una sección de visibilidad en IA en el dashboard de clientes, para hacerle seguimiento a este tema de forma específica, y me pareció útil ordenar lo que la literatura y los practitioners vienen diciendo sobre cómo hacerlo bien. Va sin ánimo de agotar el tema (da para mucho más), pero sí con lo que hasta ahora me parece defendible.
Por qué una sola respuesta no sirve
La tentación es abrir ChatGPT, escribir la pregunta, ver si tu marca aparece, y sacar una conclusión. El punto incómodo es que esa única respuesta no significa casi nada.
Los modelos de lenguaje generan texto muestreando de una distribución de probabilidad: en cada paso no eligen “la” palabra correcta, sino que sortean entre las posibles según su probabilidad. Por eso la misma pregunta, hecha dos veces, puede devolver tu marca una vez y omitirla la siguiente. No es que el modelo se contradiga: es su forma de funcionar. Hay un detalle que a mí me sorprendió: esta variación no desaparece del todo ni poniendo la “temperatura” del modelo en cero. Investigaciones sobre reproducibilidad de LLMs (varios papers disponibles en arXiv, los dejo en las referencias) muestran que la aritmética de punto flotante y el orden de las operaciones en el hardware pueden alterar el resultado incluso en configuraciones teóricamente deterministas. Anthropic, de hecho, recomienda muestrear varias veces para verificar la consistencia de las salidas.
La consecuencia práctica es directa: sacar una conclusión de una sola respuesta es como estimar una encuesta preguntándole a una sola persona.
Qué hacer, según lo que hay hasta ahora
La buena noticia es que no hace falta una muestra gigante ni herramientas caras. Con un poco de método y estadística básica, un número pequeño de ejecuciones alcanza para estimar de forma razonable. Esto es lo que vengo aplicando, apoyada sobre todo en el trabajo de Graphite (“Demystifying Randomness in AI”, 2026) y en estadística clásica de proporciones.
Repetir cada consulta al menos 10 veces. Es el umbral donde el error se vuelve manejable. Según los datos de Graphite, con 10 respuestas por consulta el error absoluto medio en la estimación de visibilidad queda alrededor de 5.6%, y más del 98% de las consultas quedan con un error de 10 puntos o menos. Se puede ir a más, pero hay rendimientos decrecientes: las estimaciones con 10 respuestas no son muy distintas de las que se obtienen con 200. Un detalle operativo que ayuda: usar un chat nuevo para cada ejecución y desactivar la memoria, para que una respuesta no arrastre a la siguiente.
Medir primero visibilidad, después posición. Conviene separar dos preguntas. La primera es binaria: ¿aparece tu marca o no? La segunda, más fina, es en qué lugar aparece respecto de otras. La posición recién tiene sentido cuando la visibilidad ya es alta: si tu marca aparece en 2 de 30 respuestas, su “posición promedio” se calcula sobre tan pocos casos que es casi ruido. Si estás empezando y todavía no apareces de forma consistente, la visibilidad es la métrica que importa.
Usar el intervalo de Wilson para el margen de error. Como la visibilidad es una proporción (apariciones sobre total de ejecuciones), tiene una incertidumbre asociada que conviene declarar. El intervalo de confianza de Wilson (propuesto por Edwin B. Wilson en 1927 y todavía recomendado como opción por defecto para proporciones) funciona bien justamente cuando la muestra es chica o la proporción está cerca de 0% o 100%, que es donde la aproximación normal clásica falla. Un ejemplo para que se entienda: si tu marca aparece en 5 de 10 respuestas, el intervalo de Wilson al 95% va aproximadamente de 24% a 76%. Es decir, con 10 ejecuciones puedes afirmar “aparece / casi no aparece”, pero no distinguir con confianza un 50% de un 60%. Para eso hace falta más muestra.
Medir con cadencia, semanal o quincenal. Como hay ruido de base, mirar una sola medición o medir demasiado seguido lleva a confundir variación normal con tendencia. Una cadencia regular, leída junto con los intervalos de confianza, permite separar la señal del ruido y ver si un cambio en el contenido movió de verdad la aguja.
Un caso: la visibilidad puede ser cero
Un resultado que aparece más seguido de lo que uno esperaría es el cero absoluto. En un diagnóstico reciente para un proyecto en Florida medimos la presencia de la marca en tres modelos, con diez consultas cada uno, derivadas del análisis de su competencia: cero menciones en las treinta. El mercado entero, además, estaba igual de ausente.
Un cero limpio como ese es más informativo de lo que parece. Existe una cota (la “regla de tres”) que dice que, al observar cero apariciones en n intentos, el límite superior del intervalo de confianza al 95% ronda 3/n. Con 30 ejecuciones, eso ubica la visibilidad real por debajo de un 10% aproximado. Dicho de otro modo: si la marca tuviera presencia relevante, con alta probabilidad habríamos visto al menos una aparición. No la vimos en ninguna. Y hay una ventaja escondida: un cero es una línea base excelente. Cualquier aparición futura, después de una intervención de contenido, se vuelve una señal clara y fácil de defender.
Sobre este caso y el diagnóstico completo del que salió pienso escribir aparte, porque la visibilidad en IA fue solo una de varias palancas, y ni siquiera la principal.
Esto no agota el tema. Hay preguntas que quedan abiertas (cómo elegir bien el conjunto de consultas para que represente cómo la gente realmente busca, cómo tratar las respuestas con búsqueda web activada, cómo comparar entre modelos) y cada una da para su propia entrada. Si mides visibilidad en IA de otra forma, o si ves algo que se me escapa aquí, me interesa leerlo.
Referencias
- Druck, G. & Smith, E. (2026). Demystifying Randomness in AI. Graphite.io. [Informe de agencia; base metodológica principal sobre tamaño de muestra y seguimiento de visibilidad]. https://graphite.io/five-percent/demystifying-randomness-in-ai
- Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209–212. [Fuente primaria del intervalo de confianza de Wilson].
- OpenAI (2026). Informe sobre el uso de ChatGPT, primer trimestre de 2026. [Datos de adopción en América Latina; citado vía El Cronista, 1 de julio de 2026].
- McKinsey & World Economic Forum (2026). From Potential to Productivity: Latin America in the Intelligent Age. [Estimación de impacto de la IA en la productividad regional].
- Sobre no-determinación de LLMs (reproducibilidad, muestreo y temperatura): conjunto de trabajos disponibles en arXiv, entre ellos “Non-Determinism of Deterministic LLM Settings” (arXiv:2408.04667) y “Defeating Nondeterminism in LLM Inference” (Thinking Machines Lab, 2025). [Fundamento técnico de por qué las respuestas varían].
Nota sobre las fuentes: el trabajo de Graphite es un informe de agencia, no un paper con revisión por pares; lo uso por su metodología transparente y sus autores con trayectoria en investigación. La estadística de Wilson y los trabajos sobre no-determinación sí son fuentes primarias y académicas.
Paulina Contreras · UXR SpA
