A principios de noviembre, OpenAI afirmó que el volumen de búsquedas de ChatGPT ya equivale a cerca del 20% del de Google. En febrero, Ahrefs lo había estimado en un 12%. La diferencia parece un error de alguien. No lo es necesariamente: las dos empresas miden cosas distintas.
Llevo más de 20 años construyendo pipelines de datos en aviación, fintech y biometría. Si algo he aprendido, es que la definición de una métrica decide la respuesta antes de cualquier cálculo.
Lo que dijo OpenAI
En una conversación con Alex Kantrowitz, de la newsletter Big Technology, el responsable de producto de consumo de ChatGPT, Adam Fry, presentó cifras llamativas:
- 1.200 millones de usuarios activos semanales, frente a 1.000 millones dos meses antes.
- 250 millones de usuarios semanales de voz, entre dictado y conversación.
- 1.500 millones de imágenes creadas cada semana.
- Un volumen de búsquedas de cerca del 20% del de Google.
Todas son cifras de la propia empresa. Fry también explicó qué cuenta como búsqueda: cada pregunta que lleva a ChatGPT a consultar la web. No detalló cómo estimó el volumen de Google.
Lo que midió Ahrefs
Ahrefs se fijó solo en los temas que la gente busca tradicionalmente y llegó a cerca del 12% del volumen de Google. El mismo estudio encontró otro dato: Google todavía envía unas 190 veces más visitas a los sitios web que ChatGPT.
Un recuento incluye cada pregunta que activa la web. El otro incluye solo lo que antes habría sido una búsqueda. Las dos pueden ser correctas y, aun así, contar historias muy distintas.
Por qué importa a quien decide
En WEX, una empresa estadounidense de pagos, automaticé controles de calidad de datos con Great Expectations y redujimos un 30% los incidentes críticos. En BairesDev, usamos DataDog y Monte Carlo para cumplir los SLA de calidad de datos. En ambos casos, la mejora no vino de tener más datos. Vino de ponernos de acuerdo sobre qué significa cada número.
Toda métrica de IA que llega a tu mesa merece cuatro preguntas:
- ¿Cuál es la unidad? ¿Una conversación, una pregunta o una consulta a la web?
- ¿Quién la midió? ¿La empresa que vende el producto o alguien independiente?
- ¿Comparada con qué? ¿Cuál es la base y cómo se estimó?
- ¿En qué periodo? ¿Una semana, un mes o un pico de lanzamiento?
Sin esas respuestas, 20% y 12% son solo cifras bonitas para una diapositiva.
Lo que llevaría a la próxima reunión
El crecimiento de ChatGPT es real e importante. Pero si tu empresa va a cambiar su estrategia de marketing, SEO o atención al cliente por él, trata la cifra como tratarías cualquier dato de producción: con una definición clara, una fuente conocida y un plan para medir el efecto en tu propio negocio.
Una métrica sin definición no es un dato. Es una opinión con decimales.