No início de novembro, a OpenAI afirmou que o volume de buscas do ChatGPT já equivale a cerca de 20% do Google. Em fevereiro, a Ahrefs tinha estimado 12%. A diferença parece um erro de alguém. Não é, necessariamente: as duas empresas estão medindo coisas diferentes.
Passei mais de 20 anos construindo pipelines de dados em companhia aérea, fintech e biometria. Se aprendi uma coisa, é que a definição da métrica decide a resposta antes de qualquer cálculo.
O que a OpenAI disse
Em conversa com Alex Kantrowitz, da newsletter Big Technology, o líder de produto de consumo do ChatGPT, Adam Fry, apresentou números fortes:
- 1,2 bilhão de usuários ativos por semana, contra 1 bilhão dois meses antes.
- 250 milhões de usuários semanais de voz, somando ditado e conversa.
- 1,5 bilhão de imagens criadas por semana.
- Volume de buscas em torno de 20% do Google.
Todos são números da própria empresa. Fry também explicou o que conta como busca: cada pergunta que leva o ChatGPT a consultar a web. Ele não detalhou como estimou o volume do Google.
O que a Ahrefs mediu
A Ahrefs olhou só para temas que as pessoas tradicionalmente pesquisam e chegou a cerca de 12% do volume do Google. No mesmo estudo, encontrou outro dado: o Google ainda envia cerca de 190 vezes mais visitas a sites do que o ChatGPT.
Uma conta inclui toda pergunta que aciona a web. A outra inclui só o que antes seria uma busca. As duas podem estar certas e, ainda assim, contar histórias muito diferentes.
Por que isso importa para quem decide
Na WEX, empresa americana de pagamentos, automatizei checagens de qualidade de dados com Great Expectations e reduzimos em 30% os incidentes críticos. Na BairesDev, usamos DataDog e Monte Carlo para garantir SLAs de qualidade de dados. Nos dois casos, o ganho não veio de mais dados. Veio de concordar sobre o que cada número significa.
Toda métrica de IA que chega à sua mesa merece quatro perguntas:
- Qual é a unidade? Uma conversa, uma pergunta ou uma pesquisa na web?
- Quem mediu? A empresa que vende o produto ou alguém de fora?
- Comparado com o quê? Qual é a base e como ela foi estimada?
- Em que período? Uma semana, um mês ou um pico de lançamento?
Sem essas respostas, 20% e 12% são só números bonitos para um slide.
O que eu levaria para a próxima reunião
O crescimento do ChatGPT é real e relevante. Mas, se a sua empresa vai mudar estratégia de marketing, SEO ou atendimento por causa dele, trate o número como trataria qualquer dado de produção: com definição clara, fonte conhecida e um plano para medir o efeito no seu próprio negócio.
Métrica sem definição não é dado. É opinião com casas decimais.