Quanto custa o ChatGPT por dia?

De acordo com o analista-chefe da empresa de pesquisa de semicondutores SemiAnalysis, Dylan Patel, o chatbot conversacional ChatGPT da OpenAI custa mais de US$ 700 mil diariamente para funcionar. O modelo requer uma quantidade absurda de desempenho computacional para atender à demanda global de usuários. Patel afirma que a maior parte do custo está relacionada ao gasto com servidores que são necessários para o funcionamento do ChatGPT. Além disso, com a disponibilidade do GPT-4, a manutenção do chatbot deve ter ficado ainda mais cara, uma vez que a avaliação considerava apenas o modelo GPT-3.

O treinamento do ChatGPT por si só custa dezenas de milhões de dólares, no entanto, Patel e outro analista da SemiAnalysis, Afzal Ahmad, afirmam que os gastos com a parte operacional e os custos de inferência são muito maiores. Segundo eles, os custos para inferir o ChatGPT excedem os custos de treinamento semanalmente.

Para tornar a atividade do modelo mais barata, a Microsoft está supostamente desenvolvendo hardware específico para processamento de dados com inteligência artificial. Conhecido como Athena, o chip otimizado para IA está em desenvolvimento desde 2019, ano em que a Microsoft fechou um acordo de US$ 1 bilhão com a OpenAI. Cerca de 300 funcionários da Microsoft estão focados no projeto, mas ele não será lançado para o público em geral. Em vez disso, a Athena será utilizada exclusivamente pela Microsoft e pela OpenAI para alimentar seus produtos com IA a partir de 2024, de acordo com informações do site The Information.