Os benchmarks do GPT-6 Astra: o que os números dizem — e o que escondem

Todo lançamento de modelo vem com uma tabela de benchmarks, e a do GPT-6 Astra é das mais agressivas que a OpenAI já publicou. O problema de ler tabela de fabricante é sempre o mesmo: harness, esforço de raciocínio e seleção de comparados mudam o resultado tanto quanto o modelo. Abaixo, o que os números dizem — separando o que é medido por terceiros do que é medido em casa.

Os números que a OpenAI publicou

O asterisco do 99,9%

O número de manchete é o ARC-AGI-3, teste de raciocínio interativo em que modelos de fronteira ficavam abaixo de 1% em março de 2026. O Astra marcou 99,9% — com o “Provider Adapter” da OpenAI, que preserva o estado interno de raciocínio entre requisições. Rodando o mesmo modelo no harness padrão da ARC Prize, o resultado cai para 62,7%. São 37 pontos de diferença entre a mesma rede neural com dois encanamentos diferentes.

A ARC Prize reconheceu o salto — fala em “mudança de patamar” nas capacidades de fronteira — e, no mesmo texto, avisou que saturar o ARC-AGI-3 não prova AGI. Vale a mesma cautela para o FrontierMath: o benchmark foi financiado pela OpenAI, que tem acesso exclusivo a parte dele.

Quando quem mede é de fora

A Artificial Analysis roda os modelos por conta própria, com harness igual para todo mundo. O resultado é bem menos triunfal:

• Intelligence Index: Astra 61 — empatado com o GPT-5.6 Sol e 5 pontos atrás do Claude Fable 5.1 (66). O Muse Spark 1.3, da Meta, também aparece à frente.
• Coding Agent Index: Astra 67 no Codex, tecnicamente empatado com Claude Opus 5 e Muse Spark 1.3; a liderança segue com o Fable 5.1 no Claude Code, com 70.
• Eficiência: aqui o Astra brilha — gasta 1/3 dos tokens do GPT-5.6 Sol e 1/5 dos do Claude Opus 5 no mesmo trabalho de agente. Como o preço por token subiu 2,5x, o custo por tarefa no índice de inteligência ainda ficou ~75% maior.
• GDPval-AA v2 (tarefas de trabalho real): queda de cerca de 80 pontos de Elo em relação ao antecessor, enquanto o índice de trabalho de longo horizonte subiu na mesma ordem de grandeza.

O benchmark que sumiu da apresentação

No Humanity’s Last Exam com ferramentas, o Astra fez 57,2% — atrás de Claude Fable 5.1 (65,0%), Fable 5 (63,8%) e Opus 5 (63,6%). É o único teste público em que o modelo fica abaixo dos rivais diretos, e ele não foi citado no texto do anúncio. A OpenAI também não publicou o GDPval, o benchmark que ela mesma criou em 2025 para medir “trabalho economicamente valioso” em 1.320 tarefas de 44 profissões — justamente a definição de AGI que consta do estatuto da empresa.

Onde o ganho é sólido

Tirando o ruído, três blocos de resultado se sustentam mesmo com harness de terceiros: uso de computador (OSWorld 72,6% e ScreenSpot-Pro 92,7%, com 47% menos tempo por tarefa), cibersegurança (100% no ExploitBench e 88% no SRE-Bench na primeira tentativa, contra 12,5% do concorrente mais próximo) e contexto longo (96,3% de recuperação na faixa de 512K a 1M de tokens, contra 73,8% do Sol). São também as três áreas em que o modelo é caro de rodar — e onde o ganho de eficiência compensa.

Perguntas rápidas

Então o GPT-6 Astra é o melhor modelo do mundo?

Nos testes da OpenAI, sim. Em índices independentes, ele lidera em uso de computador e cibersegurança, empata em código e fica atrás do Claude Fable 5.1 em inteligência geral.

Por que o mesmo modelo tem duas notas tão diferentes no ARC-AGI-3?

Porque o harness da OpenAI mantém o estado de raciocínio entre chamadas, e o padrão da ARC Prize não. O modelo é o mesmo; o que muda é quanto de memória de trabalho ele carrega entre uma jogada e outra.

Dá para confiar em benchmark de fabricante?

Serve como piso de comparação, desde que você leia as notas de rodapé: qual harness, qual esforço de raciocínio, se as salvaguardas estavam ligadas e quais concorrentes ficaram de fora.

Veja também

• GPT-6 Astra: o que a OpenAI lançou em 3 de setembro
• GPT-6 Astra vs Claude, Gemini e Meta: quem lidera de verdade
• “Bem-vindo à era da AGI”: a frase que o próprio benchmark contesta