mimo-v2.5 supera Claude Opus 4.6 no SWE-bench Pro
Back to the blog
Artigo

mimo-v2.5 supera Claude Opus 4.6 no SWE-bench Pro

Mafra
08/07/2026
5 min read

Um monolito de 80 mil linhas em TypeScript. O dev precisava refatorar o módulo de autenticação, que tocava 47 arquivos diferentes. Carregou o contexto inteiro no Claude Sonnet 4.6, 1M de tokens. Fez três sessões de análise e duas de refator. Conta total: US$ 58 em tokens de entrada.

O mesmo trabalho com mimo-v2.5 no Verboo Code custaria R$ 0 extra. O modelo está incluso no plano fixo.

Mas antes de falar de custo, vamos falar de benchmark. Porque o preço só faz sentido se o modelo entregar.

Quanto separa mimo-v2.5 de Claude Sonnet 4.6 no SWE-bench?

O SWE-bench Verified é o benchmark padrão da indústria para agentes de programação. Mede a capacidade do modelo de resolver issues reais do GitHub de forma autônoma. Eis o comparativo dos modelos relevantes para coding:

Modelo SWE-bench Verified SWE-bench Pro Contexto máximo Custo input (API)
Claude Opus 4.8 88,6% 69,2% 200K $15/MTok
Claude Sonnet 4.6 79,6% n/d 1M $3/MTok
mimo-v2.5 78,9% 57,2% 1M $0,43/MTok
Claude Opus 4.6 ~82% 53,4% 200K $15/MTok
qwen3.6-27b ~74% n/d 128K $0,10/MTok

O gap entre mimo-v2.5 e Claude Sonnet 4.6 no SWE-bench Verified é de 0,7 ponto percentual. Estatisticamente, isso está dentro da margem de variação entre execuções do mesmo benchmark.

No SWE-bench Pro, que usa issues mais complexos e ambíguos do que o Verified, mimo-v2.5 marcou 57,2% quando lançado em abril de 2026. Claude Opus 4.6 marcava 53,4% na mesma data. Um modelo open source de contexto longo superando o Opus no benchmark mais difícil. Fontes: MarkTechPost e OpenRouter benchmarks.

O Opus 4.8, lançado depois, subiu para 69,2% no SWE-bench Pro. O pódio mudou. Mas o contexto de comparação com o Sonnet 4.6, que é o modelo de custo intermediário, permanece relevante.

Por que 0,7% de gap importa menos do que parece?

O SWE-bench Verified mede tasks relativamente bem definidas, com poucos arquivos e contexto limitado. Para refatorações reais em codebases grandes, o benchmark que importa mais é o Pro, e nele mimo-v2.5 tem número sólido.

Além disso, há um dado de eficiência que costuma ficar fora da comparação de leaderboards: mimo-v2.5 usa 40 a 60% menos tokens por trajetória do que Claude Opus 4.6, Gemini 3.1 Pro e GPT-5.4 nas mesmas tasks. Isso vem do paper técnico da Xiaomi e reflete como o modelo gerencia tool calls e loops de raciocínio.

Menos tokens por trajetória tem dois efeitos práticos:

  • Sessões mais rápidas quando o modelo resolve um problema longo de forma autônoma
  • Menor custo por task na API pública, e menos desgaste de contexto em janelas longas

Quando usar 1M de contexto com mimo-v2.5 faz diferença real?

O contexto de 1M tokens no agente de programação não é apenas marketing. É um limite prático que muda o que você consegue fazer em uma sessão.

Estimativas de tamanho de contexto para projetos reais:

Tipo de projeto Estimativa de tokens Cabe em 200K? Cabe em 1M?
API REST simples (10k LOC) ~60K tokens Sim Sim
SaaS médio (40k LOC) ~250K tokens Parcial Sim
Monolito (80k LOC) ~500K tokens Não Sim
Enterprise (150k+ LOC) ~900K tokens Não Com seleção de arquivos

Para os primeiros dois casos, qualquer modelo serve. Para o terceiro e quarto, você precisa de 1M de contexto ou de uma estratégia de chunking que aumenta a complexidade da sessão. O mimo-v2.5 e o Claude Sonnet 4.6 têm a mesma janela de 1M. A diferença está no que você paga por ela.

Se você quer entender a matemática completa do custo de modelos por token versus plano fixo, veja o comparativo completo de agentes de programação com tokens ilimitados.

Como usar mimo-v2.5 no Verboo Code

O Verboo Code inclui mimo-v2.5 como um dos 6 modelos open source disponíveis no plano. Para selecionar:

# Instalar o CLI
npm install -g @verboo/code

# Dentro de qualquer sessão, trocar de modelo
/model

O comando /model abre um seletor interativo. Selecione mimo-v2.5 e a janela de 1M tokens está ativa imediatamente. Sem configuração adicional, sem chave de API externa.

O padrão que os heavy users do Verboo Code usam para projetos grandes:

  1. Abre a sessão com deepseek-v4-flash para exploração rápida e mapeamento do codebase
  2. Troca para mimo-v2.5 quando começa a refatoração que precisa de contexto completo
  3. Mantém mimo durante iterações longas de debugging com muitos arquivos abertos

O switch entre modelos é instantâneo e não interrompe o contexto da sessão.

O que 102 devs perceberam sobre contexto longo

O Verboo Code tem hoje 102 assinantes ativos e MRR de R$ 14.575,90, com crescimento de +406% nos últimos 90 dias. Parte significativa desse crescimento veio depois que adicionamos suporte a modelos de 1M de contexto, incluindo mimo-v2.5.

O padrão de adoção mostra que devs que trabalham com codebases acima de 50k linhas migram mais rápido. Não porque mimo-v2.5 seja o número um em benchmark absoluto, mas porque o custo de tokens ilimitados com contexto real de monolito muda o cálculo do que é viável fazer em uma sessão.

mimo-v2.5: 78,9% SWE-bench Verified, 57,2% SWE-bench Pro, 1M de contexto, 40-60% menos tokens por trajetória que modelos frontier pagos. No Verboo Code: incluso no plano fixo.

Para comparar o Verboo Code com outros agentes de programação no mercado, incluindo Claude Code e Cursor, veja o comparativo completo com SWE-bench e preço.

Quer testar esses modelos sem pagar por token? Verboo Code roda os principais open source com tokens ilimitados.

Enjoyed this article?
Share knowledge with your network.
Read also

Related articles