Testamos o MiniMax M2.7 contra o Claude Opus 4.6

Veja o artigo completo aqui: https://blog.kilo.ai/p/we-tested-minimax-m27-against-claude

O MiniMax M2.7 foi lançado em 18 de março, alcançando 56,22% no SWE-Pro, próximo ao Claude Opus 4.6. Executamos ambos os modelos em três tarefas de programação no Kilo Code para verificar se os números do benchmark se confirmam na prática. Em relação aos preços, o MiniMax M2.7 custa US$ 0,30/US$ 1,20 por milhão de tokens (entrada/saída), comparado aos US$ 5/US$ 25 do Claude Opus 4.6, uma diferença de aproximadamente 17 vezes na entrada e 21 vezes na saída.

Resumindo: Ambos os modelos encontraram todos os 6 bugs e todas as 10 vulnerabilidades de segurança em nossos testes. O Claude Opus 4.6 apresentou correções mais completas e realizou o dobro de testes. O MiniMax M2.7 entregou 90% da qualidade por 7% do custo (US$ 0,27 no total contra US$ 3,67).

Projeto de teste

Criamos três bases de código TypeScript e executamos ambos os modelos no modo Code do Kilo Code para VS Code. Cada modelo recebeu o mesmo prompt, sem dicas. Avaliamos cada modelo independentemente após a conclusão de todos os testes.

• Teste 1: Sistema de Processamento de Eventos Full-Stack (35 pontos) - Construa um sistema completo a partir de uma especificação, incluindo pipeline assíncrono, streaming WebSocket e limitação de taxa.
• Teste 2: Investigação de bugs a partir dos sintomas (30 pontos) - Rastreie 6 bugs a partir dos logs de produção até suas causas raiz e corrija-os.
• Teste 3: Auditoria de Segurança (35 pontos) - Encontre e corrija 10 vulnerabilidades de segurança inseridas em uma API de colaboração em equipe.

Teste 1: Sistema de Processamento de Eventos Full-Stack

Apresentamos a ambos os modelos a seguinte instrução:

“Crie um sistema de processamento de eventos em tempo real em TypeScript a partir da especificação em @SPEC.md. Use Hono como framework web, Prisma com SQLite para o banco de dados, Zod para validação de entrada e ws para suporte a WebSocket.”

A especificação exigia 7 componentes: API de ingestão de eventos com autenticação por chave de API, pipeline de processamento assíncrono com repetição exponencial, armazenamento de eventos com histórico de processamento, API de consulta com paginação e filtragem, endpoint WebSocket para transmissão ao vivo, limitação de taxa por chave e endpoints de integridade/métricas.

Ambos os modelos implementaram todos os 7 componentes. A diferença na pontuação resultou da organização do código e da cobertura de testes.

Arquitetura

O Claude Opus 4.6 criou uma estrutura de diretórios modular com diretórios separados para rotas, pipeline, middleware e gerenciamento de WebSockets. Ele dividiu a lógica de processamento em arquivos separados para gerenciamento de filas (com agendamento de novas tentativas e roteamento de mensagens não entregues) e manipuladores de eventos por tipo. Também incluiu um desligamento correto com limpeza por temporizador.

O MiniMax M2.7 utilizava uma estrutura mais plana com menos arquivos. Todo o roteamento residia em um único arquivo de entrada, e o processador era mais simples, sem gerenciamento de desligamento ou rastreamento de temporizadores....

Veja o artigo completo aqui: https://blog.kilo.ai/p/we-tested-minimax-m27-against-claude