rea-lab: medindo a contribuição de REA para a engenharia reversa de Windows

A questão

Como a adição de REA afeta a taxa de sucesso, o tempo e o custo de um agente?

O que REA fez

O autor configura Windows e Ghidra, executa estudos controlados pré-registrados, verifica Evidence citado e publica redações, ambientes e correções upstream.

Resultados relatados pelo autor

Cinco estudos pré-registrados são públicos. Estude 1: 28/30 em ambos os grupos. Estude 2: 11/24 sem REA versus 4/24 com REA. Estudo 3: 71/72 versus 68/72. O estudo 4 usa DeepSeek: 20/20 versus 19/20, sem diferença significativa detectada. No Estudo 5, a habilidade revisada custa 14% mais do que a habilidade oficial (p=0.012), sem uma alteração significativa na precisão. A nota de retenção 2026-10-21 Evidence distingue execuções de estudo 482, 336 que chamou REA e 3 reexecuções interrompidas por reinicialização: nenhuma dessas execuções de chamada 339 REA retidas proativamente Evidence; o avaliador o reconstruiu a partir dos registros do cliente.

Limitações e reivindicações não verificadas

Todos os estudos pinam REA 6.4.0, Claude Code 2.1.296 e seus respectivos modelos, tarefas e permissões; os resultados não podem ser generalizados para as versões atuais ou para toda a engenharia reversa. As diferenças nas taxas de sucesso dos estudos 2 e 3 não foram estatisticamente significativas nos testes do autor. A certificação do estudo 3 Evidence foi corrigida de 142/144 para 144/144 após uma correção na motoniveladora; as contagens de resolução permaneceram inalteradas. O estudo 4 possui apenas pares 20. O estudo 5 compara texto de habilidade injetado em prompts, não no carregamento automático do cliente. Este catálogo não reexecutou os estudos. A contagem 339 é de execuções de chamada REA, não da amostra total do estudo, e não implica conteúdo Evidence ausente ou falha na certificação.

O que aprender

Avalie controles, distribuição de tarefas, custos e qualidade das evidências em conjunto.

Evidência de uso de REA na fonte

Study 1, preregistered: on ten small Windows crackmes, rea did not change how many Claude Code solved

A formatação do trecho é simplificada. Leia a fonte original para o contexto completo.

Fontes originais

• Fonte primária/evidência fixada
• Projeto / demonstração
• Fonte adicional 1
• Fonte adicional 2
• Fonte adicional 3
• Fonte adicional 4

Resumo editorial independente. O crédito pertence aos autores originais. O software alvo, os instaladores e a saída completa do descompilador não são redistribuídos aqui.