rea-lab：测量 REA 对 Windows 逆向任务的实际帮助

想解决什么问题

加上 REA 后，代理解决任务的成功率、耗时和成本怎样变化？

REA 具体做了什么

搭建 Windows + Ghidra 环境，做预注册对照研究，核验引用 Evidence，公开 writeups、环境与上游修复。

原作者报告的成果

作者现已公开五项预注册研究：Study 1 为两组均解出 28/30；Study 2 为无 REA 11/24、用 REA 4/24；Study 3 为 71/72 与 68/72。新增 Study 4 用 DeepSeek 模型为 20/20 与 19/20，未检测到显著差异；Study 5 的改进 skill 相对官方版本成本增加 14%（p=0.012），准确率未显著改变。 2026-10-21 补充 Evidence 留存观察：作者明确总计 482 次研究运行中，336 次调用 REA，加上 3 次因重启中断后重跑，合计 339 次调用运行均未主动保留 Evidence，评分器从客户端记录重建。

局限与未验证项

所有研究固定 REA 6.4.0、Claude Code 2.1.296 与各自模型、任务及权限配置，不能外推当前版本或所有逆向工作。Study 2、3 的成功率差异未达原作者统计检验的显著水平。Study 3 的 Evidence 认证由初报 142/144 更正为 grader 修正后的 144/144，解题数字未改；Study 4 样本仅 20 对。Study 5 比较的是注入提示中的 skill 内容，并非客户端自动加载效果。本仓库仅复核报告，没有复跑。 339 次是调用过 REA 的运行口径，不是五项研究的总样本量；该观察不等于 Evidence 内容缺失或认证失败。

可以借鉴什么

评估工具时同时看对照组、任务分布、成本与证据质量。

原文中的 REA 使用证据

Study 1, preregistered: on ten small Windows crackmes, rea did not change how many Claude Code solved

短摘录简化了排版，完整上下文以原文为准。

原始来源

• 公开原文 / 固定版本证据
• 项目 / 演示
• 补充来源 1
• 补充来源 2
• 补充来源 3
• 补充来源 4

本页为独立整理，成果归原作者。目标软件、安装包和完整反编译输出不在此分发。