rea-lab: оценка вклада REA в реверс-инжиниринг Windows

Вопрос

Как добавление REA повлияет на успешность работы агента, время и стоимость?

Что сделал REA

Автор устанавливает Windows и Ghidra, проводит предварительно зарегистрированные контролируемые исследования, проверяет цитируемый Evidence и публикует описания, среды и исходные исправления.

Результаты, сообщенные автором

Пять предварительно зарегистрированных исследований являются публичными. Изучите 1: 28/30 в обеих группах. Изучите 2: 11/24 без REA в сравнении с 4/24 с REA. Исследование 3: 71/72 по сравнению с 68/72. В исследовании 4 используется DeepSeek: 20/20 по сравнению с 19/20, существенной разницы не обнаружено. В исследовании 5 пересмотренный навык стоит на 14% больше, чем официальный навык (p=0.012), без существенного изменения точности. В примечании о сохранении 2026-10-21 Evidence различаются прогоны исследования 482, 336, вызывающие REA, и повторные запуски с прерыванием перезапуска 3: ни один из этих прогонов 339 REA не сохраняется заранее. Evidence; оценщик восстановил его по записям клиентов.

Ограничения и непроверенные претензии

Во всех исследованиях указаны REA 6.4.0, Claude Code 2.1.296 и соответствующие им модели, задачи и разрешения; результаты не могут быть обобщены на текущие версии или на весь обратный инжиниринг. Различия в показателях успеха исследований 2 и 3 не были статистически значимыми в ходе тестов автора. Исследование 3 Сертификат Evidence был исправлен с 142/144 на 144/144 после исправления грейдера; Количество решений не изменилось. В исследовании 4 есть только пары 20. В исследовании 5 сравнивается текст навыков, внедренный в подсказки, а не автоматическая загрузка клиента. В этом каталоге исследования не повторялись. Число 339 представляет собой прогоны вызова REA, а не общую выборку исследования, и не подразумевает отсутствие содержимого Evidence или неудачную сертификацию.

Чему научиться

Совместно оцените средства контроля, распределение задач, стоимость и качество доказательств.

Доказательства использования REA в источнике

Study 1, preregistered: on ten small Windows crackmes, rea did not change how many Claude Code solved

Форматирование выдержки упрощено. Прочтите первоисточник для полного контекста.

Первоисточники

• Первоисточник/закрепленные доказательства
• Проект/демо
• Дополнительный источник 1
• Дополнительный источник 2
• Дополнительный источник 3
• Дополнительный источник 4

Независимое редакционное резюме. Кредит принадлежит первоначальным авторам. Целевое программное обеспечение, установщики и полный вывод декомпилятора здесь не перераспределяются.