В ранних результатах InnovationEval недавние frontier models показали небольшой прогресс в задаче самостоятельного поиска новой техники machine learning, сопоставимой с разработкой исследователей. В тесте агент должен был создать метод посттренинга, превосходящий сильный GRPO baseline, и обучить Qwen3-8B на задачах short-answer questions и coding.
Основные результаты получены на Claude Fable 5 и GPT-5.6 Sol: проверка без поиска не выявила у них признаков запоминания задания, тогда как Claude Fable 5.1 и GPT-6 Astra уже знали о нем.
