Artificial Analysis и Harvey выпустили Harvey LAB-AA v1.1, обновление методики оценки Legal Agent Benchmark для ИИ агентов, выполняющих юридические задачи. Теперь каждый результат проверяется на галлюцинации по исходным документам, а критерии оценивает панель из трех LLM судей.
Новая главная метрика Hallucination-Gated All-Pass Rate засчитывает задачу только при выполнении всех критериев и отсутствии существенных галлюцинаций. На 120 приватных задачах Grok 4.7 (xhigh) получил 9.4%, Muse Spark 1.3 (max) 8.9%, GPT-6 Astra (max) 8.6%; более 60% формально успешных результатов содержали существенную галлюцинацию.
