В набор вошли тексты двух типов. Одни были сильно переписаны человеком, другие почти не изменились.
Эталоном стала доля одинаковых предложений в версии агента и опубликованном тексте. Совпадение ниже 85% автор считал плохим примером. Совпадение от 95% и выше считалось хорошим.
Пять текстов с результатом между этими порогами не вошли в подсчет. По таким материалам автор считал ответ неясным.
ИИ-читатель работал в трех ролях. Каждая роль отвечала на четыре вопроса по шкале от 1 до 10. В зачет шла минимальная оценка, порогом было 7.
Среди размеченных текстов читатель совпал с автором в десяти случаях. В пяти случаях оценки разошлись: три плохих текста были пропущены, два хороших были остановлены.
Сильно правленых текстов было четыре, и читатель вернул из них один. Почти нетронутых текстов было 11, из них он вернул два.
При сравнении моделей Opus и Sonnet на 12 версиях оценки совпали в пределах одного балла в 89% случаев. Sonnet в среднем ставил на 0,66 балла ниже, но решение совпало в семи версиях из 12.
Подробности опубликованы на странице habr.com.
