Главное

  • IdeaLens определяет происхождение идеи по структуре аргументов, а не по стилю текста.
  • В тестах система правильно распознала идеи искусственного интеллекта в 91% случаев.
  • Создатели советуют оценивать с ее помощью массив работ, а не выносить решения по отдельным текстам.

Как работает IdeaLens

Большинство детекторов ищет признаки искусственного интеллекта в словах и построении фраз. IdeaLens анализирует структуру аргументов.

Сначала инструмент сжимает научную статью до общего плана. В нем остаются последовательность аргументов и логика изложения без индивидуального стиля автора.

Затем система ищет в этом плане особенности, характерные для человеческого или машинного мышления. Она анализирует построение аргументов и развитие мысли.

Для обучения модели команда собрала 1 млн текстов. В выборку вошли новости, художественная проза, научные работы и блоги.

Эти материалы предварительно разделили на написанные людьми и созданные искусственным интеллектом. Для разметки использовали программу Pangram.

После этого большая языковая модель пересказала тексты и свела их к потоку идей. На таких обобщенных планах обучили итоговую систему классификации.

Результаты и ограничения

В тестах IdeaLens верно распознал идеи искусственного интеллекта в 91% случаев. Отдельно проверили тексты, написанные людьми до появления ChatGPT.

В этой проверке доля ложных срабатываний составила около 1%. Это случаи, когда человеческую идею ошибочно принимают за созданную искусственным интеллектом.

Так система принимала реально созданную искусственным интеллектом идею за человеческую.

«Мы бы предпочли, чтобы такой ИИ-документ остался незамеченным, чем чтобы человека несправедливо обвинили в использовании ИИ», сказал Ришантх Раджендхран, специалист по информатике из Университета Мэриленда и соавтор разработки.

Модель остается непрозрачной для создателей. Команда пока не до конца понимает, на какие признаки она опирается при выводе.

Исследователи заметили несколько различий между человеческими и машинными идеями. Искусственный интеллект чаще использует преувеличения и слишком общие формулировки.

Люди чаще добавляют специфические детали и контекст. Такие элементы сложнее подогнать под единый шаблон.

Никхил Гарг, специалист по информатике из Cornell Tech в Нью-Йорке, отметил результат тестов: «Меня удивило, что они способны распознавать аргументы, написанные ИИ».

При этом Гарг предупредил, что точность может снизиться на данных, которые отличаются от использованных при обучении. По его словам, признак искусственного интеллекта в одной области может быть результатом человеческого мышления в другой.

Для чего предлагают использовать инструмент

Основной вариант использования, описанный командой, это общая оценка доли искусственного интеллекта в массиве работ одного автора.

Инструмент не рекомендуют использовать как основание для решения по отдельному случаю. Причина связана с ошибками распознавания и неполным пониманием работы модели.

Исследователи также предупреждают о возможном изменении научной работы, если искусственному интеллекту начнут передавать генерацию идей и оценку результатов. По их словам, это может привести к большему единообразию научных материалов.

Ранее та же группа изучала различия между написанными людьми историями и текстами, созданными искусственным интеллектом. Исследование показало, что разные чат-боты часто используют одни и те же аргументы при написании эссе.

Подробности: Hi-Tech Mail.