Главное

  • Brain-IT восстанавливает расположение, форму и цвет объектов по данным сканирования мозга.
  • Для настройки уже обученной системы достаточно около часа записей нового участника.
  • При проверке на четырех людях система превзошла прежние методы почти по всем использованным показателям.

Как Brain-IT восстанавливает изображения

Brain-IT получает данные функциональной МРТ, метода, который отслеживает кровоток в мозге. Сканер также фиксирует изменения насыщения крови кислородом в разных областях.

Устройство не фотографирует мысли и не записывает отдельные нейроны. Алгоритм ищет в изменениях кровотока признаки изображения, которое человек видел во время сканирования.

Система делит задачу на две части. Первая восстанавливает композицию, формы и расположение предметов. Вторая определяет смысл изображения.

Затем система объединяет эти сведения и создает итоговую картинку. Такой подход помогает сохранять содержание сцены и положение ее элементов.

Обучение и настройка под человека

Для обучения использовали открытый набор записей мозга восьми добровольцев. Во время сканирования они смотрели тысячи фотографий.

Проверку провели на четырех участниках. Brain-IT показала более высокое качество почти по всем примененным показателям. Система особенно точно передавала пространственное расположение предметов.

Мозг каждого участника немного отличается по строению. Поэтому системе нужно определить области, которые выполняют сходные функции у разных людей.

Brain-IT группирует участки мозга по характеру их работы. Затем система переносит уже найденные закономерности между участниками.

Около часа записей нового человека дает качество, сопоставимое с прежними системами. Им для такого результата требовалось примерно 40 часов. Этот час нужен для настройки готовой модели, а не для ее обучения с нуля.

Ограничения и следующие задачи

Brain-IT восстанавливает только изображения, которые человек действительно видел при сканировании. Система по-прежнему может ошибаться.

Функциональная МРТ требует большого томографа. Участник должен неподвижно находиться внутри аппарата. Поэтому сейчас незаметно собрать такие данные невозможно.

Разработчики хотят научить систему работать с видео, звуком, воображаемыми сценами и сновидениями. Сейчас Brain-IT не поддерживает такие задачи.

Исследователи также изучают ЭЭГ, запись электрических сигналов мозга через электроды. Эти электроды размещают на коже головы.

Ранее применявшиеся методы могли правильно определить собаку или автомобиль на изображении. Однако при создании картинки они меняли цвет, форму, фон или положение объекта.

Подробности: SecurityLab