Главное

  • Gemini 4 Argon набрала 87% в тесте физических и пространственных задач.
  • Модель управляла роботом Spot и роботизированной рукой без предварительного обучения.
  • Google пока не объявляла о переносе Argon в свои отдельные платформы для робототехники.

Как модель проверяли на физических задачах

Google протестировала Gemini 4 Argon в наборе Embodied Reasoning. Этот тест проверяет понимание физических и пространственных задач в трехмерной среде.

При использовании только логических рассуждений модель получила 87%. По заявлению Google, результат оказался выше показателей других передовых моделей в этом тесте.

Google рассматривает ее как универсальную модель для задач, связанных с физическим миром.

Эти системы Google разрабатывает специально для робототехники.

Что Argon делала с роботами

В одном эксперименте Argon управляла роботом Spot компании Boston Dynamics.

Роботу поставили задачу поднять банку и выбросить ее в мусорное ведро с педалью. Предварительно этому действию робот не обучался.

Сначала Argon создавала цифровую модель ведра с педалью. Затем робот переносил отработанную последовательность действий в реальный мир.

Во время выполнения модель следила за положением манипулятора, банки и открытого ведра. Она также помогала роботу сохранять равновесие, пока одна конечность нажимала на педаль.

Во втором эксперименте Argon управляла роботизированной рукой. Манипулятор ставил опрокинутую кружку вертикально и помещал внутрь смятую салфетку.

После каждого этапа система заново анализировала изображение. Она корректировала движение с учетом нового положения предметов. Здесь также не было предварительного обучения конкретному действию.

Google показала и технологию Real2Sim. Она превращает реальные сцены в физические компьютерные модели.

Argon анализировала видео, восстанавливала форму объектов и задавала их массу, трение и поведение при столкновениях. Затем виртуальная сцена сравнивалась с изображениями реальных камер.

Тот же подход использовали для превращения грубого рисунка в трехмерную анимацию. В примере робот сбивал мячом пирамиду из кубиков.

Ранее Google представила Gemini Robotics 1.5 и Gemini Robotics-ER 1.5. Эти две модели работают по схеме, при которой робот сначала анализирует задачу, а затем выполняет действие.

Подробности: 3DNews