Модель предназначена для исправления проблем в коде, его изменения, работы с инструментами и выполнения многошаговых процессов. Amazon Web Services

Главное

  • Beam содержит 501 млрд общих параметров и 23 млрд активных параметров.
  • Длина контекста модели заявлена на уровне 1 млн токенов, то есть единиц текста, которые обрабатывает модель.
  • На старте Beam доступна через SageMaker JumpStart в двух регионах США: Восток США, Северная Вирджиния, и Восток США, Огайо.

Как устроена модель

Beam относится к разреженным моделям со смешанными экспертами.

Общий объем модели составляет 501 млрд параметров. При обработке одного токена активными остаются 23 млрд параметров, что определяет вычисления для каждого такого фрагмента.

Компания выпустила веса Beam через Hugging Face (входит в реестр иноагентов Минюста РФ) по лицензии Apache 2.0. Hugging Face (входит в реестр иноагентов Минюста РФ), платформа, где сообщество работает с моделями, наборами данных и приложениями.

Beam 1.0 доступна в вариантах BF16, FP8 и NVFP4. Эти форматы отличаются требованиями к памяти и совместимостью с оборудованием.

Развертывание в AWS

AWS предлагает запускать Beam через SageMaker JumpStart. Этот сервис предоставляет управляемый пакет модели, конечную точку и интерфейс для запросов без самостоятельного управления Kubernetes.

Для более гибкого управления можно использовать SageMaker HyperPod Inference. Он работает с кластером, которым управляет Amazon EKS, и позволяет контролировать распределенное выполнение модели.

Также Beam можно запускать через SGLang или vLLM. Эти программы позволяют настраивать среду запуска, параметры работы, сжатие модели и распределение вычислений.

Для Beam требуется несколько графических процессоров. Для версии FP8 AWS указывает системы ml.p5.48xlarge с NVIDIA H100, а также ml.p5e.48xlarge и ml.p5en.48xlarge с NVIDIA H200. Для NVFP4 указана ml.p6-b200.48xlarge с NVIDIA B200.

Что требуется для запуска

Для развертывания нужен аккаунт AWS с необходимыми разрешениями, доступ к Beam и принятые условия использования модели. Также требуются AWS CLI, Python версии 3.11 или новее и квота на графические процессоры.

Перед запуском необходимо рассчитать память для весов модели, кэша и среды выполнения. AWS также рекомендует проверить расчет нагрузочным тестом.

Для экспериментов рекомендуется использовать версию модели из Hugging Face (входит в реестр иноагентов Минюста РФ), а для производственных запусков и кэширования копировать контрольную точку в Amazon S3 или Amazon FSx.