В инструкции описан повторяемый способ выбрать доступную модель, развернуть ее и проверить на тестовых запросах.
Схема состоит из трех шагов. Сначала пользователь находит и запускает модель из каталога. Затем он отправляет примерные запросы и измеряет задержку ответа, примерную длину ответа и скорость генерации одного запроса.
После проверки пользователь удаляет точку доступа. Для поддерживаемых моделей схема дает повторяемый путь оценки, но время развертывания зависит от модели, типа инстанса, квоты и региона AWS.
Для работы нужны аккаунт AWS с правами SageMaker AI, Python 3+ и SageMaker Python SDK v3. Также требуется достаточная квота на GPU для выбранной модели или запрос на ее увеличение.
Схема подходит для многих совместимых моделей SageMaker JumpStart. При этом формат запроса, тип инстанса, требования EULA и схема ответа могут потребовать настройки под конкретную модель.
Ранее в 2026 году SageMaker JumpStart получил два изменения для поиска и запуска моделей. В разделе Model Hub консоли Amazon SageMaker AI можно смотреть каталог, открывать примеры блокнотов в SageMaker Studio и выбирать готовые варианты запуска.
Также появилась связь с Hugging Face (входит в реестр иноагентов Минюста РФ). Она позволяет перейти от поиска модели к развертыванию в SageMaker AI одним нажатием.
Подробности опубликованы на странице aws.amazon.com.
