Модуль предназначен для корпоративных чат-ботов, виртуальных ассистентов и агентов с ИИ. Такие сервисы могут получать доступ к внутренним системам, документам и пользовательским данным.
Главное
- LLM Firewall проверяет входящие запросы и ответы языковых моделей.
- Система выявляет инъекции промптов, обход ограничений и попытки получить конфиденциальные сведения.
- Модуль уже входит в облачную версию PT AF Cloud. Для локальной версии PT AF PRO его планируют добавить позже.
Что проверяет модуль
LLM Firewall анализирует содержание сообщений и ищет несколько типов опасных действий. В их числе запросы для обхода ограничений модели и попытки получить системные инструкции.
Инъекция промпта означает запрос, который заставляет модель игнорировать заданные ограничения. Такой запрос может находиться в сообщении пользователя, документе или другом содержимом, которое обрабатывает модель.
Модуль также ищет сценарии, в которых атакующий пытается использовать возможности агента с ИИ в своих целях. Подозрительные запросы можно автоматически блокировать или сохранять для последующего анализа специалистами по информационной безопасности.
Проверка идёт в двух направлениях. Система анализирует сведения, которые поступают в языковую модель, и сформированные ею ответы.
Защита данных и контента
Отдельный механизм предназначен для поиска персональных данных, паролей и ключей доступа. Он также выявляет другую конфиденциальную информацию в пользовательских запросах.
Разработчики заявляют возможность обнаруживать запрещённый, токсичный и потенциально опасный контент. Обычные средства защиты веб-приложений не всегда распознают такие атаки.
Причина связана с формой вредоносного запроса. Внешне он может выглядеть как обычный текст.
Как работает подключение
LLM Firewall уже доступен в облачной версии PT AF Cloud. Модуль подключается к обмену данными между приложением и языковой моделью через API.
API представляет собой способ обмена данными между программами. Подключение совместимо с OpenAI Chat Completions и Responses.
Управление правилами защиты выполняется через PT Application Firewall. Администраторы могут задавать отдельные правила для разных сервисов с ИИ.
Для каждого сервиса можно выбрать наблюдение или автоматическую блокировку. Проверку запросов и ответов также можно настраивать отдельно.
Сведения о выявленных событиях передаются в PT Application Firewall. Там их можно использовать для дальнейшего анализа и расследования инцидентов.
Ранее Positive Technologies добавила LLM Firewall в облачную версию PT AF Cloud. Следующим шагом компания планирует выпуск модуля для локальной версии PT AF PRO, но срок пока не назван.
Подробности опубликованы на странице securitylab.ru.
