Главное
- FLUX.3 Image Klein создает изображения по описанию, редактирует их по нескольким образцам и учитывает заданную разметку сцены.
- Дистиллированная версия работает за 16 шагов и создает изображение 1024 × 1024 примерно за 2 секунды на H100.
- Для модели доступны сжатые форматы весов NVFP4 и FP8, рассчитанные на загрузку на менее мощных видеокартах.
Две версии модели
В коллекцию FLUX.3 Image Klein входят две открытые версии.
Именно ее разработчик предлагает дообучать под собственные задачи.
Модель поддерживает создание изображения по текстовому описанию. В запросе можно указать объект, место, освещение, композицию и стиль.
Также FLUX.3 Image Klein умеет менять изображение по одному или нескольким образцам. Например, в исходном примере модель объединяет лису с одного изображения и скамью с другого.
Управление сценой и редактирование
Модель принимает список областей изображения в формате JSON. Для каждой области можно задать положение и описание объекта. Это позволяет управлять расположением элементов в новой сцене.
При редактировании можно указать исходную и новую область для объекта. В примере разработчик перемещает вязаного рыцаря вверх и влево, сохраняя фон, дракона, иглу и огонь на прежних местах.
FLUX.3 Image Klein поставляется как модульная версия Diffusers. Это означает, что отдельные блоки можно заменять или добавлять к ним собственные компоненты.
Для запуска разработчик предлагает установить последние версии Diffusers и Transformers. Текстовый запрос передается в программный интерфейс модели, после чего результат сохраняется как файл изображения.
Форматы и дообучение
FP8 уменьшает объем памяти, но на некоторых видеокартах веса каждый раз разворачиваются перед расчетом.
Для базовой версии доступны сценарии обучения LoRA. LoRA представляет собой способ дообучения модели под определенный стиль или задачу. Сценарии предназначены для создания изображений по тексту и редактирования изображений.
Модель опубликована в коллекции FLUX.3 Image Klein на Hugging Face (входит в реестр иноагентов Минюста РФ). Изображения можно создавать через пространство Hugging Face (входит в реестр иноагентов Минюста РФ) уже сейчас.
