Для локальной правки (изменения отдельной части изображения) нужен инструмент с выделением области или маской (областью, отмеченной для обработки). Пользователь отмечает нужный участок, описывает результат и запускает обработку. При полной повторной генерации модель получает больше свободы и может перестроить весь кадр.
Выделение ограничивает область обработки, но не гарантирует неизменность пикселей (мельчайших точек цифрового изображения) вокруг нее. Поэтому исходник (первоначальный файл изображения) сохраняют отдельно, а у готового изображения проверяют границу маски, свет, перспективу, фон и соседние объекты.
Содержание
- Что такое точечное редактирование изображения?
- Чем локальная правка отличается от полной генерации?
- Как выделение и маска задают область?
- Какой способ выбрать для конкретной правки
- Как изменить отдельный участок изображения нейросетью
- Как выбрать размер и границу выделения
- Как составить промпт для локальной правки
- Шаблоны запросов для четырех задач
- Как удалить, заменить или добавить объект
- Удаление объекта и восстановление фона
- Замена предмета в существующей композиции
- Добавление новой детали
- Как заменить фон или дорисовать край изображения
- Что делать, если нейросеть изменила соседние детали
- Когда уменьшать или расширять область, а когда — смягчать ее границу
- Можно ли исправить текст внутри готового изображения
- Частые вопросы
- Подходит ли локальное редактирование нейросетью для рисунков и иллюстраций?
- Можно ли несколько раз изменить один и тот же участок изображения?
- Как сохранить прозрачный фон после локального редактирования?
- Нужно ли увеличивать разрешение изображения перед точечной правкой?
- Заключение
Что такое точечное редактирование изображения?
Точечное, или локальное, редактирование меняет отдельную область готового изображения. Пользователь выделяет участок или обозначает его маской и передает модели текстовый запрос — промпт. Нейросеть заполняет выбранную область с учетом запроса и окружающего изображения.
Такой процесс называют inpainting, или инпейтингом. Модель восстанавливает либо создает содержимое внутри заданного участка. В исследовании RePaint область заполнения задает произвольная бинарная маска (двухцветная карта области обработки), а известные части исходника помогают согласовать новый фрагмент с окружением.
“Natural language offers a highly intuitive interface for image editing”
Omri Avrahami, Dani Lischinski, Ohad Fried, авторы исследования Blended Diffusion
Чем локальная правка отличается от полной генерации?
При полной генерации модель заново строит кадр. Она способна изменить позу человека, форму предметов, цвета и расположение деталей, даже если промпт упоминает один объект.
Локальная правка ограничивает область обработки. Ее применяют для добавления, удаления и замены объектов, изменения фона и расширения изображения. Такие сценарии описаны в исследовании Blended Diffusion.
Как выделение и маска задают область?
В графическом интерфейсе пользователь обозначает участок кистью, рамкой или контуром. Отдельная маска представляет собой вспомогательное изображение: по значениям ее пикселей программа определяет, какую область обрабатывать. Генеративная заливка (создание содержимого в выделенной области) использует это ограничение вместе с промптом и формирует новый фрагмент.
Сервисы обозначают изменяемые области по-разному. В OpenAI Images API их задают прозрачные участки PNG-маски (маски в формате изображения PNG), размеры которой должны совпадать с исходником. В Hugging Face Diffusers (входит в реестр иноагентов Минюста РФ) белые пиксели указывают область перерисовки, черные — сохраняемую часть. Правило для конкретного редактора нужно брать из его документации.
Какой способ выбрать для конкретной правки
Метод выбирают по размеру участка, характеру нового содержимого и требованиям к точности:
| Метод | Подходящая задача | Предсказуемость | Основное ограничение |
|---|---|---|---|
| Генеративная заливка | Добавление или смысловая замена объекта | Средняя | Модель может изменить форму, фактуру и окружение |
| Генеративное удаление | Удаление крупного предмета с восстановлением фона | Средняя | На сложном фоне возможны повторы и искажения |
| Восстановление | Пыль, пятно, царапина и другой небольшой дефект | Выше на однородных участках | Метод плохо подходит для восстановления сложной смысловой детали |
| Клонирование | Перенос подходящей фактуры из другой части кадра | Высокая | Скопированный участок может образовать заметный повтор |
| Ручная правка | Точная геометрия, контуры, логотипы и типографика (оформление и расположение текста) | Зависит от навыка, но дает прямой контроль | Требует больше времени |
Adobe разделяет эти задачи похожим образом: генеративное удаление предназначено для крупных объектов, восстановление — для небольших дефектов, клонирование — для переноса подходящего участка изображения.
Генеративная заливка подходит, когда нужно создать то, чего не хватает в изображении. Клонирование дает более прямой контроль, если подходящая фактура уже есть в кадре. Точные буквы, контуры и расположение элементов проще контролировать вручную.
Как изменить отдельный участок изображения нейросетью
Платформенно-нейтральный (не зависящий от конкретного сервиса) процесс включает шесть действий:
- Сохранить исходник. Создайте копию файла. Если редактор поддерживает слои (независимые уровни изображения), размещайте варианты на новом слое;
- Выбрать локальный инструмент. Подойдет функция с выделением области, маской, инпейтингом, генеративной заливкой или удалением;
- Обозначить область. Включите в нее объект и пространство, которое понадобится модели для нового контура, фона или тени;
- Описать результат. Укажите действие, объект, его внешний вид и признаки композиции, которые требуется сохранить;
- Получить несколько вариантов. Генерации могут различаться формой, масштабом, светом и фактурой;
- Проверить изображение. Осмотрите границу правки, лицо, фон, перспективу, тени, узоры и соседние предметы.
При неразрушающем редактировании исходные пиксели хранятся отдельно от правок. Например, Photoshop на iPad помещает результат генеративной заливки на отдельный генеративный слой. В других редакторах можно защитить исходник, если работать с копией файла и сохранять отдельные версии.
Как выбрать размер и границу выделения
Небольшая маска подходит для пятна или малого дефекта, если модель видит достаточно окружающего контекста. При замене предмета область обычно охватывает его контур, части тени и небольшой запас вокруг. Широкое выделение повышает риск изменений в соседних деталях.
Мягкая граница может скрыть резкий переход между исходным и созданным фрагментом. Редактор и само изображение влияют на то, как будет выглядеть результат. Волосы, провода, пальцы, мелкий орнамент и другие тонкие детали сложно редактировать. Работа Blended Latent Diffusion рассматривает тонкие маски и точное восстановление исходника как отдельные технические задачи.
Как составить промпт для локальной правки
Промпт описывает содержимое выбранного участка и указывает, как модель должна вписать его в кадр. Для запроса подойдет такая формула:
Действие + изменяемый объект + нужный результат + сохраняемые признаки + свет, перспектива и стиль
Где:
- Формула — структура промпта для локальной правки;
- Действие — удалить, заменить, добавить или восстановить;
- Изменяемый объект — предмет или участок внутри выделения;
- Нужный результат — содержимое после обработки;
- Сохраняемые признаки — лицо, поза, фон, композиция, цвета или соседние объекты;
- Свет, перспектива и стиль — параметры, которые связывают новый фрагмент с исходным изображением.
Шаблоны запросов для четырех задач
Удаление объекта: «Удалить [объект]. Восстановить на его месте [фон или поверхность], продолжить существующую фактуру и тени. Сохранить [важные соседние детали], освещение и перспективу кадра».
Замена объекта: «Заменить [исходный объект] на [новый объект]. Новый предмет должен иметь [материал, цвет, форму и масштаб]. Сохранить его положение, направление света, тень, фон и остальные элементы композиции».
Добавление детали: «Добавить в выделенную область [объект] с [нужными признаками]. Задать объекту [положение и масштаб], согласовать перспективу, освещение и тень с окружением. Сохранить [важные элементы]».
Восстановление фона: «Восстановить в выделенной области продолжение [стены, неба, ткани, дороги или другой поверхности]. Повторить направление линий, масштаб текстуры, освещение и цвет соседнего фона. Сохранить границы соседних объектов».
Фраза «ничего больше не менять» задает слишком расплывчатое ограничение. Промпт становится точнее, когда перечисляет сохраняемые признаки: лицо человека, положение рук, цвет стены, направление света или предмет у границы маски.
Как удалить, заменить или добавить объект
Удаление объекта и восстановление фона
После удаления модель восстанавливает участок, который раньше был закрыт предметом. На однотонной стене ей достаточно продолжить цвет и освещение. На кирпичной кладке, узорной ткани и листве нужно восстановить структуру, перспективу и мелкие детали.
Маска должна захватывать объект вместе с его визуальными следами: тенью, отражением и местом контакта с поверхностью. Если выделить только центр предмета, по краям могут сохраниться части контура.
Замена предмета в существующей композиции
Для нового силуэта нужен запас пространства. В промпте стоит указать материал, цвет, ракурс и примерный масштаб предмета. При заметном изменении формы прежняя тень или точка контакта могут перестать соответствовать объекту.
Сложную замену можно разделить на несколько локальных операций. Первая меняет основной предмет, следующая исправляет тень или границу. Так модели приходится учитывать меньше условий за один раз.
Добавление новой детали
При добавлении предмета модель учитывает форму выделения и окружающий контекст. Исследование SmartBrush рассматривает текст как описание содержимого, маску — как средство управления формой нового объекта.
Вставку проверяют по линии горизонта, масштабу относительно соседних предметов, направлению света и положению тени. Если ошибиться хотя бы в одном из этих признаков, добавленный объект может быть заметен даже при ровной границе.
Как заменить фон или дорисовать край изображения
При локальной замене фон меняют в отдельной области внутри кадра. Расширение изображения создает содержимое за его прежними границами. Во втором случае модели приходится придумывать больше неизвестных деталей, продолжая линии, текстуры и освещение.
При замене фона выделение должно учитывать контур переднего объекта. Волосы, полупрозрачная ткань, стекло и размытые края требуют особенно внимательной проверки. В промпте для расширения кадра полезно указать направление поверхности, предполагаемые элементы за границей кадра и признаки, которые связывают новый участок с исходником.
Готовый фрагмент проверяют по шести критериям:
- Линии перспективы продолжаются в прежнем направлении;
- Новые объекты соответствуют масштабу сцены;
- Яркость и направление света согласуются с исходником;
- Тени занимают логичное положение и сохраняют подходящую мягкость;
- Узоры и текстуры не образуют заметных повторов;
- Граница старого и нового фрагмента не выглядит отдельным швом.
Что делать, если нейросеть изменила соседние детали
Маска указывает, какой участок обрабатывать, но модель может изменить и соседние детали. OpenAI предупреждает, что правка изображения в ChatGPT иногда выходит за границы выделения. Авторы SmartBrush также отмечают изменения фоновой текстуры рядом с созданным объектом в некоторых диффузионных методах (способах генерации через удаление шума).
| Проблема | Вероятная причина | Следующая правка |
|---|---|---|
| Изменилось лицо | Маска захватила часть головы либо промпт потребовал перестроить позу или освещение | Исключить лицо из области и убрать глобальные изменения из запроса |
| Появился заметный шов | Резкая граница проходит по сложной текстуре | Изменить контур и при наличии соответствующей настройки осторожно смягчить край |
| Изменился фон | Выделение захватило лишнюю область либо модели потребовался дополнительный контекст | Сузить область и прямо описать сохраняемый фон |
| Изменились свет или стиль | Промпт задает условия для всего кадра | Оставить в запросе только локальные изменения и перечислить сохраняемые признаки |
| Нарушилась перспектива | Промпт не задает ракурс и масштаб нового объекта | Добавить положение, ракурс, масштаб и связь с поверхностью |
| Исказился соседний объект | Его контур попал в маску или соприкасается с рабочей областью | Изменить форму выделения и отдельно исправить границу |
| Тонкая деталь исчезла | Узкая маска не дала модели достаточно пространства для восстановления | Немного расширить область либо восстановить деталь вручную |
Когда уменьшать или расширять область, а когда — смягчать ее границу
Область уменьшают, если модель затрагивает лицо, фон или соседние предметы. Ее расширяют, когда новому объекту мало места, по краям остаются части старого контура или модель должна заново построить тень. Чтобы переход на коже, небе, стене или размытой поверхности был плавным, границу смягчают, если редактор позволяет управлять краем.
Если нужно изменить свет, сезон, ракурс или художественный стиль во всем кадре, изображение придется перестроить сильнее. Локальная маска плохо подходит для задачи, которая затрагивает изображение целиком.
Можно ли исправить текст внутри готового изображения
Генеративная модель может заменить надпись целиком, но не гарантирует, что точно сохранит шрифт, начертание, язык, перспективу, межбуквенные интервалы и композицию. Заменить одну букву в стилизованном слове особенно сложно: модели приходится воспроизвести сам знак и сохранить типографику вокруг него.
Генеративная правка подходит для надписи, которая служит частью иллюстрации и допускает визуальные отклонения. При строгих требованиях исходный текст лучше удалить или закрыть, затем вручную наложить новую надпись в графическом редакторе. Ручной способ дает контроль над шрифтом, размером, кернингом (расстоянием между соседними буквами), цветом, наклоном и положением символов.
Частые вопросы
Подходит ли локальное редактирование нейросетью для рисунков и иллюстраций?
Да, если выбранный инструмент работает с таким типом изображения. В промпте можно указать технику, характер линий, палитру и фактуру. После обработки нужно проверить, сохранились ли исходные толщина контуров и способ нанесения цвета.
Можно ли несколько раз изменить один и тот же участок изображения?
Можно. Каждый следующий раз обрабатывают уже измененный вариант, поэтому ошибки и потеря деталей могут накапливаться. Копия исходника и сохраненные версии позволяют вернуться к более раннему результату.
Как сохранить прозрачный фон после локального редактирования?
Выбранный редактор должен поддерживать прозрачность при импорте, обработке и экспорте. Прозрачность маски и прозрачный фон выполняют разные задачи: маска может лишь обозначать область правки. После сохранения файл стоит открыть повторно и проверить альфа-канал — данные о прозрачности пикселей.
Нужно ли увеличивать разрешение изображения перед точечной правкой?
Обязательного порядка нет. Если предварительно увеличить изображение, модель получит больше пикселей для обработки мелкого участка, но могут появиться искусственные детали. Можно сравнить два варианта: сначала отредактировать исходник и затем увеличить его либо сначала увеличить копию и затем отредактировать ее.
Заключение
Если задача затрагивает отдельный фрагмент, прежде всего нужно выбрать подходящий метод и точно задать область локальной правки. Маска направляет модель, но не обеспечивает полной сохранности соседних пикселей.
Если промпт ясен, контекста достаточно, а свет, перспектива и границы проверены, риск заметных артефактов (нежелательных искажений изображения) ниже. Точный текст, строгую геометрию и повторяемую фактуру проще контролировать при ручной правке или клонировании.
