Концепция
Для своего проекта я решил обучить генеративную нейросеть Stable Diffusion рисовать изображения в стиле художника Архипа Куинджи. Меня привлекли его работы из-за особенностей изображения пространства в пейзаже, использования света, цвета и атмосферы. В картинах Куинджи часто присутствуют туманы, мягкие переходы света, яркие контрасты неба и земли, а также ощущение большого пространства и глубины.
При анализе работ художника мне показалось, что его пейзажи выглядят как пейзажи других планет — с необычным освещением, атмосферой и природой. Поэтому в своём проекте я решил объединить стиль Архипа Куинджи с космическими пейзажами и атмосферой известной медиафраншизы Star Wars.
Идея проекта — создать серию изображений, которые выглядят как пейзажи других планет из вселенной Star Wars, но нарисованные в художественном стиле Архипа Куинджи.
Изображения для обучения
Все изображения были кадрированы под квадратный формат 768х768. Итоговый датасет содержит 30 изображения.
Для обучения использовалась модель Stable Diffusion XL и метод DreamBooth LoRA. LoRA (Low-Rank Adaptation) позволяет дообучить модель под конкретный стиль на небольшом количестве изображений.
Процесс обучения
Перед началом работы нужно было убедиться, что всё работает. Я выгрузил необходимое количество изображений для обучения модели — 30 шт. После кадрировал их под квадратный формат.
Проверяем GPU и подгружаю необходимые библиотеки: bitsandbytes, transformers, accelerate, peft и diffusers, а также готовый скрипт обучения DreamBooth.
В Google Colab создаю папку для сохранения исходных файлов и загружаю в неё ранее собранные изображения с помощью кода. Затем открываю их для предпросмотра, чтобы убедиться в корректности загрузки и показать материалы для дальнейшей работы.
Создаем подписи
Запускаю модель BLIP для генерации текстовых описаний изображений. Каждое описание дополняется общим стилем «oil painting in KUINDZHI style,» а результаты сохраняются в файле metadata.jsonl.
Создаем аккаунт Hugging Face и выгружаем получившуюся модель.
Обучение модели
Запустил процесс обучения модели. Выбрал разрешение 512×512. Ограничил количество шагов до 1000, чтобы модель могла лучше адаптироваться и стать более точной. Настроил чекпоинты с интервалом в 250 шагов для сохранения прогресса в случае сбоев. Весь процесс занял чуть больше полутора часов.
Итоговая серия
Промпт: oil painting in KUINDZHI style, a colossal Star Wars cruiser landed on a misty alien valley with mountains in the distance
Описание результата: На изображении представлен пейзаж другой планеты с туманной долиной и горами на заднем плане. На переднем плане расположен большой космический корабль, который стоит на поверхности планеты. Изображение выполнено в живописной манере, с мягкими переходами света и тумана.
В результате генерации удалось передать многие особенности стиля Архипа Куинджи. Нейросеть хорошо перенесла стиль художника на новые сцены, которых не было в обучающем датасете — например, космические корабли, другие планеты и фантастические пейзажи. Это означает, что модель выучила именно стиль, а не просто скопировала изображения.
Промпт: oil painting in KUINDZHI style, a mysterious forest planet with glowing alien plants and a Star Wars cruiser hovering above
Описание результата: На изображении показан лесной пейзаж другой планеты с необычными растениями. В небе над лесом находится космический корабль. Основное внимание уделено освещению и атмосфере леса.
Промпт: oil painting in KUINDZHI style, a luminous alien planet landscape with twin suns and misty mountains, Star Wars universe
Описание результата: Изображён пейзаж планеты с двумя солнцами, горами и туманом. Основной акцент сделан на небе и освещении от двух источников света.
Промпт: oil painting in KUINDZHI style, an icy planet with frozen lakes and distant Star Wars spacecraft flying under aurora-lit skies
Описание результата: На изображении показана ледяная планета с замёрзшими озёрами и холодным освещением. В небе видны космические корабли и эффект северного сияния.
