Идея проекта
«Я знаю это место» — исследование ностальгии и памяти. За основу я взяла свой проект с первого курса — зин «Дворы» и переосмыслила, продолжила его. Название отсылает и к знакомым каждому спальным районам, и к моему возвращению к собственному стилю прошлых лет. В этом проекте ИИ стал соавтором: на основе старых набросков он создает новые дворы — вымышленные, но всё ещё знакомые.
В проекте использовались следующие инструменты:
–– Stable Diffusion — обучение генеративной нейросети под заданный стиль; –– Gemini 3 –– помощь с написанием промтов для генераций; –– Google Colab –– редактирование и выполнение кода, генерация изображений; — Hugging Face — получение токена для обучения нейросети, а также загрузка результата на сайт; –– Figma –– кадрирование иллюстраций, коллажирование; –– Upscayl –– увеличение изображений, улучшение их качества
Исходные иллюстрации
Часть иллюстраций
Изначальная идея проекта, который я решила переосмыслить «глазами» ИИ, звучит так:
«Дворы — места контрастов: уюта и холодности, грязи и своеобразной красоты. Они обладают своей уникальной притягивающей и, вместе с тем, отталкивающей атмосферой. В каждом дворе прячется множество деталей, придающих им характер...Всё это делает дворы удивительной локацией и вызывает интерес.»
Ключевые элементы стилизации исходных иллюстраций, которые требуется сохранить в дальнейших генерациях:
–– ч/б палитра, контрастность –– неаккуратность линии и общая наивность –– фактурность –– тематика пост-советского пространства дворов
Часть иллюстраций
Процесс обучения
Подготовка среды
Сначала потребовалось подготовить рабочее окружение и загрузить все необходимые библиотеки: Diffusers для работы с моделями, Accelerate для оптимизации и Bitsandbytes для экономии видеопамяти. Также на этом этапе скачивается специальный скрипт, который «научит» SDXL новому стилю.Загрузка и проверка данных
Далее изображения для формирования датасета были загружены с компьютера в Google Colab. После этого сформировалась визуальная сетка из картинок, чтобы можно было убедиться в корректности загрузки датасета.После загрузки фото пришло время создать текстовые описания для каждого кадра. Это важная часть подготовки датасета, выполненная автоматически. С помощью простой команды я вывела список подписей на экран и увидела, что нейросеть достаточно точно распознала детали на иллюстрациях. Это подтвердило: данные считались корректно, и всё готово к самой тренировке.
Авторизация
На этом этапе мной был выполнен вход в систему Hugging Face с помощью токена доступа, чтобы иметь возможность работать с моделями.Настройка и запуск тренировки
Далее были заданы ключевые параметры обучения: путь к модели SDXL, папка с изображениями и уникальный токен объекта (instance prompt). Само обучение запущено командой accelerate launch с использованием оптимизатора 8-bit Adam для экономии памяти GPU.Для тренировки, в свою очередь, выбрано оптимальное разрешение 512, выставлен максимальный шаг тренинга на 500, а промежуточный чекпоинт установлен на 250. Благодаря использованию 8-битного оптимизатора Adam и градиентного чекпоинтинга, время обучения сократилось, и процесс занял совсем немного времени
Сохранение модели в Hugging Face; Генерация изображений
В завершение процесса полученная модель была сохранена и экспортирована, чтобы её можно было использовать в дальнейшем. Сразу после этого я приступила к генерации: загрузила обученные веса и создала первые изображения. Результат подтвердил, что нейросеть успешно усвоила новый стиль
Результаты генерации
Промт: «PLACEIK_zine style, а high-contrast ink drawing of a mysterious courtyard»
Генерация / Моя иллюстрация
Получившаяся генерация слабо, но всё же относится к тому, что было изображено на моих иллюстрациях, и это не могло не радовать. Модели удалось сохранить фактуру, ч/б палитру и общее впечатление. Однако меня не устроило, что без контекста в этом изображении сложно распознать заложенную тему. Поэтому я начала двигаться в сторону уточнения запроса.
