Расписные керамические плитки — это уникальный элемент декора, часто создаваемый вручную для облицовки стен, каминов и печей. Они отличаются разнообразием стилей, от классических орнаментов до современной живописи
Именно на этом стиле я решила остановится, выбирая визуальный язык для обучения модели. Разнообразие узоров даёт простор для различных генераций и экспериментов, что делает плитки идеальных кандидатом для обучения.
Фотографии, взятые для обучения модели
Фотографии, взятые для обучения модели
Для реализации проекта использовалась модель Stable Diffusion XL, дообученная с помощью метода LoRA и DreamBooth на датасете, состоящем из 16 изображений. Все фотографии орнаментов находятся в Public Domain (CC0).
Процесс обучения модели
Обучение проходило в Google Colab. Предварительно, до начала обучения, я установила необходимые для работы библиотеки и загрузила скрипт для дообучения модели Stable Diffusion с использованием метода LoRA и DreamBooth, а также загрузила сам датасет.
Также на этапе подготовки к обучению я заранее задала префикс с триггер-токеном ('izrtile, ceramic ornamental tile, '), который позволял связать визуальный стиль плиток с текстовым запросом. Кроме того, для каждого изображения из датасета создавалась строка, содержащая имя файла и соответствующий текстовый промпт.
Сформированные данные сохранялись в файл формата JSONL, который затем использовался моделью в процессе обучения.
Наконец, этап обучения модели. Чтобы все изображения из датасета поместились в память, они были приведены к размеру 512×512.
Обучение закончено и мы наконец переходим к генерации изображений наших орнаментов!
Итоги
В начале я хотела попробовать создать орнаменты с цветочными мотивами. Если просто написать "blue flowers", модель легко создаст синие абстрактные цветы.
blue flowers, purple vines, yellow ornaments
Далее я перешла уже к генерации конкретных цветов
tulips and vines, electric blue and pink colors, white glaze background / big daffodils, white glaze background, green and yellow vines / yellow sunflower in centre, symmetrical pattern
bright vibrant red gradient pink peaches, white yellow background glaze, floral ornaments around / vibrant red gradient pink peaches, white background glaze, floral ornaments around
После я захотела внедрить в генерации кроме цветов какие-то изображения фруктов, например, персиков. В начале модель превращала фрукты в цветы, но я решила оставить данные генерации, поскольку они также выглядели уникально и хорошо смотрелись в серии с другими изображениями.
На третий раз модель выдала красивое изображение плитки с персиками
big peaches hanging on the tree, colors of peaches, red with yellow gradient, white glaze background, high contrast
apples green colors, white glaze background high contrast, white and yellow floral ornaments / green gradient yellow pears on tree, green leaves, white glaze background high contrast
big red pomegranates on the vine, vibrant green vines and floral ornaments around, white glaze background high contrast
high contrast white glaze background, vines and grape, vibrant green and purple colors / watermelon fruit, purple vines around, pink flowers, white glaze background
После изображений с фруктами я перешла к созданию плиток с птицами. Также как и с генерациями цветов, сначала я попросила модель просто сгенерировать изображение птицы, без конкретного вида, на веточке с цветами.