В качестве одного из студенческих проектов, мной была создана серия иллюстрированных игральных карт с отсылкой на гравюры.
Концепция
Мне стало интересно, как разработанный стиль иллюстрации для карт, можно было бы применить в полноразмерной сюжетной иллюстрации.
Я решила обучить генеративную модель на основе собственных работ и проиллюстрировать с ее помощью сказку братьев Гримм «Рапунцель».
Подготовленный датасет состоит из 36 иллюстраций.
Обучение генеративной модели
Поскольку карты не имеют пропорций 1:1, мной заранее были подготовлены изображения нужного формата.
После загрузки датасета, при помощь модели BLIP были сформированы промты, описывающие исходные изображения, а также присвоен ТОК (token identifier)
На основе загруженного датасета и сгенерированных описаний, модель обучалась по следующим параметрам:
Готовая модель была загружена на сервис HuggingFace.
Итоговая серия иллюстраций
На основе сгенерированной серии можно сделать следующие выводы:
Модели удалось передать общее настроение и стилистические особенности исходной серии работ, а именно штриховку, имитацию чернильных пятен, общую цветовую палитру, характер линий.
Отдельно хотелось бы отметить, что нейросеть хорошо справилась с передачей стилизованных контуров и тонировкой. Однако стоит отметить, что у модели имеются проблемы с ощущением пространства и человеческих пропорций.
Несмотря на эти недочеты, нейросети удалось сгенерировать консистентную, цельную серию работ, стилистически согласованных между собой и с референсами. Модель масштабировала стиль, добавила сюжетности, образуя неплохие иллюстрации для сказки.
ГенИИ не применялись.
