Обучение генеративной модели Stable Diffusion под стиль Клода Моне
Идея
Всем нам иногда хочется сбежать от реальности и погрузиться в волшебный мир фей, русалок, гномов и прочих сказочных атрибутов. Поэтому я решила обучить модель легкому, немного волшебному художественному стилю Клода Моне. И с ее помощью посмотреть как могли бы выглядеть дома тех или иных сказочных персонажей.
Исходные изображения
Я взяла самые популярные изображения картин Клода Моне с его официального сайта. И так как их размер был слишком большим для обработки нейросетью, то я приняла решение «порезать» их на более мелкие фрагменты и на их основе обучать модель.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Google Colab — выполнение кода и генераций
Обучение модели осуществлялось на основе кода, данного нам преподавателем.
После того, как были установлены все необходимые библиотеки, я собрала вручную 28 изображений, «порезала» их на множество фрагментов и получилось 56 изображений для датасета, который и был использован для обучения нейросети.
После загрузки датасета и других данных я начала обучение модели in impressionism style.
И после того, как модель обучилась я приступила к генерации картинок.
Готовая серия изображений
Итак, предлагаю вам посмотреть на мой маленький архитектурно-фэнтезийный от самого маленького здания до самого большого.
Промты к изображениями будут подписаны ниже.
Начать, думаю, стоит с дома лесного эльфа, который поселился в самом красивом мухоморе в округе.
Это домик гномика, который поселился в старом дубовом пеньке в густом лесу.
Кто из нас не мечтал о том, чтобы хоть немного пожить в доме на дереве? А вот у гнома-лесовика он есть и в нем даже можно пожить, если конечно, договориться с хозяином.
Это дом цветочной феи, которая живет в розовом кусте.
А это дом водяной феи, которая живет на берегу живописного лазурного озера.
В моем волшебном мире есть место всем! И даже героям Толкиена — хоббитам.
А вот дом веселого дровосека, который приглядывает за волшебным лесом, в котором находятся все предыдущие домики.
А это дом одной из злых сестер-ведьм, которые мешают спокойной жизни обитателей леса.
Это особняк старшей из сестер, выбитый в крутом утесе.
А это, скрытая от посторонних глаз, таверна гномов, в которой можно выпить холодной росы и свежей гномьей медовухи!
О, а к этому месту лучше не приближаться, (по крайней мере так может показаться на первый взгляд) потому что тут живет великан! И нет, он совершенно не злой, просто очень одинокий, так что если будете рядом — заходите в гости.
В этой уединенной крепости не затихает лязг мечей и звуки заклинаний на древнем языке, потому что тут обучают ведьмаков…
А в этом роскошном, удаленном от суеты, замке живет семья правителей Лесного королевства.
В этих же перламутровых чертогах, окруженных бескрайними рифами, живет королевская чета Морского королевства.
Итог работы
Это был очень интересный опыт и серия изображений получилась яркой, запоминающейся. В ней есть общие черты, и было крайне занимательно придумывать промты, чтобы они в полной мере отражали мою задумку. Надеюсь, что эти картинки смогли хоть ненадолго вытянуть вас из стресса и проблем, и погрузить в волшебный и добрый мир, который мы придумали совместно с нейросетью!
