Обучение модели Stable Diffusion на стиле художницы Винсента
Цель проекта
Стиль Винсента покорил меня сразу как я увидела ее арты в ВК, при создании проекта я брала ее картины за основу библиотеки в учебных целях.
Я хотела посмотреть как нейросеть будет взаимодействовать с работами и обучаться стилю во время генераций.
Примеры исходных изображений
Я собрала библиотеку картин самостоятельно, важными чертами стиля были:
- акварельный покрас - реалистичные пропорции - стилизация за счет лайна - часто волшебные или фентезийные темы
датасет: https://drive.google.com/drive/folders/1fxJVs6XsWwyRVEBbHFnaS-xFpPUkToAP
Описание применения генеративной модели
Stable Diffusion XL модель использовалась в некоммерческих целях, только для учебного проекта и не планируется иного использования.
Процесс обучения
Я использовала несколько инструментов для создания данного проекта, кода в нем, нейросети и ее дальнейшего обучения, Stable Diffusion для обучения, Hugging Face для получения токена и загрузки модели, Google Colab, где находился код и генерации и материалы курса, благодаря которым проект существует.
Блокнот: https://drive.google.com/drive/folders/1fojQdnzQsE5NqY4phtgBjMNVyE5Az5g_
vinsentastyle_LoRA
vinsenta-like art
Сгенерированные изображения
В финальных генерациях можно заметить как детальность промпта зависит от качества финальной генерации и уровня обучения нейросети.
У ИИ возникли заметные проблемы с лицами, но с каждым изображением ситуация становилась все лучше и лучше.
1. phoenix mage with fiery wings unfurled, their hands aglow with elemental magic, standing against a backdrop of flames 2. vinsenta-like art, A character dressed as a futuristic samurai, with neon-lit katana and cybernetic enhancements, standing in a bustling cityscape with holographic billboards
1. vinsenta-like art, centaur knight with a muscular human torso, clad in shining armor, wielding a lance while galloping across a mist-covered plain, magic atmosphere 2. 1. vinsenta-like art, centaur knight with a muscular human torso, clad in shining armor, wielding a lance while galloping across a mist-covered plain, magic atmosphere 3. vinsenta-like art, handsome vampire lord with pale skin, piercing red eyes, and a cloak lined with fur, standing in front of a gothic castle
1. vinsenta-like art, regal elf queen with pointed ears, long silver hair, and intricate leaf-like crown, sitting on a throne made of vines and flowers 2. vinsenta-like art, young fairy princess with iridescent wings, wearing a dress made of petals, standing amidst a field of wildflowers
Итог
Финальные генерации получились отличными, по моему мнению, очень приятно было наблюдать, как качество росло через время и спустя несколько промптов, явно видно как хорошо нейросеть развивается. Плюсом идет то, что черты художницы можно увидеть, чему я бесконечно рада. Опыт был полезен, и предполагаю будет актуальным в наше время.
В проекте использованы:
Hugging Face — получение токена для обучения нейросети.
Stable Diffusion XL — обучение генеративной нейросети под свой стиль.
Google Colab — программа в которой происходило написание, редактирование и генерация изображений.
