Обучение нейросети под стиль иллюстраций Эрика Булатова и Олега Васильева
Концепция
Концепция проекта строится вокруг уникального изобразительного языка детской книги Эрика Булатова и Олега Васильева. Основной идеей стало воссоздание особенного иллюстрационного стиля этих художников с их запоминающимися персонажами, яркими цветами и интересными сюжетами.
Исходные иллюстрации
Dataset «Иллюстрации к сказкам Эрика Булатова и Олега Васильева»
Натуральные, мягкие цвета, пространственная глубина, перспектива в интерьерах или пейзажах, композиционный центр, держащий героя, персонажи без лишнего гротеска, а их лица — одухотворённые, выразительные, но спокойные, детализированный, «живой» фон: леса, поля, комнаты, где видно структуру дерева, ветви, траву — все это идеально описывает иллюстрации Булатова и Васильева.
Dataset «Иллюстрации к сказкам Эрика Булатова и Олега Васильева»
Итоговые изображения
illustration in BULATOV style, a magical glade glowing under the moon, stars above, sparkling grass
illustration in BULATOV style, a young boy with tousled hair in a linen shirt and belt stands at the edge of the forest, holding a wooden staff.
illustration in BULATOV style, A snowy forest with tall pine trees, footprints in the snow, moonlight
illustration in BULATOV style, a boy sitting by a fire, listening to an old story
illustration in BULATOV style, strawberry bush on the white background
illustration in BULATOV style, an old woman in a shawl sitting near her house, knitting
illustration in BULATOV style, a girl looking into a well in the forest, flowers around her
illustration in BULATOV style, night sky full of stars, the Firebird with glowing golden feathers flies overhead, below — a forest path and a young boy holding a staff
illustration in BULATOV style, an autumn forest full of yellow leaves, warm evening light
Процесс обучения
В процессе обучения я использовала модель Stable Diffusion XL.
Для начала я создала и загрузила датасет под названием «erikbulatovandvasiliev», в который загрузила 30 иллюстраций из сказок Булатова и Васильева.
В качестве обучающего текста к изображениям использовался промпт: «illustration in BULATOV style», который автоматически добавлялся к описанию каждого изображения с помощью модели BLIP.
Обучение я проводила с разрешением изображений 512×512 пикселей, размер батча составлял 2 изображения, с накоплением градиентов каждые 3 шага.
Оценка процесса
illustration in BULATOV style, a young girl in a red headscarf and traditional Russian dress stands in the middle of a snowy forest, her cheeks rosy from the cold, holding a woven basket
Получившиеся изображения отлично передают эстетику оригинальных иллюстраций детских сказок. Нельзя не отметить хорошо переданную атмосферу и настроение сцен. Персонажи получились колоритными, но часто нейросеть ошибалась с прорисовке лиц, рук и человеческих силуэтов.
Особенно меня порадовали точно переданные мазки авторов, их особенные «штрихи».
неудачные генерации
Изображения хорошо передают глубину сцены, есть передний, средний и задний план.
Ярко и сочно переданы уникальные цвета иллюстраций, которые также помогают придать глубину изображениям.
Особенно можно отметить, как хорошо нейросеть справилась с передачей природы: кустарников, деревьев, листьев, травы и так далее.
Также получилось обучить передаче времен года, с их сменой меняется и настроение картины. Ночные сцены — мрачные и загадочные, а дневные — солнечные, яркие и сочные.
