Новые миры Кацусика Хокусай
Большая волна в Канагаве / Кацусика Хокусай / 1831 г.
Кацусика Хокусай (21 октября 1760, Эдо (сейчас Токио) — 10 мая 1849, там же) — один из самых узнаваемых японских художников в России. Работу «Большая волна в Канагаве» печатают на картхолдерах, тетрадках, одежде, термосах и др., совсем несправедливо обделяя вниманием другие работы автора. А ведь они, как мне кажется, куда более трогательны, внимательны к деталям и красивы, чем давно примелькавшаяся «волна». К тому же, Кацусика Хокусай работал не только в технике гравюры, но также создавал живопись, рисунок, традиционные и экспериментальные иллюстрации.
Цель:
Обучить нейросеть Stable Diffusion создавать изображения, которые подчеркнули бы различные визуальные техники в творчестве Кацусика Хокусай и могли бы использоваться для оформления мерча/плакатов/канцелярии в японской эстетике (вместо набившей оскомину «Волны»).
Примеры изображений
1. Этапы работы и код:
1. Я собрала датасет из 35 изображений работ Хокусая и загрузила в среду Kaggle. 2. Выбрала GPU P 100, проверила, что все работает. 3. С помощью исходного кода (который дан в курсе) я сгенерировала промпты-описания. 4. На сайте Hugging Face получила токен. 5. Запустила обучение, исправив несколько ошибок исходного кода.
Вообще, исходный код очень облегчил задачу и сделал процесс обучения очень интересным!
2. Результаты генераций:
Мне стало интересно, как модель покажет себя на промежуточном чекпоинте (максимальный чекпоинт я установила 1000, промежуточный — 500)
prompt = «a photo of KACUKAI style, a cat»
prompt = «a photo of KACUKAI style, a big bird with a fish in its mouth»
Можно увидеть, что модель отлично передает стиль Кацусика Хокусай, но при этом не справляется с изображением мелких деталей и адекватной передачей конкретных объектов.
prompt = «a photo of KACUKAI style, a big wave»
Я захотела проверить, как модель соединит известное изображение Мона Лизы с стилем японского художника. Мы видим, что Мона Лиза подавила стиль, он совсем слабо выражен.
prompt = «a photo of KACUKAI style, Mona Lisa»
Здесь я уже использую модель на 1000. Изображение очень похоже на то, что вполне мог бы создать Кацусика, но заметим, лица и композиция и логика изображения (девушка держит в руке часть суши) — слабые места модели.
prompt = «a photo of KACUKAI style, a woman near the sea»
Слева: prompt = «a photo of KACUKAI style, a mountain in the evening» Справа авторский рисунок Кацусика Хокусай
Обратим внимание, с помощью каких деталей модель имитирует стиль художника: много воздуха в пейзаже на заднем фоне, маленькие подписи в верхнем правом углу, выбор цветов (приглушенные зеленый, синий и песочный).
Проблема — хаос и отсутсвие сюжета, который все же обязателен для японского художника Кацусика Хокусай.
Слева: prompt = «a photo of KACUKAI style, a bridge in a small villadge in winter» Справа авторский стиль
Слева: prompt = «a photo of KACUKAI style, a man with two wooden buckets» Справа авторское изображение
Сравнивая два схожих сюжета, мы прослеживаем, что удачнее всего модели даются простые пейзажи, но и в них она изобилует деталировкой. Люди и объекты попрежнему страдают от неправильной геометрии и алогичности. Впрочем, я думаю, что ей вполне удается передать атмосферу, тональность кисти автора.
prompt = «a photo of KACUKAI style, a fascinating view with people»
В искусстве ошибки порой становятся чем-то прекрасным и свежим. Слабые места моей модели: алогичность изображения, хаос и излишняя деталировка — я тоже решила превратить в преимущество. В моем случае, с помощью правильного промпта.
prompt = «a photo of KACUKAI style, a floral pattern»
Слева: prompt = «a photo of KACUKAI style, a pattern with woodes and sea» Справа: prompt = «a photo of KACUKAI style, a pattern with girls and umbrellas»
«Ошибки» изображения ИИ в паттерне с абсолютно уникальной стороны раскрыли стиль японского художника. Через цвета, элементы, характерные мотивы мы прослеживаем эстетику автора, хотя получаем картинку без сюжета, логики, законченности.
Слева: prompt = «a photo of KACUKAI style, a pattern of winter» Справа: prompt = «a photo of KACUKAI style, a pattern of summer and birds»
prompt = «a photo of KACUKAI style, a pattern of spring games»
Кроме того, именно паттерн, а не объектное изображение идеально подходит для создания дизайнов.