Дообучение нейросети на стиль арт-деко

Арт-деко — это художественный и дизайнерский стиль, расцветший в 1920–1930-х годах. Его можно назвать эстетикой роскоши, геометрии и футуризма. Он отличается яркими схематичными палитрами, плавными линиями в сочетании с вытянутыми вертикальными силуэтами, экзотическими паттернами и графичной заливкой цвета.

В этом проекте я обучаю нейросеть на изображениях в стиле арт-деко — обложках для Vogue и других постерах 1920–30-х годов. Я выбирала изображения наиболее похожие по стилю, это оказались работы авторства французских художников и художниц. Я обращала внимание на то, чтобы на иллюстрациях не было светотени, потому что именно такие генерации я хотела создать.

Первоначальная задумка: создать серию работ в этом стиле с персонажами мира фэнтези. Мне стало интересно, как они будут выглядеть в этом стиле.

Для дообучения модели Stable Diffusion я использовала готовый ноутбук от Hugging Face: SDXL DreamBooth + LoRA. Этот ноутбук предоставляет удобную среду для обучения с использованием DreamBooth в сочетании с техникой LoRA.

При подготовке датасета я привела изображения к квадратному формату 1:1 с разрешением 512×512 пикселей и удалила с них текстовые элементы, чтобы исключить возможные искажения в процессе обучения модели.

Я использовала префикс: "illustration in ART DECO style", а технология BLIP помогла сгенерировать дополнительное описания к изображениям.

Нейросеть хорошо передала ракурс в профиль, что, вероятно, связано с большим количеством обучающих примеров в этом ракурсе. Однако, изображения в ¾ и анфас получились менее стилизованными и меньше похожи на стиль, который был использован при обучении нейросети.

Указание в запросе элементов одежды, которые чаще встречались в исходных изображениях, помогло нейросети точнее воспроизвести заданный стиль. Например, в промптах фигурировали красное платье и черная шляпа.

При генерации изображений фэнтезийных героинь, таких как эльфийки и вампирши, нейросеть часто отклоняется от заданного стиля, добавляя детали, не характерные для него. Например, она может излишне детализировать локоны волос.

В удачных примерах нейросеть смогла передать плоскую заливку цветом без теней, характерные для стиля черты фигуры, а также бледную палитру с эффектом шума, если в промпте не было указано обратного.

После повторного обучения с дополнением датасета изображения стали реалистичнее, особенно в проработке лицевых черт. При этом уровень детализации локонов снизился, что, напротив, сыграло на пользу — такая стилизация больше соответствует визуальному языку арт-деко, где преобладают обобщённые формы и графичность линий.