Идея проекта
Альфонс Муха — чешский художник, один из главных представителей стиля арт-нуво. Его работы отличаются изящными линиями, витражными орнаментами, мягкими пастельными тонами и аллегорическими образами, часто с женскими персонажами в окружении цветов и декоративных элементов.
Цель проекта:
Создать кастомную модель на базе Stable Diffusion, способную генерировать изображения в стиле Альфонса Мухи — будь то портреты, иллюстрации или даже абстрактные композиции, сохраняющие его характерную эстетику.
Сбор данных: создание датасета
Обучающую выборку я составила из произведений Мухи разных периодов. Всего получилось около 60 изображений. Моей задачей не было полностью объять его визуальный язык, как автора. Наоборот я старалась чтобы работы походили друг на друга. Ведь так, нейросети будет проще выявить общие принципы. В том чтобы подобрать разные, но похожие работы художника мне здорово помог Pinterest. Особое внимание уделялось:
- Типичным элементам (орнаменты, обрамления, женские образы)
- Цветовой палитре (приглушенные золотые, пастельные, бирюзовые оттенки)
- Узнаваемым композиционным приемам (симметрия, витражная геометрия).
Подготовка изображений
Для оптимальной работы нейросети все изображения из датасета прошли предварительную обработку:
Кропинг до квадратного формата (1:1)
- С помощью Python, каждое изображение в дататесте было обрезано до квадрата, чтобы соответствовать входным требованиям Stable Diffusion.
- При кадрировании сохранялись ключевые элементы композиции (центральные фигуры, орнаменты).
Дополнительная оптимизация
- Коррекция разрешения , 512×512 пикселей.
Подключение и настройка метаданных для обучения
В Google Colab я запустила, предложенный в курсе скрипт, который берет стандартную Stable Diffusion и "доучивает" ее на моих изображениях. Главное преимущество LoRA в том, что она не требует огромных ресурсов, но при этом хорошо запоминает характерные черты стиля.
Затем подгружаем изображения из папки и установленные программы подготавливают их для обучения.
В Stable Diffusion к каждой картинке нужно прикреплять описание — так нейросеть лучше запоминает стиль. Для этого я создала файл metadata.jsonl!
- К каждой картинке добавляется текст — часть я задаю вручную (caption_prefix), а часть генерирует программа.
- Всё это аккуратно упаковывается в metadata.jsonl (это такой специальный формат для данных).
- Потом модель использует этот файл, чтобы связать картинки с описаниями и научиться правильно копировать стиль mucha art style!
HuggingFace
Далее с помощью функции notebook login () авторизуемся в hugging face hub и загружаем все нужные ресурсы для обучения на нашей модели по своей уникальной ссылке - ключу.
Обучаем модель
Я выставила 500 шагов обучения — этого достаточно, чтобы нейросеть усвоила основные приемы, характерные для Мухи. И не придётся ждать 1000 лет прежде чем она закончит обучение . Периодически я проверяла промежуточные результаты, чтобы убедиться, что все идет как надо.
Результаты генерации
prompt = «A 19th-century theatre poster: enigmatic actress holding a skull, Art Nouveau lettering for Hamlet, thorny rose borders, moonlit castle spires in muted indigo and silver»
Обученная таким способом нейросеть, может весьма недурно воспроизводить типичные для Альфонса Марии Мухи сюжеты, в его авторской стилистике. Здесь и цветочные орнаменты, и нежные женские образы, и нежная цветовая палитра.
prompt = «A theatrical actress in an Art Nouveau gown, frozen mid-curtain call, swirling fabric mimicking stage curtains, golden filigree proscenium arch, gaslight glow, and floral motifs entwined wit
Кроме того, ей отлично удаются изображения флоры и фауны, несмотря на то, что в дататесте, использованном для обучения, таковых не было. Что дает мне повод для уверенности в том, что модель обучения уловила именно стилистические принципы, а не смысловые категории, свойственные для этого художника.
«Muchan Phoenix: a fiery bird with a woman’s face, plumage painted in watercolor peonies, stained glass wings, and dragon motifs in the embers»
prompt = «A theatre prop table in Mucha’s world: vintage scripts with gilded edges, masquerade masks entwined with ivy, pocket watch spilling clockwork roses, soft amber lighting»
prompt = «A large white dog in the style of Alphonse Mucha: vintage scenarios with long silky fur, golden collar, surrounded by flowers and other plants, soft amber lighting.»
