Обучение генеративной нейросети по картинам Анри Матисса
Идея проекта
Проект направлен на исследование способности генеративной нейросети не только воспроизводить визуальный стиль известного художника, но и создавать новые сюжеты, сохраняя его художественную идентичность. В качестве стилистической основы выбраны работы Анри Матисса — одного из ключевых представителей фовизма, чьё творчество характеризуется радикальным упрощением форм, декоративной плоскостью, насыщенными неестественными цветами и отказом от традиционной перспективы.
Может ли ИИ «думать» в рамках заданной эстетики, а не просто копировать?
Цель — обучить модель генерировать изображения, в которых используются знакомые архетипы персонажей Матисса (одалиски, танцоры, женщины с зонтиками и др.), но размещаются в новых, не существовавших у художника композициях, при этом сохраняя целостность его визуального языка.
Исходные изображения
Для генерации изображений было выбрано подключить модель Stable Diffusion.
Для обучения были взяты 20 картин Анри Матисса в формате 1:1. В датасете использовались те картины которые наиболее узнаваемы среди работ художника.
Генерации изображений
Первые 5 изображений сгенерированы с персонажами, типичными для Матисса (одалиски, танцоры, женщины с зонтиками), но в новых сценах.
«A woman holding a parasol walking through a sunlit park, wearing a flowing dress, surrounded by stylized trees and flowers — in the style of Henri Matisse, with flat planes of color and bold outlines.»
«Two dancers resting on a terrace at sunset, their red silhouettes relaxed against a deep blue background, decorative tiles on the floor — in the style of Henri Matisse.»
«An odalisque reclining on a patterned divan, reading a letter, surrounded by vibrant textiles and potted plants — in the style of Henri Matisse, with simplified forms and rich color contrasts.»
«A seated model in a painter’s studio, wearing a striped robe, surrounded by still-life objects and abstracted windows — in the style of Henri Matisse, with flattened perspective and decorative patterning.»
«Musicians with a guitar and violin in a cozy room, flat color blocks, decorative patterns on clothing and walls — in the style of Henri Matisse.»
Последние 5 изображений генерировались с полностью оригинальными сюжетами (рынок, уличный музыкант, ребёнок с голубями и др.), но созданными в неизменном стиле художника.
«fantastical landscape with strange creatures, in the style of Henri Matisse»
«A girl reading a book by a window, sunlight streaming in, bright yellow curtains, blue and green patterns on the floor — in the style of Henri Matisse.»
«A marketplace in a southern town: vendors with fruits, flat human figures, vivid reds, oranges, and blues, decorative shadows — in the style of Henri Matisse.»
«A cat and a bird in a garden: large flowers, simplified animal forms, contrasting colors on a green background — in the style of Henri Matisse.»
«A family having dinner in a room with patterned wallpaper, vibrant tablecloths, calm gestures, flattened perspective — in the style of Henri Matisse.»
Все изображения имеют единый визуальный код: плоские цветовые пятна, декоративные узоры, отсутствие теней и перспективы, доминирование насыщенных тонов.
Итоги
Итоговая серия демонстрирует успешное усвоение нейросетью ключевых черт стиля Анри Матисса: плоскостность, насыщенные цвета, упрощённые формы, декоративные узоры и отказ от перспективы. Модель корректно использует типичных для художника персонажей (одалиски, танцоры, женщины с зонтиками) и создаёт как новые сцены с ними, так и полностью оригинальные композиции, сохраняя стилистическое единство.
Вместе с тем, как и многие генеративные модели, она иногда допускает характерные ошибки: 1. В некоторых изображениях появляются лишние конечности; 2. В нескольких картинках— искажённые или нечитаемые лица (разные глаза, смещённые черты, размытость).
Вероятные причины: 1. Ограниченный объём обучающих данных с чёткими лицами (у Анри Матисса они часто упрощены или скрыты); 2. Общая сложность генерации лиц даже для современных моделей.
Несмотря на нюансы, изображения соответствуют заданной эстетике и подтверждают, что модель способна не просто копировать, а творчески обобщать стиль — что и было главной целью проекта.
Принципы работы кода
Для начала устанавливаю все необходимые библиотеки и создаю датасет фотографий.
Переношу в папку и проверяю их наличие.
Создаю metadata.jsonl с префиксом стиля.
На этом этапе я ввожу заранее созданный токен и запускаю тренировку по параметрам.
Далее сохраняю модель в Hub для использования не только с локальными файлами.
И на последнем этапе генерирую изображение!
Qwen — использовался для генерации промптов изображений и помощи при написании кода.
