Обучение нейросети в стиле картин Яна ван Эйка

Цель проекта — обучить модель Stable Diffusion XL создавать изображения в стиле Яна ван Эйка с помощью DreamBooth и LoRA.

Ян ван Эйк был выбран не случайно. Ранее уже была выполнена визуальная работа, посвящённая цветопередаче в его живописи. В этом проекте это исследование было продолжено в генеративном формате.

Стиль Яна ван Эйка хорошо подходит для такой проверки, потому что он очень узнаваем и при этом достаточно сложен для генерации.

Стиль требует точной передачи кожи, стекла, золочения, архитектурных деталей и глубины пространства. Поэтому результат здесь показывает не только декоративное сходство, но и качество обучения.

Такой набор был нужен, чтобы модель увидела стиль в разных жанрах. Это важно, потому что задача состояла не в повторении одного сюжета, а в переносе общего художественного языка на разные сцены.

Все изображения были приведены к формату 512 × 512. Квадратный кроп использовался как единый рабочий формат для обучения. Это помогло сделать датасет более ровным и подготовить его к дальнейшей обработке.

Следующим этапом стала подготовка текстовых подписей для датасета. Для этого использовалась модель BLIP, которая автоматически генерировала описание каждого изображения.

К каждой подписи добавлялся префикс Jan van Eyck style. Это помогало закрепить за всеми изображениями единый стилевой маркер и точнее связать набор с конкретным художественным языком.

На основе изображений и подписей был собран файл metadata.jsonl. В нём каждому файлу соответствовало своё текстовое описание. Именно этот файл затем использовался в обучении LoRA.

LoRA здесь была особенно уместна, потому что она дообучает только часть параметров модели. Это снижает нагрузку на память, ускоряет обучение и помогает избежать слишком жёсткого переобучения на маленьком наборе изображений.

Обучение проводилось с разрешением 512 × 512, batch size 2, gradient accumulation steps 3, learning rate 1e-4 и максимальным числом шагов 500. Такой набор параметров позволил достаточно плотно усвоить стиль и сохранить вариативность в генерации.

После обучения была сгенерирована серия из 10 изображений. В неё вошли портрет, религиозная сцена, интерьер, алтарная композиция, пейзаж, натюрморт и сцены с несколькими фигурами.

Серия нужна не только как итог, но и как проверка диапазона модели. В одних изображениях важнее лицо и ткань, в других — предметная среда, архитектура, пейзаж или групповая композиция. За счёт этого можно увидеть, насколько устойчиво модель работает со стилем в разных типах сцен.

Портрет благородной дамы в интерпретации модели после обучения на датасете Яна ван Эйка.

Это изображение показывает, что модель уверенно усвоила портретную схему, характерную для нидерландской живописи XV века. Здесь хорошо читаются трёхчетвертной поворот, мягкий свет и внимание к ткани. Особенно важен результат в области лица: пропорции выглядят естественно, взгляд собран, заметных искажений нет.

Промпт: Jan van Eyck style, portrait of a noblewoman, brocade dress, Gothic window, distant landscape, highly detailed face, realistic eyes, sharp focus

Религиозная сцена с Мадонной и младенцем в стилистике северного Возрождения.

Здесь модель работает уже не только с лицом, но и с религиозной иконографией. В изображении переданы готическая архитектура, золотые нимбы и спокойный характер лиц. Формулировка close-up portrait помогла усилить внимание к лицевой части композиции и сделать результат более точным.

Промпт: Jan van Eyck style, close-up portrait of Madonna and Child enthroned in a Gothic cathedral, golden halos, soft light, highly detailed face, perfect facial features, realistic eyes, sharp focus, oil painting

Фигура купца в интерьерной сцене с характерной предметной средой.

Это изображение важно для проверки интерьерной сцены. Здесь работают не только лицо и одежда, но и предметная среда: свеча, окно, городской вид, драпировки. Такой результат показывает, что модель усвоила не только внешний облик персонажа, но и организацию пространства.

Промпт: Jan van Eyck style, wealthy merchant, Flemish interior, glowing candle, city view through window, highly detailed face, realistic eyes, sharp focus

Сцена с двумя персонажами и более мягким, лирическим настроением.

Эта работа показывает, как модель справляется с двумя фигурами сразу. Важен не только факт, что лица не распадаются на артефакты, но и то, что сцена сохраняет цельное настроение. Сад, дальний план и романтический сюжет создают более мягкую вариацию внутри общего стиля.

Промпт: Jan van Eyck style, young couple exchanging rings, blooming garden, distant castle, highly detailed faces, realistic eyes, romantic mood, sharp focus

Алтарная композиция с ангелами и сложной декоративной средой.

Это один из самых сложных сюжетов серии. Здесь модель должна удерживать золочение, музыкальные инструменты, насыщенный цвет и несколько лиц в одной композиции. Результат показывает, что декоративная сложность и спокойная выразительность образов были усвоены достаточно уверенно.

Промпт: Jan van Eyck style, close-up portrait of angels playing musical instruments in altarpiece, gold leaf, vibrant colors, highly detailed face, perfect facial features, serene expression, realistic eyes, sharp focus, oil painting

Пейзажная сцена с мягким светом и глубиной пространства.

Этот результат важен как проверка дальних планов и воздушной перспективы. Здесь стиль проявляется не через крупное лицо, а через свет, пейзажную глубину и спокойную композицию. Это показывает, что модель усвоила не только ближнюю деталь, но и общий принцип построения среды.

Промпт: Jan van Eyck style, serene landscape, winding river, medieval castle, farmers, distant mountains, soft light, highly detailed