ИИероним Босх
ИДЕЯ ПРОЕКТА
Я увлёкся картинами Иеронима Босха — его странными мирами, полными чудовищ, аллегорий и фантастических пейзажей. Мне захотелось попробовать создать что-то похожее, но с помощью современных технологий. Поэтому я решил обучить генеративную нейросеть на его работах и заставить её придумать свою версию «босховского» мира.
Цель моего проекта — обучить модель генерировать изображения, в которых используются знакомые архетипы персонажей Босха, и что получится, если дать машине «вообразить» рыцарей, рыбаков, черепах и т. д.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Для генерации изображений было выбрано дополучить модель Stable Diffusion. Для обучения были использованы 20 картин Иеронима Босха в формате 1:1.
ГЕНЕРАЦИИ ИЗОБРАЖЕНИЙ
Первые пять изображений генерировались с сюжетами, близкими к работам Босха: средневековые пейзажи, аллегорические сцены, фантастические существа и мрачная атмосфера, характерная для его эпохи.
«A hermit praying in a cave while shadowy beasts whisper sins into his ear—moonlight through cracks, grotesque hybrid creatures made of roots and bones, rich detail, muted earth tones, Bosch-inspired.»
«Medieval carnival at dusk: jesters with animal heads lead a procession of sinners toward a gaping mouth of hell, wagons piled with stolen relics—crowded, chaotic, moral satire in Flemish oil style.»
«A knight lost in a forest of weeping willows, each branch ending in a grasping hand; his armor sprouts vines, his horse has owl eyes—allegory of pride and doubt, dreamlike medieval mood, Bosch visual language.»
«A scholar in a candlelit study opens a book that sprouts eyes and wings; mice scribble on scrolls, owls wear spectacles—symbolic chaos, rich textures, 15th-century Flemish surrealism in Bosch’s spirit.»
«turtle in the sea, broken crowns litter the ground, surreal medieval chaos in the style of Hieronymus Bosch, oil on oak.»
«Sailor asleep in a boat drifting through clouds shaped like cities; fish with compasses guide him past islands made of clocks—ethereal yet detailed, symbolic journey, Bosch-like allegory.»
Вывод
Итоговая серия изображений, сгенерированная нейросетью, обученной на картинах Босха, удачно передаёт его характерные черты: насыщенную, приглушённую цветовую палитру, плотную композицию и отсутствие перспективы. Сохраняется атмосфера фантастической, морально насыщенной вселенной, свойственная оригиналу. Однако есть и недостатки: изображения часто получаются размытыми, мелкие детали — лица, символы, надписи — теряются или искажаются.
Принцип работы кода
Для начала устанавливаем все необходимые библиотеки и создаем датасет фотографий.
переносим в папку и проверяем их наличие
Создание metadata.jsonl с префиксом стиля
На этом этапе мы вводим заранее созданный токен и запускаем тренировку по нашим параметрам
Далее сохраняем модель в Hub для использования не только с локальными файлами
И на последнем этапе генерируем изображение, Вуаля!
Описание применения генеративной модели
Я использовал QWEN coder для доработки и исправления багов в коде
