Идея проекта
Целью данного проекта было обучение генеративной модели для создания работ в стиле картин Винсента Ван Гога. Данный художник был выбран не случайно, а по причине моей большой любви к его творчеству. Его живопись всегда вызывала во мне восхищение — за искренность, смелость цвета и способность передавать внутренние переживания через фактуру мазков.
Исходные изображения
Для обучения модели я собрала 39 изображений — как полноценных картин Ван Гога маслом, так и укрупненных фрагментов его работ, на которых хорошо видна техника мазка и работа с фактурой. В подборке представлены как знаменитые работы, например, "Звёздная ночь" или "Подсолнухи", так и менее известные, но технически выразительные фрагменты.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети
Для выполнения задания в качестве среды программирования был выбран Google Collab. Обучение нейросети было проведено на основе предоставленного в рамках курса шаблона кода. В первую очередь были установлены необходимые модели и библиотеки, а также собран датасет из 39 изображений в формате 1:1.
Для проверки корректности загрузки данных был создан визуальный вывод первых пяти изображений в виде сетки, что позволило убедиться в правильности подготовки датасета.
Для каждой картины было сгенерировано текстовое описание с помощью модели BLIP. Это описание включало префикс "painting in the style of Van Gogh", который задавал стиль для последующего обучения модели. Результаты описаний были сохранены в файл, содержащий пары "имя файла — текстовое описание".
На следующем этапе была настроена конфигурация для обучения модели с использованием метода DreamBooth . Базовой моделью выступила Stable Diffusion XL. Обучение проводилось с применением техники LoRA , которая позволяет эффективно адаптировать большую модель под конкретную задачу без необходимости полного переобучения.
После завершения обучения модель была сохранена в репозиторий Hugging Face. Для этого был создан репозиторий, куда были загружены веса модели и метаданные. Это позволило легко использовать обученную модель в будущем для генерации изображений.
На финальном этапе была протестирована обученная модель. Используя префикс "painting in the style of Van Gogh" и текстовый запрос, модель успешно генерировала изображения в стиле Ван Гога.
Серия готовых изображений
Первая серия сгенерированных изображений посвящена природным мотивам — пейзажам, которые отражают мои любимые места и состояния природы. Это море, облачное небо, цветущие луга, вечернее солнце, уходящее за горизонт. Я стремилась передать то же чувство покоя и вечности, которое Ван Гог находил в природе.
Природа как тема для генераций была выбрана так как для самого художника она была не просто фоном или декоративным элементом — она становилась символом внутреннего равновесия и даже исцеления.
(Для того, чтобы промпт влазил под описание картинок, мною был убран используемый для каждой генерации префикс "painting in the style of Van Gogh")
The sun sinking below the horizon, the field and sky in deep orange-red strokes // Sunlight on the surface of the sea, reflecting in waves
»… если бы я не чувствовал любви к природе и своей работе, то я был бы несчастен»,
— писал Ван Гог своему брату Тео в 1882 году.
Одной из самых ярких черт сгенерированных изображений стало визуальное ощущение «движения» мазка. При генерации нейросеть смогла уловить и воспроизвести характерную для Ван Гога динамику кисти.
В области неба и солнца это проявляется в виде закрученных, волнообразных линий, а в изображениях листвы или травы — мазки повторяют ритм природы: изгибаются, словно под действием ветра
Massive clouds float across the sky, pale yellow and lavender strokes
Затем я попробовала не указывать конкретную цветовую палитру. В результате сгенерированные изображения приобрели доминирующие оттенки, наиболее часто встречающиеся в оригинальных картинах, использованных для обучения. В случае данного проекта это характерные для Ван Гога насыщенные жёлтые, голубые, сине-зелёные и охристые тона.
Rain over the mountains, droplets and blurred strokes evoke silence // Spring flowers blooming beneath a sky
Картины Винсента Ван Гога
