Музыкальная живопись и визуальные иллюзии Чюрлёниса

Генеративные нейросети мыслят четкими категориями и тегами. Если попросить алгоритм нарисовать корабль, он нарисует корабль. Если гору — он нарисует гору. Но что произойдет, если бросить вызов математической логике ИИ и заставить его мыслить поэтическими двойными смыслами, где облако одновременно является летучим кораблем, а лес звучит как струны арфы? Данный исследовательский проект посвящен оцифровке стиля Микалоюса Константинаса Чюрлёниса — выдающегося литовского художника и композитора начала XX века. Чюрлёнис обладал синестезией (способностью "слышать" цвета и "видеть" звуки) и создавал уникальную «музыкальную живопись». Он называл свои картины Сонатами, Фугами и Прелюдиями, выстраивая их по законам музыкального ритма. Но главная магия его работ — это тончайшие визуальные иллюзии. В его туманных, пастельных мирах вершины гор складываются в профили спящих королей, а отражения в воде образуют целые призрачные города. Обучение генеративной модели на работах Чюрлёниса — это экстремальный стресс-тест на смысловую двойственность (амбигуитность). ИИ по своей природе стремится к однозначности форм. Когда алгоритм пытается слить "человека" и "гору", он обычно выдает Франкенштейна — пугающую мясную химеру или каменного голема. Заставить диффузионную сеть удержать этот баланс, создав пейзаж, который лишь намекает на скрытые в нем силуэты, сохранив при этом матовую, полупрозрачную текстуру темперы — задача, требующая ювелирного файнтюнинга. Ниже представлены некоторые работы Чюрлёниса, вошедшие в базу данных для обучения искусственного интеллекта.

В рамках проекта обучение проводилось в облачной среде Google Colab с использованием метода LoRA (Low-Rank Adaptation). Этот подход позволяет дообучить тяжелую базовую модель (например, Stable Diffusion), обновляя лишь небольшую часть алгоритмов, что делает процесс быстрым и эффективным. Чтобы сделать процесс наглядным, весь технический этап (пайплайн) разбит на четыре ключевых шага:

1. Проверка оборудования (Видеокарта)

Генерация и обучение нейросетей требуют мощных видеокарт (GPU). На этом шаге мы инициализируем сервер и проверяем, какой именно вычислительный ресурс выдал нам облачный сервис Google для работы.

2. Подключение датасета и установка программ

Мы подключаем облачный диск, на котором лежат бережно отобранные нами картины художника (датасет), и скачиваем необходимые библиотеки машинного обучения (такие как diffusers и accelerate). Это дает нашему коду «инструменты» для работы с изображениями.

3. Запуск обучения (Тренировка стиля)

Это кульминация технического процесса. Здесь мы передаем нейросети команду: «Возьми базовую модель, проанализируй картины в нашей папке и найди в них общие стилевые черты». Процесс идет шаг за шагом (steps), пока нейросеть не выучит уникальный почерк художника, связав его со специальным кодовым словом (триггером).

4. Генерация первой картинки (Инференс)

После завершения обучения мы тестируем результат. Пишем текстовый запрос (промпт), используем выученное кодовое слово, и нейросеть «рисует» совершенно новое изображение в только что освоенном стиле. Работы Микалоюса Константинаса Чюрлёниса отличаются ярким, узнаваемым стилем, который характеризуется несколькими ключевыми особенностями: • Визуальные иллюзии: формы перетекают одна в другую (облака становятся кораблями, деревья — арфами). • «Музыкальный» ритм композиции: волнообразные, повторяющиеся линии, имитирующие ритм сонаты или фуги. • Матовая, бархатистая текстура (Чюрлёнис часто писал темперой или пастелью по бумаге). • Приглушенная, неземная цветовая палитра: глубокие зеленые, синие, туманно-серые и желтые оттенки. • Космический и мифологический масштаб: крошечные силуэты людей на фоне гигантских светил, звезд и монументальных древних городов.

Для тестирования модели и раскрытия её потенциала были составлены специальные промпты, проверяющие разные аспекты стиля:

Сказка королей (Иллюзия): "A vast fantasy landscape where the giant mountains in the background subtly form the silhouettes of sleeping kings wearing crowns, photo in MKCH style, visual illusion, muted tempera painting, mystical atmosphere."

Соната моря: "Giant ocean waves rising up to the sky, transforming at their peaks into stylized reaching hands, a tiny boat below, photo in MKCH style, musical painting, rhythmic fluid lines, deep blues and greens."

Облачные корабли: "A sky filled with glowing, fluffy clouds that are shaped exactly like majestic sailing ships drifting through the air, photo in MKCH style, ethereal symbolism, soft pastel textures."

Лес-арфа: "A magical pine forest where the straight tree trunks and glowing sunbeams form the strings of a giant golden harp, photo in MKCH style, visual poetry, synesthesia, earthy colors."

Жертвенник: "A massive stone altar on top of a highly stylized step pyramid reaching into the clouds, glowing smoke rising into a starry sky, photo in MKCH style, ancient mystery, monumental scale."

Звёздная соната: "A cosmic landscape with planets and glowing stars connected by thin, delicate lines like sheet music, an angel floating in the void, photo in MKCH style, cosmic symbolism, rhythmic composition."

Вестник: "A glowing, bird-like angelic figure soaring high above a dark, stylized city at dawn, photo in MKCH style, early 20th-century symbolism, soft matte paint texture, spiritual mood."

Город-мираж: "A glowing, ethereal ancient city hovering just above the calm surface of a dark lake, connected to its own reflection, photo in MKCH style, architectural illusion, pale yellow and green palette."