Обучение генеративной нейросети в стиле Moebius
Описание идеи
Для обучения модели я выбрала стиль художника-комиксиста Жана Жиро́, также известного под псевдонимом Moebius. Его стиль выделяется своей футуристичностью и абстракцией, из-за чего я подумала, что он подходит для создания модели.
Его работы обладают особенной атмосферой — они одновременно минималистичны и выразительны, а также часто содержат сюрреалистические мотивы. Эти характеристики показались мне интересными и перспективными для создания модели, так как они позволяют экспериментировать с необычными формами, цветами и текстурами.
Исходные изображения
Описание процесса обучения
Использованные в проекте инструменты:
1. Stable Diffusion — обучение генеративной нейросети 2. Google Colab — среда для выполнение кода и генераций 3. Hugging Face — получение токена для обучения 4. Chat GPT 4 — пояснение кода и решение ошибок, генерация текстовых промптов к изображениям
Сначала я загрузила изображения в Google Colab с помощью функции.
Для проверки того, успешно ли загрузились изображения, было использовано превью.
Затем модель была натренирована с помощью стандартных параметров. Общее время составило 42 минуты на 500 шагов.
В итоге была сгенерирована серия из 16 изображений с помощью текстовых промптов.
Промпты:
A lush jungle filled with massive bioluminescent trees, where travelers in flowing robes ride mechanical creatures.
A nomadic scientist in layered, asymmetrical clothing, studying a mysterious floating relic in the desert.
Первые генерации получились очень абстрактными. Здесь плохо читается окружение, хотя на втором изображении неплохо заметна фигура человека. Пока что модели удалось передать только цветовую палитру и тонкие линии из оригинальных работ.
Промпты:
A lone figure standing at the edge of a massive chasm, looking at a floating sphere that distorts reality around it.
A vast alien desert with towering rock formations and lone travelers on futuristic mounts, bathed in a golden sunset.
Следующие генерации получились лучше. Возможно это из-за того, что промпты больше соответствуют контенту, изображенному на оригинальных работах: пейзажам пустыни.
Промпты:
A cybernetic shaman with intricate golden tattoos, meditating under a colossal moon.
A warrior in ornate, lightweight armor, wielding a staff infused with ancient symbols of unknown origin.
Промпты с подробным описанием людей дали неудовлетворительный результат. Изображения соответствуют описанию, но совершенно не попадают в стиль.
Промпты:
A lone wanderer in a flowing robe and a wide-brimmed hat, standing against a backdrop of endless sand dunes.
A traveler with a transparent helmet filled with cosmic mist, their face serene as they gaze at the horizon.
Промпты:
A sleek hovercraft gliding over an alien ocean, reflecting the twin suns in its curved, glass-like surface.
A mechanical beast resembling an elongated lizard, used as transportation by travelers in flowing garments.
Далее было решено попробовать изобразить транспорт или технику, так как такие образы тоже часто попадаются в работах художника. Первая генерация получилась довольно удачно, а вот вторая создала невнятный образ с переизбытком деталей.
Промпты:
A futuristic cityscape where people use levitating platforms to travel between towering spires of glass and metal.
A being made of light and intricate metalwork, appearing as a guide in an alien dreamscape.
Промпты:
A sky filled with massive, jellyfish-like creatures drifting above a nomadic caravan in the dunes.
An organic spaceship with flowing, vine-like structures growing around its metallic core, orbiting a distant world.
Следующие пейзажи получились интересными. В них присутствует антураж пустыни, а в фокусе находятся необычные сюжеты, которые при этом хорошо считываются. Явно видны фигуры людей, медузы и окружение.
Промпты:
A neon-lit marketplace on a distant planet, where humanoid merchants with elongated features sell exotic wares.
An astronaut in an ancient temple, touching a glowing symbol that causes the walls to transform into a cosmic map.
Итоговые изображения кажутся мне самыми удачными. Здесь хорошо переданы цветовая палитра, лайн и детализация. А также сами сюжеты получились похожими на стиль художника, все персонажи и предметы окружения считываются.
Описание применения генеративной модели
