Обучение генеративной нейросети на основе личных иллюстраций
Идея
Моей задачей было обучить генеративную нейросеть Stable Diffusion для генерации иллюстраций в моем стиле. В качестве датасета я выбрала проект первого курса первого модуля по арт-практике, потому что мне действительно интересно было выполнять его, а теперь появилась возможность окунуться в атмосферу начала учебы в университете. Можно сказать, что работа основана на личном исследовании своего творчества. Так как я уже не рисую в таком стиле, мне захотелось зафиксировать и сохранить в памяти этот образ. Цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в мой стиль.
Исходные изображения
Общий стиль изображений: - черно-белый покрас - материал — гуашь - упрощенные силуэты людей - тема о саморефлексии и чувствах, сильных эмоциях
Процесс обучения
Первым шагом стала установка всех инструментов, необходимых для работы модели — таких как Diffusers, DreamBooth и другие. Затем изображения были перенесены с локального компьютера в Google Colab при помощи встроенного механизма загрузки файлов. После этого нужно было проверить, что файлы действительно появились в среде и готовы к использованию.
Следующим этапом стало создание подписей к каждому изображению — этот шаг завершал подготовку моего датасета для обучения нейросети.
После логина в HuggingFace можно приступать к обучению.
Теперь можно сохранить модель на все тот же HuggingFace, а затем начать генерацию.
Результаты генерации
При составлении промптов я ориентировалась на желание получить эмоционально наполненные картинки, с атмосферным сюжетом. У нейросети отлично получилось передать текстуру гуаши, которую я использовала в оригинальных работах.
промпт 1: «2D art in the style of CRY, minimalistic figure, standing in the rain, grayscale»
промпт 2: «2D art in the style of CRY, minimalistic figure, sitting near the water, grayscale, smooth body lines»
Также нейросеть отлично отделяет изображаемого персонажа от фона, не «теряет» его, при этом сам фон не остается однотонным в большинстве случаев. В моих работах фон чаще был одноцветным, но встречались и работы с более разнообразным задником.
промпт 3: «2D art in the style of CRY, two abstract human silhouettes intertwined in conflict, grayscale painting, strong body tension, high contrast» промпт 4: «2D art in the style of CRY, abstract grayscale human figure hugging itself, emotional symbolism, curved lines, soft shadows, minimalist backgroun»
Некоторые из изображений получились слишком абстрактными, и если не знать задумку, разобраться будет не так просто. Поэтому впоследствии я аккуратнее использовала в промпте слово «abstract». Однако генерации по-прежнему соблюдают визуальный стиль оригиналов, и силуэты людей остаются различимыми.
промпт 5: «2D art in the style of CRY, human figure sitting on a chair, grayscale minimalist painting, high quality»
Иногда нейросеть дорисовывала неопознанные объекты рядом с персонажами, которых не было в промпте, однако я не могу сказать, что они как-то портят изображение или выбиваются из общей стилистики, смотрятся довольно органично.
промпт 6: «2D art in the style of CRY, human figure standing near a square shape suggesting a window, grayscale minimalist painting, high quality»
Здесь нейросеть слишком упростила человека, в моих работах они имеют немного другие пропорции и внешний вид. Композиция также оставляет желать лучшего, в изображении совсем нет динамики.
промпт 7: «2D art in the style of CRY, human figure walking through vertical brushstrokes representing grass, grayscale tones, minimalist movement» промпт 8: «2D art in the style of CRY, abstract grayscale painting of a person holding a grey candle, calm emotional tone»
промпт 9: «2D art in the style of CRY, grayscale minimalist painting of a person lying on pillow, bed, relaxed pose, calm atmosphere»
Данную генерацию я считаю наиболее удачной по причине приближенности к моему стилю. Похожими вышли форма рук, форма головы и поза, помимо вышеперечисленных совпадений.
промпт 10: «2D art in the style of CRY, minimalist grayscale painting of a human figure holding a small geometric shape near the chest»
промпт 11: «2D art in the style of CRY, two grayscale minimalist figures reaching toward each other, elongated arms, abstract» промпт 12: «2D art in the style of CRY, abstract grayscale human figure with arms raised upward, simple symbolic gesture»
Я довольна результатом работы, ведь мне удалось обучить нейросеть собственному стилю. В большинстве случаев модель точно уловила особенности: композицию, цвет, характер линий. Итоговый проект выглядит целостно, а также показывает, как можно объединить личное и технологическое. Нейросеть может быть не инструментом подражания, а средством самопознания художника.
Список использованных инструментов:
- Stable Diffusion для обучения генеративной нейросети - Google Colab для выполнения кода и генераций - Hugging Face для получения токена для обучения нейросети, загрузка полученной модели на сайт - Adone InDesign для создания коллажей
