Обучение генеративной нейросети под стиль Gacha Life
Концепция
Gacha Life — это компьютерная ролевая игра, в которой есть возможность создать своего персонажа и играть от его лица. У игры есть узнаваемая стилистика, которой я обучила нейросеть. Датасет состоял из 14 изображений. Он послужил основой для серии картинок с вариациями персонажей по запросам.
Общий стиль — аниме и чиби персонажи, с разными атрибутами, такими как одежда, цвет глаз, цвет и форма волос. Каждую составляющую можно выбрать из списка и создать желаемый образ.
Процесс обучения
Для обучения нейросети я использовала Google Colab. Я ориентировалась на лекцию из курса и пошагово написала код.
Первым делом я загрузила датасет в Google Colab и установила необходимые библиотеки.
После этого я посмотрела превью загруженных картинок.
Я запустила BLIP чтобы он сгенерировал подписи к картинкам из датасета.
BLIP описал картинки и я добавила к ними «art in GACHA LIFE style» для дальнейшей работы.
Дальше прошел главный процесс — обучение модели. Я воспользовалась токеном с HuggingFace, а после ждала 40 минут завершения выполнения кода.
После я успешно сгенерировала первое изображение, подтвердив работу модели.
Итоговые изображения
Я задавала нейросети различные промпты, чтобы автоматически создать задуманного персонажа. В целом, программа справлялась отлично, особенно учитывая, что датасет был небольшим.
Для разнообразия я попробовала дать нейросети имя уже существующего персонажа, чтобы проверить, что она будет делать, если не распознает запрос. Результат не похож на заданного персонажа, но искусственный интеллект не сломался и сгенерировал рандомного мальчика.
После неудачи я решила описать того же персонажа в промпте, чтобы посмотреть, сделает ли нейросеть что-то похожее на оригинал. Я сделала две генерации по одному промпту, результат очень отдалённо напоминает оригинал, что было ожидаемо. Также нейросеть почему-то добавила хвост.
После я снова описала уже существующего персонажа, на этот раз другого, чтобы проверить реакцию на более сложные запросы. Результат совсем не похож на оригинал.
Далее я генерировала уже привычные промпты без экспериментов.
Следующие два изображения показали, что нейросеть не может совмещать образы и менять цвет кожи на заданный.
Итог
Генеративная модель справилась с задачей и подстроилась под характерный стиль персонажей Gacha Life. Она не смогла генерировать сложные запросы, такие как изменение цвета кожи или персонаж по имени, но в остальном отражала заданные запросы. У ИИ получилось работать качественно даже с небольшим датасетом, так что программа настроена хорошо и при дополнении данных может развиться в лучшую версию себя.
Нейросеть также справилась с изображением двух персонажей на картинке, хотя в датасете таких примеров не было. В остальном она опиралась на стилистику и вариации оригинала.
Использованные генеративные нейросети
BLIP — https://huggingface.co/docs/transformers/model_doc/blip. Для генерации подписей к картинкам.
HuggingFace — https://huggingface.co. Для генерация токена для обучения модели, её загрузки на сайт.
Stable Diffusion — https://stability.ai/. Для обучения генеративной модели на датасете.
