Portraits of ARCANE
ИДЕЯ
В 2024 году завершился сериал, ставший всемирно популярным и глубоко обожаемым мировым сообществом. ARCANE полюбился зрителям трагичной человечной историей, захватывающими саундтреками, потрясающим уровнем проработки — любовь создателей пронизывает каждый кадр и сквозит через экран.
Однако есть деталь, которая бросается в глаза еще до сюжетных поворотов — уникальный визуальный стиль этого мира. Создатели Riot в сотрудничестве со студией Fortiche изобрели что-то совершенно новое в своей сфере, совместив всем привычное 3D с рисоваными текстурами: штришки, мазки, переходы красок — все это видно как на пейзажах, объектах, так и на персонажах.
Идея проекта — попытка воспроизвести уникальный визуальный стиль анимационного сериала с помощью инструментов генеративного ИИ. Проект исследует, насколько точно и выразительно можно передать характерные черты оригинальной стилистики через дообучение модели LoRA на кастомном датасете. Дополнительно ставится задача сравнить полученные результаты с эстетикой первоисточника и оценить потенциал нейросетей в создании авторских визуальных решений.
ДАТАСЕТ
Для обучения модели было отобрано 81 оригинальное изображение, каждое из которых представляет персонажа крупным планом. Такой подход позволяет максимально точно передать особенности черт лица, текстуры и характерную стилистику прорисовки. В выборку вошли как ключевые герои сериала, так и второстепенные персонажи, появляющиеся лишь в отдельных сценах, — это обеспечило разнообразие данных.
Все изображения были сначала обрезаны вручную (чтобы в кадре было лицо), а затем с помощью кода кадрированы к единому размеру 512 на 512 пикселей.
ПРОЦЕСС ОБУЧЕНИЯ
После загрузки изображений следовал этап создания автоматических промптов, где под префиксом «character portrait in ARCANE style» к каждому персонажу создавалось краткое текстовое описание.
Подключение Hugging Face и, наконец, модель готова учиться у студии Fortiche их тонкому искусству создания неповторимых персонажей!
ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
После подключения всех необходимых библиотек наконец можно приступить к созданию персонажей!
По какой-то причине первые генерации случились в ярко-розовых оттенках, несмотря на то, что в датасете не было преобладания такого цвета.
Однако сам результат оказался более чем успешным! Сгенерированные персонажи сохранили узнаваемые черты визуального стиля ARCANE: hand painted текстуры, акварельные градиенты света и тени, выразительная геометрия лиц, подчёркнутая резкими мазками. Образы получились не только атмосферными, но и стилистически цельными — каждый из них словно мог бы органично вписаться в мир сериала.
Далее было принято решение поэкспериментировать с цветовой гаммой генерируемых изображений. Для этого в текстовые промпты начали добавляться уточнения вроде «natural colors» и «cinematic lighting». Это позволило добиться более сбалансированной палитры: изображения стали выглядеть натуральнее и глубже. Со временем модель начала выдавать удачные цветовые решения даже без подобных уточнений, что говорит о её адаптации к заданному стилю.
Конечно, как не попробовать сгенерировать себя и своих близких! Сложность заключалась в том, чтобы попасть в сходство по текстовому запросу. Тем не менее, благодаря настройке и корректировке промптов, удалось повторить некоторые ключевые особенности внешности, что добавило интересный и уникальный элемент в процесс генерации.
Лучше всего модель справилась с самым простым персонажем — обычным парнем в черной водолазке без фэнтезийных элементов. Но и с более причудливыми образами модель справлялась достаточно удачно и интересно!
ИЗМЕНЕНИЕ ВЕСА МОДЕЛИ
Эксперименты с весом модели от 0.5 до 0.9 и теми же промптами, что уже были использованы, оказались менее удачными.
Несмотря на то, что детализация и разнообразие цветов увеличилось, особенность стилистики ARCANE гораздо менее заметна, поэтому было принято решение вернуться к изначальному весу.
СРАВНЕНИЕ И ИТОГИ
Итоговые результаты от обучения модели на стилистике сериала ARCANE оказались удачными и превзошли ожидания. Особенности стиля были сохранены, а каждый уникальный персонаж мог бы отлично вписаться в мир Пилтовера и Зауна. Модель смогла сохранить hand painted текстуры, штришки, изломы геометрии в чертах лиц. Так, например, крайне похожими на особенности персонажей сериала вышли сгенирированные носы (четкие ровные линии), губы (асимметрия в левой и правой стороне), глаза (ярко выделенные тени и блики под нижним веком).
Во многих итоговых изображениях можно легко узнать характерные черты персонажей, использованных в датасете. Для обучения было выбрано всего 81 изображение и, вероятно, с увеличением количества оригиналов, возросла бы и оригинальность сгенерированных персонажей. Тем не менее, даже при таком количестве результат получился впечатляющим и интересным, с ярко выраженными индивидуальными особенностями.
Итогом проекта можно назвать вполне успешное подражание оригинальному стилю нашумевшего сериала — модель LoRA отлично справилась с задачей, что говорит о высоких возможностях в обучении нейросетей применительно к искусству создания концептов персонажей и арта в целом. Конечно, это не значит, что студия-создатель перестанет быть актуальной, однако настороженность в этом вопросе стоит сменить интересом: такой инструмент может стать отличным помощником в процессе разработки, позволяя создавать новые шедевры с ещё большим творческим потенциалом!
ОПИСАНИЕ ПРИМЕНЕНИЯ ГЕНЕРАТИВНОЙ МОДЕЛИ/НОУТБУК С КОДОМ
В работе были использованы: Stable Diffusion XL (SDXL) — генерация изображения по текстовому запросу (https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0) BLIP-1 — описание изображений датасета (https://huggingface.co/Salesforce/blip-image-captioning-base) Chat GPT-4 Turbo — генерация идея и кода (https://openai.com/index/gpt-4/) UpScale 2.11.0 — улучшение качества изображений (https://upscayl.org/)
