STUDIO GHIBLI | Обучение генеративной нейросети
Описание идеи
Кажется нет такого человека, который бы не слышал о Хаяо Миядзаки, студии Ghibli и их захватывающих полнометражных мультфильмах. Мне вот всегда очень нравилось, как рисуется оружение в этих мультфильмах, так что дохновением для проекта стал стиль пейзажных изображений Ghibli. Меня всегда особенно поражала и вдохновляла стилистика того, как в работах этой студии изображают лэндскейпы, поэтому за основу стиля для обучения генеративной нейросети были взяты скриншоты из различных анимационных мультфильмов этой студии.
Задачей проекта является повторение стиля студии GHIBLI в генерации пейзажных изображений.
- Примеры изображений из датасета для обучения. Скриншоты из фильмов.
Изначально изображения не подходили по формату 1:1, так что пришлось обрезать их под необходимый шаблон.
Для начала я установила всё необходимое и выгрузила свой датасет с изображениями в среду.
Так же я регистрировалась на сайте Hugging Face, получила токен и внесла его в свой Google Collab для обучения нейросети.
Процесс обучения модели занял примерно 30 минут, и теперь можно было было приступать к генерации изображений на основе выгруженного ранее датасета.
Результирующая серия изображений
Для начала я решила попробовать сгенерировать простые природные пейзажные ландшафты, которые являются достаточно типичными в мультфильмах Гибли. Это горы, поля, облака. В итоге получились достаточно красивые и убедительные изображения с умеренной и приятной цветовой палитрой, напоминающей стиль Гибли.
Пожалуй, эти генерации удовлетворяют меня больше всего. Хорошо получилось передать в целом атмосферу ландшафта так, как это делается в мультфильмах. Очень приятные и спокойные цвета. Особенно похожа получилась растительность и горы.
В следующую серию генераций я решила попробовать добавить персонажей. Тут мне понадобилось больше попыток, чтобы получилось что-то более-менее сносное.
Разумеется, за неимением большого количества примеров изображений с персонажами, нейросети пришлось сложнее в генерации ландшафта с людьми. Однако стоит отметить, что, как мне кажется, в итоге хорошо получилось стилистически отделить ландшафт от персонажей.
Как бонус, мне стало интересно, насколько похоже в целом нейросеть сможет сгенерировать уже существующих персонажей Гибли. Я взяла одного из самых популярных персонажей — Тоторо.
Тут уже сгенерированные персонажи получились куда лучше. Тоторо вышел не просто узнаваемым, но и сама стилистика рисования очень напоминает ту, которая присутствует в самом мультфильме с этими цветами и четкими линиями.
В проекте применялась генеративная нейросеть Stable Diffusion для генерации изображений.
