Ghibli Style // Обучение генеративной нейросети
Описание идеи
С детства мне отчетливо запомнились образы, которые рисовал в своих картинах Хаяо Миядзаки. Я нашла датасет в открытом доступе с нарезками из анимационных фильмов Ghibli Studio и решила попробовать создать картинки в стиле Ghibli
Написание кода
Изучив уже существующие наработки пользователей и собранные датасеты, я нашла набор изображений из фильмов Ghibli studio на HuggingFace, с хорошей полнотой
С использованием модуля datasets я загрузила набор данных в среду выполнения
Структура датасета такова, что все изображения в указанном наборе данных сразу сопровождаются промптами к ним (поле caption), что позволило мне не генерировать их по отдельности
Особенностью представленного датасета является файт того, что изображения в нём не соответствуют формату 1 к 1, заявленному в задании. Поэтому прежде чем сохранять их в директорию в среде выполнения, я добавила предобработку фотографий, позволяющую привести их к формату квадратных изображений. Также с целью экономии ресурсов было принято решение оставить в нашем наборе данных только первые 200 фотографий
Теперь всё готово для обучения собственной модели, которая в дальнейшем будет использоваться для реализации наших промтов. Процесс обучения занял примерно 47 минут
Следующий этап генерация фото моей предобученной моделью. Загрузим её и протестируем
Пробуем промптить и получаем следующие результаты
По итогам тестирования модели и результатов её работы наблюдаем успешную генерацию фотографий в стиле Ghibli Studio. На некоторых изображениях можно наблюдать незначительное размытие контура фигур, это возможно исправить при помощи повышения объемов выборки и качества изображений при обучении модели.
Вместе с тем, хотелось бы отметить, что. модель гораздо лучше справляется с односложными формулировками
Тем не менее, полученный результат хорошо передает стилистику картин, персонажей и окружающего мира Ghibli studio, что и было желаемым результатом
