Обучение генеративной нейросети по иллюстрациям «У бабушки»
1. Идея
В этом проекте я решила обучить генеративную нейросеть Stable Diffusion в стиле моих работ, которые создавала на 1 курсе арт-практики. На коллаж было отображено как маленькая девочка воспринимает окружающий мир в деревне. С утра она ходит вслед за бабушкой и удивляется тому на сколько все большое.
Цель обучить нейросеть рисовать сцены, выполненные в стиле бумажных аппликаций. Исходные изображения в формате А4, поэтому я решила кадрировать их на 2 части. В итоге получился dataset из 16 изображений.
Особенность стилистики:
- Простые, геометричные формы
- Крупный план
- 3 цвета: чёрный, серый, белый
2. Процесс обучения
- Загрузка библиотек Diffusers, DreamBooth.
- Создание локального названия local_dir = «./grandma/»
- Загрузка изображений в Google Colab с помощью внутренней функции. Проверка как код видит данные для этого просим показать 5 изображений
4. Загрузка модели BLIP, которая создаёт подписи к картинкам. 5. Создание путей к изображениям. 6. Выбираем токен для стиля и смотрим на результат.
7. Очищаем память для экономии места. 8. Начинаем подготовку к обучению. Вызываем функцию accelerate. Далее проходим регистрации на Hugging Faces и создаём личный токен.
Самая важная часть — обучение модели. Добавляем все данные и ожидаем результатов. Мое обучение длилось около 40 минут.
3. Результаты обучения
«photo collage in GRANDMA style, city, table, cup of coffee»
Первые результаты обучения получились некачественными. В них нет четкости и простоты, генерации в хаосе. Для исправления я решила писать в промте одно дополнительное слово.
