Генерация изображений с помощью дообученной нейросети Stable Diffusion
Описание
В рамках финального проекта было необходимо дообучить нейросеть Stable Diffusion самостоятельно генерировать изображения в заданном стиле. На примере 46 изображений удалось дообучить нейросеть генерировать новые изображения в стиле советской мозаики.
Примеры исходных изображений для обучения нейросети
Результат
Сгенерированные цветы
Сгенерированные изображения представляют из себя серию иллюстраций, на которых изображены цветы, деревья и животные. Заданный стиль мозаики успешно передался в получившихся картинках.
Сгенерированные деревья с цветным фоном
Сгенерированные коты
Описание процесса дообучения
1. Подготовка Окружение: Kaggle. Библиотеки: Были установлены diffusers, transformers, accelerate, peft, bitsandbytes для оптимизации памяти. Скрипт обучения: Загружен train_dreambooth_lora_sdxl.py из репозитория Hugging Face по совету преподавателя. 2. Данные Датасет: Использованы изображения советских мозаик. Разметка: Генерация описания «photo collage in RUSSIAN MOSAIC style». 3. Обучение Модель: Дообучение SDXL 1.0 + LoRA (легковесные адаптеры). Параметры: Разрешение изображений: 512×512. Batch size: 2 (накопление градиентов за 3 шага). Шагов обучения: 500. В процессе генерации изображений задавался определенный промпт. (prompt = «photo collage in RUSSIAN MOSAIC style, pink mosaic with trees»). 4. Результат Выход: LoRA-адаптеры сохранены в папку rumosaica_LoRA. Публикация: Модель загружена в Hugging Face Hub для общего доступа.
Во время работы над проектом была использована только нейросеть Stable Diffusion.
Папка с кодом проекта
