Мне захотелось обучить генеративную нейросеть Stable Diffusion для генерации изображений в собственном визуальном стиле, разработанном для серии открыток для бара. Эти открытки выполнены в яркой розово-жёлтой цветовой гамме и изображают простых персонажей и объекты, связанные с барной культурой.
Главной идеей проекта стало не просто воспроизведение отдельных иллюстраций, а расширение этого стиля до целого мира — воображаемой вселенной, в которой барная эстетика становится основой архитектуры, природы и повседневной жизни.
Ссылка на проект
Основной целью было проверить, сможет ли нейросеть:
1. Воспроизвести мой визуальный стиль. 2. Сохранить цветовую палитру. 3. Передать упрощённую форму персонажей и объектов. 4. Адаптировать стиль к новым сюжетам, которых не было в исходных работах.
Идея
Если исходные работы — это отдельные открытки, то в проекте я развиваю их в целостный визуальный мир бара.
В этом мире здания сделаны из коктейлей и бокалов, природа состоит из трубочек, зонтиков и жидкостей. Персонажи живут внутри этой «барной среды». Привычные объекты переосмыслены как элементы архитектуры и ландшафта.
Использованные инструменты
- Stable Diffusion — обучение нейросети под собственный стиль
- DreamBooth LoRA — дообучение модели
- Google Colab — запуск и обучение
- Hugging Face — получение токена и работа с моделями
Датасет
Для обучения была собрана папка из моих собственных иллюстраций — открыток для бара.
Все изображения квадратные (1:1), выполнены в одной стилистике, используют ограниченную цветовую палитру, а также содержат простые, упрощённые формы.
Особенности стиля
Стиль моих работ включает:
- Яркие розовые и жёлтые цвета.
- Минималистичные формы.
- Простых «человечков».
- Плоский цвет без сложных теней. декоративную композицию, близкую к открыткам.
цветовая палитра
Процесс обучения
Сначала были установлены необходимые библиотеки и подготовлена среда в Google Colab.
Далее изображения были загружены в ноутбук и проверены. После этого был выполнен логин в Hugging Face.
Обучение проводилось с использованием модели Stable Diffusion v1.5 и метода LoRA, что позволило быстро адаптировать модель под мой стиль.
Были выбраны параметры:
- разрешение 512.
- около 100 шагов обучения.
- небольшие батчи для стабильной работы в Colab.
После завершения обучения была получена LoRA-модель, которая затем использовалась для генерации изображений.
Генерация
Сначала были протестированы простые промпты, повторяющие исходные сюжеты.
prompt = «illustration in pinkbarstyle, surreal bar city, buildings made of cocktails, bright pink and yellow colors»
