НИУ ВШЭ х Севкабель | Обучение нейросети
Идея проекта
В первом модуле по предмету Специальное проектирование я делала дизайн календаря для коллаборации НИУ ВШЭ СПб и Севкабель Порта.
Дизайн календаря заключался в поиске схожих архитектурных форм в этих двух локациях и создании сложного хаотичного коллажа.
Находить подходящие фотографии было непросто, так как их крайне мало на просторах интернета. Мне стало интересно, сможет ли нейросеть создать изображения в стиле моего коллажа.
Передать точность архитектуры зданий не было основной задачей, но в проекте я выделаю изображения, которым хоть в какой-то степени это удалось, но важнее было повторить паттерн поведения коллажа.
Изображения для календаря мне любезно предоставили кураторы НИУ ВШЭ и работники Севкабеля.
Ссылка на календарь
Список использованных в проекте инструментов:
— Stable Diffusion — обучение нейросети под свой стиль изображений — Google Colab — создание кода и генераций .— Deepseek — помощь в создании промптов и настройки GPU — Hugging Face — скачивание базовой модели
Процесс обучения
Итоговые генерации
Полагаю, предыдущие коллажи были созданы на основе этих моих фотографий.
У нейросети хорошо получилось передать именно саму структуру коллажа, который я задумала (где элементы зданий накладываются друг на друга в хаотичном порядке), также получилось изобразить именно кирпичные здания, которые фигурируют на исходных изображениях. Некоторые даже очень похоже на здания НИУ ВШЭ. Также интересно, что есть изображения, где цвет кирпича ярко-оранжевый (как на исходном изображении 1), а есть где приглашенные цвета (исходные изображения 2 и 3).
Некоторые промпты я перезапускала несколько раз, и получались новые изображения.
Коллажи в бежевых оттенках, скорее всего, были созданы на подобии вот этих фотографий. Тут не до конца удалось передать саму необычную архитектуру, как на исходных фото, но цветовая гамма — основное сходство.
В промптах я немного экспериментировала со стилями постройки (например, European house).
Это изображение — мой фаворит, так как достаточно точно удалось передать здание Канатного цеха НИУ ВШЭ. Также произошло хорошее сочетание с одним из зданий Севкабеля. Поведение коллажа такое, каким я задумывала его на исходных изображениях.
А вот коллажи, в которых нейросеть брала за основу коллажи со зданием Канатного цеха, на мой взгляд, получились самыми неудачными, так как пропала текстура коллажа и изображения просто превратились в паттерн. Также нет добавления цвета и других зданий.
Давайте рассмотрим ещё немного неудачных примеров.
Некоторые изображения получились простыми фотографиями, вообще не похожими на коллаж, на некоторых коллаж слишком «искусственный», из разных частей, которые никак не сочетаются друг с другом.
Файлы
