Dream Decoding: сон как данные, изображение и медиа

Это визуальное исследование посвящено феномену dream decoding — попыткам считывать, интерпретировать и визуализировать содержание сновидений с помощью нейротехнологий, машинного обучения и систем реконструкции изображения. В центре работы находится не только вопрос о том, можно ли технически «увидеть» сон другого человека, но и более широкий культурный вопрос: что происходит с внутренним опытом, когда он начинает рассматриваться как данные, изображение и медиа.

Сон традиционно воспринимается как одно из самых закрытых пространств субъективности. Его невозможно напрямую показать другому человеку: он существует как переживание, воспоминание, рассказ, обрывок образа, который быстро распадается после пробуждения. Даже когда человек описывает сон словами, между самим переживанием и его внешней формой остаётся разрыв. Dream decoding интересен именно потому, что пытается сократить этот разрыв технологически: не через пересказ, рисунок или художественную интерпретацию, а через анализ активности мозга и построение визуальных соответствий.

Исследование строится через последовательность проектов и визуальных кейсов. Каждый из них показывает отдельную стадию превращения внутреннего состояния в медиа: от художественного образа сна — к лабораторной записи, от мозгового сигнала — к AI-реконструкции, от нейроданных — к инсталляции и этическому вопросу о приватности.

Мне важно рассматривать dream decoding не только как научную технологию, но и как визуальную ситуацию. Сон здесь постепенно меняет форму: сначала он существует как неуловимый образ, который художник или режиссёр пытается восстановить, затем попадает в лабораторную систему измерений, а после этого становится материалом для генеративных моделей, медиа-арта и этических вопросов. Так исследование показывает не «как буквально записать сон», а как современная культура всё ближе подходит к идее, что внутренний опыт можно переводить во внешние формы.

Теоретической основой исследования становятся работы о сознании, сновидениях, нейродекодировании и новых медиа. В исследованиях Horikawa и Kamitani сон переводится в экспериментальную процедуру: участники спят во время fMRI-сканирования, их мозговая активность фиксируется, а содержание сна затем сопоставляется с вербальными отчётами и визуальными категориями.(1)

Медиа-теоретическая рамка исследования опирается на Льва Мановича. Его принципы новых медиа — числовое представление, модульность, автоматизация, вариативность и транскодирование — помогают рассматривать dream decoding не просто как научный эксперимент, а как процесс перевода внутреннего опыта в компьютерно-обрабатываемый объект.(2)

При этом dream decoding не уничтожает тайну сна, а меняет её форму. Чем сложнее становятся технологии считывания, тем заметнее оказывается разрыв между переживанием и его реконструкцией. Технология показывает не сам сон «как он есть», а медиированную версию сна — изображение, собранное на пересечении мозга, языка, алгоритма, базы данных и культурных представлений о визуальном.

Ключевой вопрос исследования: что происходит со сновидением, когда оно перестаёт быть только внутренним переживанием и начинает рассматриваться как данные, которые можно считывать, реконструировать и визуализировать?

(1) Horikawa T., Tamaki M., Miyawaki Y., Kamitani Y. Neural Decoding of Visual Imagery During Sleep // Science. 2013. Vol. 340, no. 6132. P. 639–642.

(2) Manovich L. The Language of New Media. Cambridge, MA: MIT Press, 2001.

Исследование начинается с работы Сальвадора Дали, потому что она показывает сон как визуальную реконструкцию ещё до появления нейротехнологий. В названии картины уже заложена почти экспериментальная логика: внешний раздражитель — полёт пчелы вокруг граната — становится причиной сложной внутренней сцены, возникающей за секунду до пробуждения. Маленькое реальное событие превращается в масштабный визуальный образ, где тело, животные, оружие, море и гранат соединяются в одну тревожную композицию.

Для темы dream decoding эта работа важна не как научный пример, а как ранняя визуальная модель перевода сна. Дали пытается сделать видимым то, что в норме существует только внутри субъекта. Он не просто изображает «странный сон», а показывает сон как систему превращений: внешний стимул попадает в сознание и перерабатывается мозгом в драматическую, нелогичную, но эмоционально точную сцену.

В этом смысле живопись Дали можно рассматривать как доцифровую форму dream decoding. Художник не считывает активность мозга, но пытается реконструировать механизм сна через визуальные средства: резкое нарушение масштаба, фрагментарность, столкновение несовместимых объектов, ощущение мгновенного пробуждения.

Следующий кейс — фильм Inception. Он важен не как научный источник, а как популярная визуальная модель сна, которая уже мыслит сновидение технологически. В фильме сон представлен не как случайное внутреннее переживание, а как пространство, которое можно конструировать, редактировать, посещать и разделять с другими людьми. Сновидение превращается в архитектуру, интерфейс и среду.

Если у Дали сон остаётся живописной реконструкцией, то у Нолана он становится почти дизайнерской задачей. Его можно построить, стабилизировать, разрушить, взломать.

Для исследования это важный переход. Dream decoding появляется не в пустоте: до него уже существовали художественные и кинематографические фантазии о том, что сон можно увидеть, организовать и использовать. Inception формулирует эту фантазию визуально: сон становится средой, где можно работать с образом как с проектом.

Главный научный кейс исследования — работа Neural Decoding of Visual Imagery During Sleep. Именно здесь сон становится не художественной метафорой, а экспериментальной процедурой. Участники засыпали во время fMRI-сканирования, а исследователи одновременно фиксировали физиологические показатели сна. В supplementary materials к статье отдельно перечислены этапы эксперимента: sleep experiment, MRI acquisition, PSG recordings, EEG artifact removal, sleep-stage scoring, visual content labeling и decoding analysis. (1)

Визуально этот проект важен потому, что показывает сон не как готовую картинку, а как цепочку переводов. Человек видит сон, затем его будят, он описывает увиденное словами, эти слова превращаются в категории, категории сопоставляются с активностью мозга, а затем алгоритм ищет статистические соответствия между мозговым сигналом и визуальным содержанием.

На схеме visual content vectors сновидения представлены как матрица. По вертикали идут базовые категории — например building, character, book, car, food, street, room, face и другие. По горизонтали расположены отдельные пробуждения участников. Белые отметки показывают, какие категории присутствовали в словесном отчёте о сне. Так личное и нестабильное переживание превращается в таблицу признаков. (2)

Следующий шаг — проверка того, насколько эти признаки можно декодировать по активности мозга. ROC-кривые показывают качество распознавания отдельных визуальных категорий, а AUC-графики связывают это распознавание с разными областями зрительной системы. В результате сон выглядит уже не как единый образ, а как набор признаков, распределённых между языком отчёта, базой категорий и мозговой активностью. (3)

Этот кейс важен для всего исследования, потому что здесь dream decoding становится особенно наглядным. Технология не «достаёт» из мозга готовую картинку. Она сначала раскладывает сон на категории, затем сопоставляет их с паттернами активности мозга и только после этого делает выводы о возможном визуальном содержании. Сон превращается в систему соответствий: слово, категория, сигнал, вероятность.