Рубрикация
- Концепция
- BCI-игры и модификации
- Сложные игры с управлением через нейроинтерфейс
- Вывод
Концепция
С появлением нейроинтерфейсов становится реальным управление компьютером с помощью мозговой активности. Если стандартное управление компьютером с использованием устройств ввода происходит по цепочке «намерение —> мысль —> механическое действие —> результат (обратная связь компьютера)», то нейроинтерфейсы способны сократить эту цепочку, переводя мысль напрямую в цифровой сигнал.
Видеоигры предоставляют пользователям виртуальные миры со своими законами и виртуальных аватаров. Однако управление игровыми аватарами обычно требует сигналов от устройств ввода, обязывая выполнять физические действия, вроде нажатия кнопок. Это заставляет игрока постоянно чувствовать себя снаружи, «по ту сторону экрана» от виртуального мира.
В этом контексте нейроинтерфейсы могут потенциально изменять границы между намерением игрока и желаемым конечным результатом, усиливая погружение в виртуальный мир.
Цель исследования: проанализировать, как использование нейроинтерфейсов в видеоиграх переопределяет само понятие игрового действия — и способно ли оно действительно обеспечить прямой доступ к виртуальному миру, стирая грань между ментальным намерением и его цифровой реализацией.
Гипотеза: нейроинтерфейсы переосмысляют управление в видеоиграх, смещая фокус с физического действия на формирование мысли и контроль собственной мозговой активности.
Ключевое напряжение задаётся расхождением между техно-утопическим образом «телекинеза» из научно-фантастических фильмов или игр и фактически нестабильной, медленной и требующей достаточно долгой настройки реальностью работы современных нейроинтерфейсов.
Изначально созданные для изучения мозга, технологии неинвазивных нейроинтерфейсов становятся доступны обычному пользователю с появлением коммерчески доступных нейрогарнитур — например, от компаний Emotiv (серия EPOC, Insight) и NeuroSky (MindWave, Mobile). Регистрируемые гарнитурами сигналы можно записать, используя программное обеспечение. Записанные сигналы в последствии можно запрограммировать на различные игровые действия, например — шаг вперёд, атака, прыжок.
Нейроинтерфейс EPOC X 14
Скриншот из программы EmotivPRO
Исследование рассматривает следующие кейсы использования нейрогарнитур в гейминге:
- BCI-игры и модификации, созданные специально для гейминга посредством нейроинтерфейсов
- Использование нейроинтерфейсов для игр, созданных под традиционное управление с помощью контроллеров
В качестве источников для исследования возьму видеозаписи и скриншоты геймплея игр, интервью с разработчиками проектов нейрогейминга, официальные страницы видеоигр и страницы компаний, выпускающих нейроинтерфейсы.
BCI-игры и модификации
Throw Truck With Your Mind! — игра, в которой нужно бросать грузовики (и другие тяжёлые объекты) «силой мысли».
Игра использует данные с нейрогарнитуры (Neurosky Mindwave) для измерения двух показателей — уровень концентрации игрока и уровень его спокойствия, которые преобразуются в показатели игрового персонажа.
Скриншот из игры «Throw Trucks With Your Mind»
Уровень концентрации влияет на силу броска в игре — чем более сфокусирован пользователь, тем более мощными оказываются его броски.
Уровень спокойствия определяет эффективность таких способностей персонажа, как прыжок и притягивание объектов.
Скриншот из игры «Throw Trucks With Your Mind»
Игра предлагает пользователю почувствовать в себе «телепатические способности» и, хотя гарнитура не может считать конкретное намерение игрока — толкнуть объект — для определения уровня «концентрации» она измеряет активность бета-волн мозга, что в том числе зависит от уровня фокуса.
Ось в данном случае скорее смещена в сторону технологичности — игрок может влиять на действия персонажа своими намерениями (удерживание концентрации), но используемый для определения «концентрации» сигнал с гарнитуры может быть выражен и в других проявлениях повышения активности бета-волн мозга.
Cosmic Crashout — соревновательная игра для людей с парализованными конечностями.
Марк Сигал, один из создателей игры «Cosmic Crashout»
Игра использует биодатчик OpenBCI Ganglion, который способен измерять сигналы активности мозга (ЭЭГ), активности мышц (ЭМГ) и активности сердца (ЭКГ).
Цель игры состоит в управлении космическим кораблём, избегая препятствий. Для управления в игре есть два действия — полёт вверх и вниз. Пользователь вызывает их морганием — сильным или слабым.
Нейроинтерфейс в данном случае не призван погрузить игрока в игровой мир, а заменяет привычный контроллер, позволяя играть в игры людям с ограниченными возможностями.
В этом кейсе доминирует телесность — движение веками в качестве управления игрой.
The MindWitcher — модификация для игры Witcher 3, которая позволяет использовать заклинания и менять погоду с помощью нейрогарнитуры.
Модификация использует два вида сигнала, собираемых ЭЭГ-гарнитурой AntNeuro: сигналы двигательной коры головного мозга и эмоции игрока.
Подъём левой руки активирует заклинание в игре, подъём правой руки — подзывает лошадь. От эмоций игрока динамически меняется погода в игровом мире.
Проект использует сигналы нейрогарнитуры как дополнение к физическим действиям игрока при управлении контроллером. В совокупности с реакцией игрового мира на эмоциональное состояние пользователя, использование нейроинтерфейса позволяет игроку глубже погрузиться в игру.
Игра в «The Witcher 3» с модификацией «The MindWitcher».
Ось в данном случае распределена равномерно: церебральность как мысленное представление действия с помощью движений рук, телесность как влияние эмоций на игру, технологичность как алгоритмы распознавания и перевода сигналов мозга в команды.
