Цифровой мозг мухи научили играть в DOOM, Super Mario 64 и Beat Saber: что стоит за демонстрацией

Цифровая модель мозга мухи, подключённая к игровому экрану через нейронный интерфейс

Появились сообщения о демонстрации, в которой цифровая модель мозга плодовой мушки дрозофилы управляет персонажем в компьютерных играх — от классического DOOM до Super Mario 64 и ритм-игры Beat Saber. Речь идёт не о настоящем насекомом за джойстиком, а об эксперименте, где биологически правдоподобная нейросеть, собранная по карте связей реального мозга, подключена к игровому движку через интерфейс «сенсоры — мотонейроны».

Что именно произошло

Основой для эксперимента служит коннектом дрозофилы — полное описание того, как соединены нейроны взрослой мухи. Карта, известная как FlyWire, включает около 140 тысяч нейронов и десятки миллионов синаптических связей. Это самый детальный на сегодня полный коннектом животного, способного к сложному поведению: муха ходит, летает, ориентируется по зрению, ухаживает и избегает угроз.

Исследователи превратили эту карту в вычислительную модель: каждый нейрон представлен упрощённой динамической моделью, а синапсы задают связи между ними. Затем модель подключили к игровой среде. Игра отдаёт состояние мира, оно кодируется в последовательности спайков и подаётся на «сенсорные» нейроны модели, а активность «мотонейронов» преобразуется обратно в команды для персонажа.

Как работает связка «мозг — игра»

  • Кодирование входа. Позиция врагов, препятствий, платформ или нот преобразуется в паттерны возбуждения зрительных и механосенсорных нейронов. Модель не «видит» картинку — она получает набор спайков.
  • Симуляция. Сеть из примерно 140 тысяч нейронов обсчитывается на GPU. Чтобы укладываться в игровой цикл, симуляция должна идти быстрее реального времени.
  • Декодирование выхода. Активность моторных нейронов интерпретируется как направление движения, поворот, прыжок, выстрел или удар.
  • Цель и подкрепление. В большинстве таких демонстраций используется внешняя награда: набрать очки, дойти до флага, не умереть. Это важное отличие от настоящего обучения мухи.

Почему выбрали мозг мухи

Дрозофила — удобный компромисс между сложностью и размером. У неё есть зрение, моторика, системы принятия решений и даже зачатки внимания, но её мозг на несколько порядков меньше человеческого. Полный коннектом делает модель не абстрактной нейросетью, а структурной копией конкретного биологического устройства.

Именно поэтому такие эксперименты интересны нейробиологам: если модель воспроизводит поведение живой мухи, значит, карта связей действительно объясняет часть поведения. Если нет — видно, каких механизмов не хватает: нейромодуляции, пластичности, деталей динамики отдельных клеток.

DOOM: проверка базовой навигации и реакции

DOOM удобен как минималистичный тест. Здесь важны быстрые решения: двигаться вперёд, поворачивать, стрелять, уклоняться. Для модели мозга мухи это проверка сенсомоторной петли «увидел — среагировал». Никакого планирования на десятки шагов вперёд от неё не требуется, но требуется устойчивое поведение в изменчивой среде.

Super Mario 64: платформинг и управление телом

Super Mario 64 добавляет непрерывное управление в трёхмерном пространстве: разгон, прыжки с точным таймингом, удержание курса, реакция на движущиеся платформы. Здесь модель должна не просто выдавать дискретные команды, а поддерживать устойчивую моторную программу, что ближе к реальной локомоции насекомого.

Beat Saber: тайминг и ритм

Beat Saber выглядит самым неожиданным пунктом, но по сути это тест на предсказание и точное время реакции. Ноты появляются по расписанию, и успех зависит от того, насколько рано сеть «разгоняет» нужный моторный паттерн. Для исследователей это способ проверить, умеет ли модель удерживать внутренний ритм и синхронизироваться с внешним сигналом.

Игра Что проверяет Ключевая сложность
DOOM Реакция и навигация Быстрые решения в меняющейся обстановке
Super Mario 64 Непрерывное управление Платформинг, инерция, тайминг прыжков
Beat Saber Ритм и предсказание Точность синхронизации с внешним сигналом

Чего в этой демонстрации нет

Важно не переоценивать результат. Цифровой мозг мухи в таких экспериментах обычно не учится в человеческом смысле: связи заданы коннектомом и не перестраиваются так, как в живом мозге. Поведение во многом держится на внешнем кодировании сигналов и награде, которые подобрали инженеры. Кроме того, модель не является мухой: у неё нет тела, гормональной системы, нейромодуляторов и реальной среды.

Ценность таких проектов не в том, что «муха прошла DOOM», а в том, что полный коннектом впервые стал проверяемой вычислительной гипотезой, а не только красивой схемой на бумаге.

Почему это важно для игр и ИИ

Для игровой индустрии это ещё один шаг к агентам, которые ведут себя не как скрипт, а как биологическая система: с задержками, шумом, ограниченным вниманием и естественными ошибками. Для ИИ такие модели — источник идей об экономичных архитектурах: мозг мухи решает сложные задачи на сотнях тысяч нейронов, тогда как современные игровые боты нередко требуют куда более тяжёлых вычислений.

Для нейробиологии это способ проверять гипотезы напрямую: если удалить определённый тип нейронов в модели и поведение сломается так же, как у живой мухи, значит, роль этого типа клеток понята верно.

Что дальше

  • Усложнение моделей нейронов: от упрощённых спайковых к более детальным, с учётом нейромодуляции.
  • Добавление пластичности, чтобы сеть могла адаптироваться к новой игре без ручной перенастройки.
  • Подключение к роботизированному телу или к дрону — это уже проверка в физическом мире, а не в движке.
  • Сравнение с живой мухой в одинаковых задачах: эталон, без которого сложно понять, где модель ошибается.

Итог

Демонстрация с DOOM, Super Mario 64 и Beat Saber — это не игра насекомого, а инженерный и научный эксперимент. Полный коннектом мухи впервые превратили в управляющую систему для игровых сред, и это даёт сразу два результата: зрелищный тест для широкой публики и рабочий инструмент для проверки того, насколько хорошо мы понимаем, как устроен мозг.