Исследователи из Университетского колледжа Лондона (UCL) восстановили короткие видеоролики по активности отдельных клеток мозга мышей. Система позволила воссоздать изображения, которые животные видели во время эксперимента. Результаты работы опубликованы в журнале eLife.
Для анализа учёные использовали данные, полученные из зрительной коры. Активность нейронов регистрировали методом микроскопической визуализации: работающие клетки определяли по локальному повышению уровня кальция. Такой подход даёт более детальную информацию о представлении зрительных сигналов, чем методы визуализации мозга, применяемые в исследованиях с участием людей.
В основе реконструкции лежала динамическая модель кодирования нейронов, созданная другой научной группой для конкурса Sensorium 2023 года. Она прогнозирует реакцию отдельных клеток, когда мышь смотрит фильм, а также учитывает движения животного и изменения диаметра его зрачков. Затем исследователи сравнивали расчётную активность, соответствующую просмотру пустого экрана, с фактическими показателями во время просмотра видео.
Разницу между этими значениями алгоритм использовал для последовательного изменения пикселей первоначально пустого ролика. После каждой корректировки изображение становилось ближе к фильму, который показывали мыши. Руководитель исследования Джоэл Бауэр из Центра Сейнсбери—Веллком при UCL отметил: «Using this approach, we were able to achieve high-quality reconstructions of 10-second video clips. The accuracy of the reconstructions improved with the inclusion of data from more individual neurons, demonstrating the importance of comprehensive neural data.»
После обучения модели специалисты проверили её на десятисекундном видео, которого не было среди исходных данных. Используя только активность мозга животного, система создала реконструкцию, похожую на незнакомый ролик. Сходство оригинала и восстановленной версии оценивали с помощью корреляции пикселей; анализ показал лишь небольшие расхождения во времени, хотя разрешение изображения и охват зрительной сцены ещё предстоит улучшить.
Учёные намерены применять метод для изучения различий между реальным окружением и его представлением в мозге. По словам Бауэра, зрительная система не записывает окружающий мир подобно камере, а постоянно интерпретирует, фильтрует и изменяет поступающие сигналы. «We don’t have a perfect representation of the world in our heads. The visual processing pipeline skews and warps our representation in a way that modifies information. This deviation between reality and representations in the brain is not necessarily an error but a feature, reflecting how our minds interpret and augment sensory information. We want to explore how this happens in the brain», — заключил исследователь. Об этом сообщается на сайте ScienceDaily.