Как мозг переключает внимание между звуком и изображением при просмотре фильма
Просмотр фильма кажется почти пассивным занятием. Человек устраивается поудобнее, следит за сюжетом и редко задумывается о том, какую сложную работу в это время выполняет мозг. Он одновременно распознаёт речь, выражения лиц, движения героев, музыку, фоновые звуки и изменения обстановки. Затем все эти сигналы соединяются в одну понятную историю. Новое исследование показало, что важную роль в этом процессе может играть лобная кора. Она словно регулирует движение информации и решает, чему в конкретный момент следует уделить больше внимания — звуку или изображению.
Работа учёных была опубликована в научном журнале Nature Communications. Исследователи предположили, что лобная кора не просто принимает уже обработанные сведения, а активно распределяет внимание между разными органами чувств.
В эксперименте участвовали 19 пациентов с эпилепсией, которые находились в больнице. По медицинским показаниям им временно установили электроды на поверхности мозга или внутри его тканей. Такие устройства были нужны врачам, чтобы определить участки, связанные с приступами. Одновременно они дали исследователям редкую возможность наблюдать за работой нервных клеток практически в реальном времени. Участникам показали короткометражный фильм продолжительностью около 12 минут. В нём звучала английская, греческая, немецкая и французская речь. Часть сцен на иностранных языках сопровождалась английскими субтитрами. Благодаря этому учёные смогли увидеть, как меняется работа мозга, когда смысл можно понять на слух или приходится искать дополнительные зрительные подсказки.
Прямое считывание электрической активности имеет важное преимущество. Оно позволяет фиксировать изменения с точностью до тысячных долей секунды. Обычная магнитно-резонансная томография не показывает столь быстрые реакции.
Наблюдения выявили любопытное разделение внутри лобной коры. Нижние участки сильнее реагировали на звуковые сигналы, а верхние — на зрительную информацию. Это означает, что передняя часть мозга, вероятно, устроена сложнее, чем обычный универсальный центр управления. В ней может существовать своеобразная карта, где разные области отвечают за выбор определённого источника сведений. Один из авторов исследования объяснил полученные данные так: лобная кора не смешивает все входящие сигналы в одну массу, а распределяет звук и изображение между отдельными зонами по вполне определённому принципу.
Особенно заметными различия становились при смене языка. Когда герои говорили по-английски и участники понимали их без дополнительных усилий, мозг больше полагался на слух.
Совсем иначе нервная система действовала во время сцен на греческом, немецком или французском языках. Если зритель не понимал речь, активность смещалась в сторону областей, связанных со зрением. Человек начинал внимательнее следить за лицами актёров, их жестами, положением тела и происходящими в кадре событиями. При наличии субтитров именно текст становился одним из главных источников смысла. Мозг при этом не прекращал обрабатывать звук, но словно понижал его место во внутреннем списке приоритетов. Это похоже на разговор в шумном помещении: мы можем перестать различать отдельные слова, зато начинаем внимательнее смотреть на губы и мимику собеседника.
Человеческое познание начинается с ощущений.
Аристотель
Чтобы проверить свою трактовку результатов, учёные провели ещё один этап работы. Они пригласили добровольцев, которые смотрели отдельные фрагменты фильма через интернет. Участникам предлагали оценить, какие моменты особенно важны для понимания сюжета и что в этих эпизодах приносит больше пользы — звук или изображение. Ответы добровольцев почти совпали с показаниями электродов. Английская речь усиливала значение слуховой информации. Незнакомые языки, напротив, заставляли зрителей опираться на картинку, жесты и субтитры. Получается, субъективные ощущения людей достаточно точно отражали изменения, происходившие в нервной системе.
Старший автор работы отметил, что при затруднённом понимании речи мозг способен быстро перенаправлять свои ресурсы к зрительным сигналам. Такая гибкость нужна человеку не только в кинотеатре. В повседневной жизни органы чувств постоянно конкурируют между собой. На улице мы слышим автомобили, голоса прохожих и музыку из наушников, одновременно следим за светофором и движением людей. Во время видеозвонка качество звука может ухудшиться, и тогда приходится смотреть на лицо собеседника. Если же изображение зависло, смысл разговора восстанавливается по голосу и интонациям. Лобная кора, судя по новым данным, может принимать участие в таком быстром переключении. Причём решение о приоритетном источнике информации, вероятно, возникает ещё до того, как человек осознанно понимает смысл происходящего.
Ранее многие эксперименты по изучению чувств проводились в довольно искусственных условиях. Добровольцам показывали отдельные картинки, включали короткие звуки или просили нажимать кнопку в ответ на простой сигнал. Такой подход помогает точно контролировать опыт, но плохо передаёт сложность реальной жизни. Фильм оказался более естественным инструментом. В нём непрерывно меняются лица, голоса, музыка, освещение и место действия. Зрителю приходится следить за сюжетом, запоминать события и связывать их между собой. Поэтому реакция мозга во время кинопросмотра может быть ближе к тому, как он работает в обычной обстановке.
Результаты исследования могут оказаться полезными при разработке методов помощи людям с нарушениями речи, слуха или внимания. Если специалисты лучше поймут, как мозг переносит нагрузку со звука на изображение, они смогут создавать более гибкие программы восстановления. Например, во время занятий можно постепенно менять количество зрительных подсказок, добавлять жесты, текст или изображения. Подобный подход может пригодиться и при изучении особенностей восприятия у людей с расстройствами аутистического спектра.
Современные системы искусственного интеллекта всё чаще одновременно анализируют видео, речь и текст. Однако они не всегда понимают, какой канал надёжнее в конкретной ситуации. Человеческий мозг действует иначе. Если речь становится неразборчивой, он усиливает внимание к лицу и движениям. Если изображение закрыто или плохо различимо, большее значение получает звук. Разработчики могут использовать этот принцип при создании систем, которые будут гибко менять приоритеты, а не обрабатывать все данные одинаково.
Авторы всё же призывают осторожно относиться к результатам. Все участники основного эксперимента страдали эпилепсией, поэтому их мозговая активность может отличаться от показателей людей без этого заболевания. Кроме того, электроды размещались там, где это было необходимо для лечения, а не там, где исследователям хотелось получить больше данных. Некоторые области лобной коры поэтому оказались изучены подробнее, а другие почти не попали в наблюдение.
Несмотря на ограничения, прямое исследование работы человеческого мозга позволило увидеть очень быстрый процесс перераспределения внимания. Пока зритель спокойно следил за фильмом, его лобная кора непрерывно оценивала полезность звуков и изображения. Во время понятной речи преимущество получал слух. При появлении незнакомого языка возрастала роль зрения. Даже обычные субтитры, которые зритель воспринимает как дополнение к фильму, заметно меняли внутреннюю стратегию обработки информации.
