VIPTour: искусственный интеллект превращает прогулки незрячих в эмоциональные приключения

Фото: PHAG

Учёные из Китая представили новую систему, которая поможет людям с потерей зрения чувствовать и воспринимать окружающий мир по‑новому. Эта разработка, названная VIPTour, создаёт у пользователя ощущение независимости при прогулках по незнакомым местам. Раньше при посещении парков или других природных зон люди с плохим зрением зависели от помощи близких или волонтёров. Они могли ориентироваться в пространстве, избегая препятствий, но не получали полноценного опыта: красивых видов, эмоционального настроя, возможности самостоятельно вспомнить увиденное и поделиться впечатлениями.

VIPTour ставит цель изменить это. Система состоит из обычной камеры, смартфона и специальной программы, разработанной на основе современных методов искусственного интеллекта — авторы называют её «FocusFormer». И не просто описывает, что видит камера — она анализирует картину с учётом трёх аспектов: эстетики, новизны и базовых нужд, таких как безопасность и навигация. Система исключает лишние детали, чтобы не перегружать человека.

Алгоритм строит «граф восприятия» — своего рода схему важных объектов и элементов окружающего мира. Программа учитывает предпочтения пользователя и со временем становится всё более точной за счёт интерактивной настройки: человек может оценивать подсказки, и система подстраивается моментально.

Одна из ключевых особенностей — память. VIPTour умеет записывать и сохранять прогулки, чтобы потом их пересматривать, обсуждать с другими людьми или напоминать себе о приятных моментах. Это не только помогает лучше ориентироваться, но и усиливает эмоциональный контакт с окружающим миром. Пользователи отмечают, что система позволяет не просто идти по маршруту, а проникнуться атмосферой места, почувствовать ею своими мыслями и эмоциями. Прошли испытания с 33 участниками с различной степенью утраты зрения. Результаты впечатляют:

• В 68 % случаев повысилась эмоциональная отзывчивость
• На 95 % увеличилась степень возбуждения и вовлечённости сознания
• Познавательные карты, то есть понимание пространства, улучшились почти в восемь раз
• Навигация и запоминание деталей стали точнее вдвое

Показатели надёжности и простоты использования стремились к 80 баллам из 100 — и в среднем их даже немного превысили по сравнению с другими вспомогательными технологиями.

Также система отслеживала физиологические реакции — пульс, кожную реакцию — и это подтвердило: люди действительно стали эмоционально вовлечены, чаще улыбались, они не только шли, а ощущали.

Почему это важно? Потому что мы, как правило, лучше запоминаем структурированную информацию. Если кадры оснащены контекстом, они воспринимаются легче и приятнее, а в памяти остаются надолго. Если добавить ещё элемент новизны — любопытства — то получение информации идёт глубже, быстрее запоминается, и эмоциональное переживание усиливается.

Учёные отмечают, что такие механизмы снижают нагрузку на мозг. Когда описания чёткие, не перегружают человека, то он получает удовольствие и эмоциональный подъём. При этом именно сочетание нового и знакомого даёт опору и увлечение.

Система тренируется на тысячах туристических видеороликов, доступных в открытом доступе, без ярлыков и смысловой привязки — то есть в режиме самонаблюдения. Так FocusFormer сам учится, не копируя чужие предпочтения, а выделяя именно полезную информацию для слабовидящих. Это помогает избежать предвзятости — система не наполняет пользователя «чужими впечатлениями».

Стоит отметить, что надёжность VIPTour напрямую зависит от технологий распознавания объектов и создания семантического графа — так называемые vision‑модели и алгоритмы, нуждающиеся в регулярном обновлении. Чем они точнее, тем лучше система передаёт реальность человеку. Разработчики уверены, что с развитием этих методов эффективность будет расти ещё больше.