Ландшафт расширенной реальности меняется быстрее, чем когда-либо, благодаря все большему распространению во всем мире, развитию технологий и расширению доступности. Хотя технологии «отслеживания» не являются чем-то новым в этом ландшафте, появляются новые тенденции в области отслеживания глаз и рук по мере того, как мы движемся к новому будущему иммерсивных пространственных вычислений.
Встраивание передовых технологий отслеживания в датчики, гарнитуры и сопутствующие аксессуары XR открывает двери к более расширенным возможностям в иммерсивном ландшафте. Эти технологии улучшают пользовательский опыт, устраняя необходимость в контроллерах и позволяя пользователям взаимодействовать с контентом более естественно.
Более того, они могут предоставить системам программного обеспечения XR больше данных, необходимых для настройки и улучшения иммерсивных впечатлений для каждого отдельного пользователя. Вот некоторые из основных тенденций, на которые стоит обратить внимание в области отслеживания глаз и рук.
1. Расширенные возможности пространственных вычислений
Решения для отслеживания глаз и рук используют концепции пространственных вычислений, чтобы сделать взаимодействие с компьютерными системами более естественным и интуитивно понятным. В прошлом многие гарнитуры виртуальной реальности, такие как Meta Quest 2, в значительной степени зависели от контроллеров, чтобы позволить пользователям перемещаться по виртуальным средам.
Однако сейчас растет число производителей, полностью отказывающихся от контроллеров в своих технологиях. Такие устройства, как Apple Vision Pro, не зависят от ввода контроллера; они используют интеллектуальное отслеживание изнутри наружу для мониторинга всего, от движений тела, жестов и глаз до внешнего мира и окружающего контента.
Интеллектуальные системы могут использовать инфракрасные лучи, камеры, датчики и другие технологии для картирования всей среды за считанные секунды, что позволяет создавать более мощные смешанной реальности, объединяющие виртуальный и физический миры. Эти решения также могут использовать возможности отслеживания рук и глаз, чтобы пользователи чувствовали, что они действительно перемещаются и взаимодействуют с пространством.
В сочетании с тактильными технологиями решения для отслеживания глаз и рук могут даже привнести чувство прикосновения в пространство XR, превращая взаимодействие с «виртуальным контентом» в физический опыт.
2. ИИ улучшает технологии отслеживания глаз и рук
Искусственный интеллект и расширенная реальность часто идут рука об руку. В мире тенденций отслеживания глаз и рук достижения в области ИИ прокладывают путь к более надежному анализу данных и улучшению пользовательского опыта в больших масштабах.
Новейшие передовые алгоритмы ИИ, такие как мультимодальные генеративные системы ИИ, могут обрабатывать огромные объемы аудио- и визуальных данных в реальном времени, используя их для формирования и улучшения пользовательского опыта в XR. Мощные системы, оснащенные компьютерным зрением, могут собирать больше информации о пользователе, чем когда-либо прежде.
Например, технологии Ultraleap могут не просто отслеживать основные жесты рук, а точно определять движение каждого пальца, сустав за суставом. Многие производители даже работают над системами отслеживания, которые используют ИИ для мониторинга и понимания всего — от языка тела до выражения лица.
Кроме того, ИИ уже улучшает производительность технологий XR с помощью отслеживания глаз и рук другими способами. Например, системы, использующие алгоритмы фовеальной визуализации, могут сосредоточиться на визуализации контента, наиболее релевантного для пользователя, основываясь на его взгляде. Это снижает потребность в избыточной вычислительной мощности и вычислительных ресурсах в расширенной реальности.
3. Повышение внимания к комфорту
Интеграция технологий отслеживания глаз и рук в решения расширенной реальности не только делает пользовательский опыт более интуитивным, но и может повысить комфорт.
Использование жестов и взгляда для навигации в среде часто проще для людей с ограниченными возможностями и хроническими заболеваниями, чем взаимодействие с контроллером. Фовеальная визуализация также может снизить риск VR-болезней, поскольку обеспечивает четкую загрузку изображений в центре нашего зрения.
Кроме того, многие производители XR используют отслеживание глаз как способ помочь пользователям настроить свой опыт XR. Например, современная гарнитура, созданная Varjo, может сканировать глаза человека и автоматически настраивать элементы IPD в гарнитуре для улучшения четкости изображения.
В более широком масштабе решения для отслеживания глаз и рук дают инноваторам возможность получить ценные данные о пользователях, которые они могут использовать для создания более удобных, эргономичных устройств и приложений, с которыми будет естественно и легко взаимодействовать.
4. Отслеживание глаз и рук влияет на аватары
Аватары становятся все более распространенным способом для людей представлять себя в цифровом мире. На совместных встречах, как в метавселенных, таких как Microsoft Teams Immersive Spaces, так и на таких каналах, как Zoom, команды используют аватары для представления себя.
Чтобы эти аватары представляли человека как можно более реалистично, инноваторы используют возможности отслеживания глаз и рук, чтобы сделать аватары более «человечными». Apple уже использует отслеживание и датчики, чтобы позволить пользователям создавать «персоны», которые больше похожи на них. Кроме того, в иммерсивных средах технологии отслеживания глаз и рук гарантируют, что аватары могут воспроизводить действия человека.
Высококачественные датчики и камеры могут улавливать каждое движение рук или лица человека, позволяя ему общаться с помощью жестов или передавать выражения лица. Это может привести к более глубокому уровню погружения и эмоциональной связи между людьми в совместной среде.
Это также может привести к созданию более «реалистичных» и «человеческих» виртуальных помощников, предназначенных для помощи клиентам в метавселенной.
5. Большая доступность и ориентирование на пользователя
В прошлом использование новейших передовых технологий в расширенной реальности не всегда было простым для руководителей бизнеса. К счастью, различные компании начинают осознавать ценность, которую XR предлагает предприятию, и ищут способы сделать свои инновации более доступными.
За последние пару лет мы увидели рост сред метавселенной как сервиса, который позволяют людям создавать собственные иммерсивные пространства без кода. Кроме того, производители программного обеспечения для отслеживания движения глаз и рук открывают доступ к своим API и SDK, позволяя любому человеку внедрять иммерсивные функции в новые приложения.
Эти инновации в сочетании с усовершенсвованными решениями для подключения, такими как 5G, периферийные вычисления и облачные среды, специально разработанные для расширенной реальности, открывают путь для более широкого внедрения. Все больше компаний используют возможности отслеживания рук, глаз и расширенной реальностью.
6. Способы использования продолжают развиваться
Наконец, Наконец, быстро развиваются и сферы применения технологий отслеживания глаз и рук. В прошлом эти технологии в первую очередь рассматривались как способ улучшения пользовательского опыта в расширенной реальности. Хотя они все еще могут достичь этой цели, они также могут служить различным дополнительным целям.
Технологии взаимодействия взгляда улучшают жизнь людей с ограниченными возможностями и позволяют им ориентироваться в системах с помощью одних только глаз. Решения по отслеживанию рук помогают проложить путь к лучшим стратегиям реабилитации в медицинской сфере.
Некоторые компании даже используют технологии отслеживания глаз для повышения безопасности в метавселенной и использования потенциала биометрии для аутентификации пользователей. Компании всех отраслей также используют технологии отслеживания глаз и рук для улучшения качества обучения и совместной работы.
Эти инструменты помогают организациям разрабатывать более захватывающие тренинги и программы развития, которые способствуют укреплению мышечной памяти и сохранению знаний. Они могут дать командам возможность получать руководство и поддержку без рук во время работы над сложными проектами. Например, с помощью инструментов распознавания взгляда инженер может просматривать страницы руководства пользователя во время работы над задачей.
Тенденции в области отслеживания взгляда и рук
Технологии отслеживания глаз и рук существенно влияют на будущее расширенной реальности, позволяя нам использовать весь потенциал пространственных вычислений. По мере роста спроса на пространственный опыт и развития инноваций в области искусственного интеллекта и сенсорных технологий мы можем ожидать появления все более интуитивных решений в наших гарнитурах и аксессуарах.
Однажды технологии отслеживания глаз и рук могут устранить необходимость в контроллерах, подключаемых к гарнитурам XR, и сделать иммерсивный опыт более доступным для всех.
