Разработчики Quest теперь могут публиковать приложения, которые используют камеры гарнитуры для сканирования мира
Хотя гарнитура Quest от Meta ( запрещённой организации в РФ) всегда в значительной степени полагалась на камеры для отслеживания местоположения гарнитуры, контроллеров и мира вокруг пользователя, разработчики не имели такого же привилегированного доступа к камерам гарнитуры. Ранее в этом году Meta предоставила разработчикам возможность экспериментировать с прямым доступом к камерам гарнитуры в частных проектах; начиная с этой недели разработчики теперь могут публично выпускать приложения, которые используют новую функцию.
Обновление API Passthrough Camera для Quest на этой неделе означает, что разработчики теперь могут публиковать приложения в магазине Horizon, которые напрямую получают доступ к фронтальным камерам Quest 3 и 3S. Это открывает двери для сторонних приложений, которые могут сканировать мир вокруг пользователя, чтобы больше узнать о нем. Например, разработчики могут добавить возможности компьютерного зрения для отслеживания объектов или людей на сцене или для построения карты окружающей среды для анализа и взаимодействия.
Долгое время это было невозможно из-за ограничений, которые Meta накладывала на то, что разработчики могли и не могли делать с аппаратным обеспечением гарнитуры. Несмотря на то, что возможности компьютерного зрения были широко доступны разработчикам на смартфонах, Meta не решалась разрешить то же самое на своих гарнитурах, по-видимому, из-за проблем с конфиденциальностью (и, безусловно, усугубляемых многочисленными спорами о конфиденциальности, с которыми компания сталкивалась в прошлом).
Раньше сторонние приложения могли узнавать некоторую информацию о мире вокруг пользователя, например, о форме комнаты и объектах в ней, но эта информация предоставлялась системой таким образом, что не позволяла приложениям напрямую видеть то, что видят камеры. Это позволило разработчикам создавать приложения смешанной реальности, которые в некоторой степени знали о пространстве вокруг пользователя. Но это сделало некоторые варианты использования сложными или даже невозможными; например, отслеживание определенного объекта, удерживаемого пользователем.
В прошлом году Meta объявила, что наконец-то разблокирует прямой доступ к камерам гарнитуры. В марте она начала предлагать разработчикам экспериментальную версию этой возможности, позволяя им создавать приложения, которые обращаются к камерам гарнитуры. Но до сих пор им не разрешалось публиковать эти приложения для общественности.
Компания также указала технические возможности и производительность камер, к которым разработчики могут получить доступ на Quest 3 и 3S:
Раньше сторонние приложения могли узнавать некоторую информацию о мире вокруг пользователя, например, о форме комнаты и объектах в ней, но эта информация предоставлялась системой таким образом, что приложения не могли напрямую видеть то, что видят камеры. Это позволило разработчикам создавать приложения смешанной реальности, которые в некоторой степени знали о пространстве вокруг пользователя. Но это сделало некоторые варианты использования сложными или даже невозможными; например, отслеживание определенного объекта, удерживаемого пользователем.
В прошлом году Meta объявила, что наконец-то разблокирует прямой доступ к камерам гарнитуры. В марте она начала предлагать разработчикам экспериментальную версию этой возможности, позволяя им создавать приложения, которые обращаются к камерам гарнитуры. Но до сих пор им не разрешалось публиковать эти приложения для общественности.
Компания также указала технические возможности и производительность камер, к которым разработчики могут получить доступ на Quest 3 и 3S:
*Задержка захвата изображения: 40–60 мс
*Нагрузка на графический процессор: ~1–2% на потоковую камеру
*Нагрузка на память: ~45 МБ
*Скорость передачи данных: 30 Гц
*Максимальное разрешение: 1280×960
*Внутренний формат данных YUV420
Meta утверждает, что использование разработчиком данных камеры на Quest регулируется ее Политикой использования данных разработчиков, включая раздел «Запрещенное использование пользовательских данных», который запрещает определенные виды использования данных, в том числе для «выполнения, содействия или предоставления инструментов для наблюдения» и «уникальной идентификации устройства или пользователя, за исключением случаев, разрешенных [в политике]».
