Гарнитура Apple VR или AR может перемещать аватар пользователя. он основан на отслеживании движений тела пользователя, а время работы от аккумулятора можно продлить с помощью некоторых умных методов передачи данных.
Apple, как полагают, занимается разработкой гарнитуры виртуальной реальности или дополненной реальности , а также Умные очки с дополненной реальностью, известные как « Apple Glass ». Вступая в медленно растущую область взаимодействия человека с компьютером, Apple также пытается разработать решения для множества проблем, чтобы выделить свои продукты среди других налобных систем.
В паре патентов, выданных Управлением по патентам и товарным знакам США во вторник, Apple считает, что может улучшить то, что может предложить ее гарнитура, в том, что касается ее взаимодействия с пользователем и того, как она взаимодействует с хост-устройство.
Мониторинг тела
Первый патент «Генерация информации о позе тела» охватывает способность системы отслеживать движения пользователя, а затем использовать эти данные для выполнения других связанных действий.
Apple считает, что для некоторых иммерсивных компьютерных реалий необходимо знать позу пользователя. В некоторых случаях приложение VR или AR может вносить изменения в то, что оно представляет, в зависимости от позы или движений пользователя, например, охранник в игре по-разному реагирует на позицию пользователя.
Более конкретно, Apple предлагает использовать знание позы тела для управления аватаром пользователя. Это может быть полезно в таких ситуациях, как популярный онлайн-чат VR Chat, который может использовать движение другого оборудования для изменения движений аватара пользователя.
Несколько нейронных сетей могут отслеживать отдельные суставы пользователя, работая вместе для создания модели всего тела.
Согласно патенту, Apple предлагает изучить позу с помощью различных камер и нейронных сетей, при этом несколько нейронных сетей работают вместе для моделирования отдельных суставов тела. Каждая из нейронных сетей работает индивидуально, но результаты скармливаются вместе для создания модели всего тела.
Обучение будет проводиться разными способами, включая не только понимание данных с камер, но и обучение тому, как сети взаимодействуют друг с другом. Это включает в себя «определение соответствующих топологий множества разветвленных нейронных сетевых систем».
С точки зрения того, сколько информации сеть может собрать о позе человека, есть утверждение, что отслеживаемые суставы охватывают «воротниковую зону, плечевые суставы, локтевые суставы, суставы запястья, тазовый сустав, коленные суставы, голеностопные суставы и суставы”. Кромки, соединяющие элементы между стыками, также определяются системой.
Список охватывает все необходимое для создания модели тела пользователя, хотя и не с высокой степенью детализации. Например, хотя «костяшки пальцев» упоминаются, скорее всего, как ключевой элемент жестов, пальцы ног или движения стопы, по-видимому, не охватываются в той же степени.
В патенте указаны его изобретатели: Андреас Н. Бигонтина, Бехруз Махассени, Гутемберг Б. Герра Филью, Саумиль Б. Патель и Стефан Ауэр. Первоначально он был подан 23 сентября 2019 года.
Беспроводная связь
Второй патент, связанный с виртуальной реальностью ,”Адаптивные схемы беспроводной передачи”, нацелен на управление обменом данными между гарнитурой и главным компьютером.
Хотя существуют системы «все в одном», такие как Oculus Quest, они могут добавить веса к установке, и хотя привязанные установки могут уменьшить вес, сам кабель может быть проблемой. Ответом на это может быть использование системы беспроводной связи, которая снижает вес и устраняет необходимость в использовании кабеля.
Однако даже беспроводные системы могут вызывать проблемы. Например, он потребляет мощность для передачи данных, а беспроводные системы обычно имеют меньшую доступную полосу пропускания для использования, чем кабельная система. Также существуют неотъемлемые проблемы с помехами и другие проблемы, мешающие работе.
В патенте Apple предполагается, что можно использовать беспроводную систему, но чтобы сократить объем данных, передаваемых за один раз, система должна отправлять меньше видеоданных. Вместо данных, охватывающих два полных потока, по одному для каждого глаза, Apple хочет вдвое сократить используемую полосу пропускания.
Он планирует сделать это, используя чередующиеся передачи кадров для данных для левого глаза и данных для правого глаза. После получения данных кадра для обоих глаз система отображает их пользователю.
Чередование видеокадров для каждого глаза может вдвое сократить объем данных, передаваемых за раз.
Для дальнейшего улучшения системы за счет сокращения передаваемых данных каждый кадр не должен быть полным. Apple предлагает отправлять частичные передачи кадров, потенциально охватывая элементы, которые необходимо срочно обновить, и позволяя повторно использовать элементы более ранних кадров, охватывающие необновленные разделы.
Также упоминается отслеживание взгляда, которое также может быть задействовано в системе. Зная, куда смотрит пользователь, этим областям может быть назначен приоритет для обновлений, в то время как использование технологий отображения с ямками может уменьшить количество деталей, необходимых для частей экрана, на которые не смотрят, снова сохраняя данные.
Такая система потенциально может предложить чрезвычайно высокую частоту кадров, «не менее 100 кадров в секунду с использованием рольставни», хотя она может быть не такой высокой, как вы думаете. Согласно одному заявлению, кадры принимаются со скоростью «менее 60 кадров в секунду», но поскольку кадры глаз отображаются в альтернативных глазах, это может происходить со скоростью более 100 кадров в секунду.
Другие элементы включают мониторинг беспроводных соединений и использование нескольких соединений для поддержания высоких уровней пропускной способности и времени передачи данных.
Патент был первоначально подан 14 мая 2019 года и был изобретен Александром М. Мовшовичем, Артур Й. Чжан, Хао Пань, Холли Э. Герхард, Джим К. Чоу, Мойнул Х. Хан, Пол В. Джонсон, Сорин К. Сисмас, Шрираман Анантараман и Уильям В. Спраг.
Apple подает множество патентных заявок еженедельно, но хотя наличие патентов указывает на области, представляющие интерес для ее групп исследований и разработок, это не гарантирует, что они появятся в будущих продуктах или услугах.
Предыдущие заявки на патенты
Apple имеет множество патентных заявок в области виртуальной и дополненной реальности, и есть некоторые пересечения с двумя последними патентами.
Например, раньше он рассматривал дисплеи с ямками, в том числе в патент 2019 , в котором система может обеспечивать высокую частоту обновления гарнитуры. В 2020 году компания исследовала аналогичную систему, в которой использовалось отслеживание взгляда, чтобы решать, на какие участки экрана выводить ресурсы, с помощью функции обнаружения взгляда.
Распознавание жестов ранее появлялось несколько раз с помощью один патент от 2018 года, описывающий, как камеры под гарнитурой могут контролировать руки пользователя для управления 3D-документами. В 2015 году казалось, что машина зрение может распознавать жесты рук человека на расстоянии.
Будьте в курсе всех новостей Apple в еженедельном подкасте AppleInsider Podcast-и получайте свежие новости от AppleInsider Daily. Просто скажите «Привет, Siri» своему HomePod mini и попросите эти подкасты, а также наш последний выпуск HomeKit Insider.
Если вам нужен основной опыт AppleInsider Podcast без рекламы, вы можете поддержать Подкаст AppleInsider, подписавшись на через приложение Apple Podcasts за 5 долларов в месяц, или через Patreon , если вы предпочитаете любой другой проигрыватель подкастов.