A Apple está tentando adicionar a tecnologia Apple AR ao Measure aplicativo no iPhone, tornando-o mais preciso e anotando objetos automaticamente com suas medidas.
O aplicativo Measure em iPhone tornou-se útil, e mais preciso , uma vez que o LiDAR foi introduzido. Agora, a Apple tem pesquisado trazer sua tecnologia Apple AR para torná-la mais rápida e precisa.
No futuro, apontar a câmera do iPhone para um objeto pode gerar automaticamente uma notificação na tela de suas medições. Ele fará isso por meio de AR e em parte por meio do Aprendizado de Máquina em diferentes tipos de objetos.
“Medidas automáticas com base na classificação de objetos”é um pedido de patente recém-revelado . Ele se preocupa em como determinar em qual objeto você está interessado e em como medi-lo com precisão.
O pedido de patente é particularmente amplo, incluindo”dispositivos, sistemas e métodos que obtêm uma representação tridimensional (3D) de um ambiente físico.”O detalhe gerado é baseado em toda uma série de diferentes sensores e medições relacionadas a”dados de profundidade e dados de imagem de intensidade de luz”.
“[Estes] geram uma caixa delimitadora 3D correspondente a um objeto no ambiente físico com base na representação 3D”, diz Apple,”classifica o objeto com base na caixa delimitadora 3D e nos dados semânticos 3D, e exibir uma medição do objeto, onde a medição do objeto é determinada usando uma de uma pluralidade de redes neurais específicas de classe selecionadas com base na classificação do objeto.”
Primeiro, o AR determinará em qual objeto você está interessado. O pedido de patente não se detém precisamente em como essa determinação é feita. Ainda assim, você pode inferir que é semelhante ao modo como o modo Retrato reconhece que você está focalizando a pessoa em primeiro plano.
“A geração de detecção de objetos e medições de objetos é facilitada em algumas implementações usando representações 3D rotuladas semanticamente de um ambiente físico”, diz o pedido de patente.”Algumas implementações realizam segmentação semântica e rotulagem de nuvens de pontos 3D de um ambiente físico.”
No entanto, ele determina o que você está e não está interessado em medir, este futuro aplicativo de medição pode usar”várias técnicas diferentes.”
“Em algumas implementações, um objeto é medido gerando primeiro uma caixa delimitadora 3D para o objeto com base nos dados de profundidade”, diz Apple,”refinando a caixa delimitadora usando várias redes neurais e refinando algoritmos aqui descritos.”
Uma caixa delimitadora pode começar determinando a largura, altura e profundidade básicas de um objeto. Em seguida, o aplicativo Measure vai além, tentando classificar o objeto, por exemplo, se é uma cadeira ou um aparelho de TV.
“[Por exemplo, um] objeto é medido usando diferentes tipos de medidas para diferentes tipos de objetos usando técnicas de aprendizado de máquina (por exemplo, redes neurais)”, diz Apple.”[Diferentes] tipos de medidas podem incluir uma altura de assento para cadeiras, um diâmetro de tela para TVs, um diâmetro de mesa para mesas redondas, um comprimento de mesa para mesas retangulares e semelhantes.”
O aprendizado de máquina já é capaz de reconhecer e classificar objetos, mesmo a partir de imagens planas. Editores de imagem do Mac, como Pixelmator Pro, usam-no para rotular camadas automaticamente, por exemplo.
Detalhe de a patente que mostra um usuário medindo objetos diferentes
A Apple quer”treinar”o aprendizado de máquina para ser bom na medição de objetos específicos.
“Por exemplo, um modelo pode ser treinado e usado para determinar medidas para objetos do tipo cadeira (por exemplo, determinar a altura do assento, comprimento do braço, etc.)”, diz Apple,”e outro modelo pode ser treinado e usado para determinar medidas para objetos do tipo TV (por exemplo, determinar um tamanho de tela diagonal, maior profundidade de TV, etc.).”
A ideia é que se você medir uma mesa, você desejará saber os detalhes de sua superfície. Ao passo que, se você medir um aparelho de TV, pode desejar a largura física e o tamanho diagonal da tela, sem contar os engastes.
Na verdade, o objetivo desse novo aplicativo de medição em potencial é que você não precisa se preocupar ou saber nenhum dos detalhes de como um objeto está sendo medido. Em vez disso, basta apontar o iPhone e toda essa tecnologia proposta resulta em um rótulo na tela, mostrando a largura, profundidade ou altura de um objeto.
Este pedido de patente é creditado a cinco inventores. Isso inclui Aditya Sankar, cujo trabalho anterior inclui uma patente relacionada a captura de cena interna .
