Apple veut savoir chaque fois que vous bougez un muscle dans n’importe quelle partie de votre corps, afin qu’il puisse construire une image plus précise de votre condition physique, et éventuellement mieux cartographier votre emplacement dans une pièce.
Apple dispose déjà de technologies telles que des accéléromètres dans l’Apple Watch, ce qui signifie qu’il est capable de détecter automatiquement que vous marchez, même si vous avez oublié d’activer l’entraînement Outdoor Walk. Il a également récemment déposé un brevet pour un appareil photo sur l’Apple Watch qui, ainsi que pour la photographie, concernait la détection de mouvement.
Maintenant, deux demandes de brevet distinctes ont été révélées, qui malgré appliqués à un an d’intervalle, les deux visent à détecter chaque mouvement-et à l’utiliser.
« Posture Transition Detection And Classification Using Linked Biomechanical Model », a été déposé en septembre 2021, et seulement révélé maintenant. Ses 17 pages de détails-environ 8 000 mots-concernent toutes très précisément la détection d’un changement de posture.
“Les appareils mobiles existants incluent des capteurs de mouvement qui fournissent des données de mouvement, telles que l’accélération et le taux de rotation de l’appareil mobile”, explique Apple dans cette demande de brevet.”Par exemple, un podomètre numérique peut utiliser des données d’accélération pour compter les pas afin de déterminer si l’utilisateur marche ou court.”
“Bien que ces larges classifications d’activités soient utiles pour de nombreuses applications mobiles”, poursuit-il,”certaines applications mobiles gagneraient à savoir si la posture physique d’un utilisateur a changé, comme se tenir debout à partir d’une position assise ou vice versa.”
Comme toujours avec une demande de brevet , l’accent est principalement mis sur la manière dont quelque chose peut être réalisé plutôt que sur son utilisation. Néanmoins, il existe des cas d’utilisation clairs auxquels il est fait allusion dans le texte, par exemple lorsqu’un utilisateur porte un casque et navigue à la fois dans un environnement réel et virtuel.
Lorsque les appareils que vous portez peuvent calculer la position de tout votre corps et prédire où le mouvement va vous emmener, ils peuvent vous alerter des obstacles réels ou virtuels. Cette capacité pourrait vraisemblablement être utilisée de la même manière pour aider les personnes malvoyantes à se déplacer dans le monde réel.
Apple en dit peu sur les cas d’utilisation, mais a suffisamment de détails pour montrer que cette détection de posture n’est pas seulement pour que l’entreprise puisse vous harceler de ne pas faire vos redressements assis.
“Dans un mode de réalisation audio spatial, les données de mouvement d’un casque et le mouvement de l’appareil source sont fusionnés dans l’appareil source”, explique Apple,”de sorte que la position et l’attitude relatives peuvent être calculées par l’appareil source à utiliser dans le suivi de la pose de la tête pour certains scénarios de suivi afin de s’assurer que le lit de son audio spatial est correctement centré.”
“En particulier, le suivi de la pose de la tête à l’aide du mouvement relatif est utile pour déterminer si la tête de l’utilisateur tourne alors que son torse est immobile ou si le torse de l’utilisateur a bougé”, poursuit-il.”Les deux types de mouvement seraient détectés par le casque et seraient impossibles à distinguer.”
C’est un point récurrent dans la demande de brevet, qu’il est peut-être déjà possible de détecter un mouvement, mais de ne pas pouvoir l’interpréter correctement ou complètement.
Apple répète à plusieurs reprises que sa proposition consiste à utiliser des combinaisons d’appareils pour déterminer ce dont il a besoin.”Généralement, l’utilisation des données de mouvement provenant à la fois du casque et de l’appareil compagnon permet de détecter des transitions de posture plus complexes de l’utilisateur”, indique-t-il.
Détection de pose complète du corps
Cette combinaison d’appareils est également au cœur du deuxième brevet nouvellement révélé.”Full Body Pose Estimation Through Feature Extraction From Multiple Wearable Devices”, déposé en 2022, concerne la détection de tout ce qui est possible-en utilisant tous les appareils imaginables.
Détail de le brevet montrant une partie des calculs derrière la détection de pose
“Les appareils portables sont désormais répandus dans la société”, déclare Apple.”De nombreux consommateurs portent quotidiennement à la fois des montres intelligentes et des appareils auditifs… [et nombre de ces appareils portables incluent des capteurs inertiels capables de détecter les mouvements de l’utilisateur.”
“Par exemple, les capteurs inertiels intégrés dans une smartwatch peuvent capturer le mouvement du bras d’un utilisateur qui peut ensuite être utilisé par une application de fitness pour calculer diverses mesures de fitness, telles que la quantité de calories brûlées par l’utilisateur pendant l’exercice ,”il continue.”Certains dispositifs auriculaires (par exemple, les écouteurs) incluent des capteurs inertiels qui contrôlent la lecture audio, fournissent des données d’orientation du microphone utilisées dans la formation de faisceaux pour réduire le bruit de fond et le suivi de la tête pour ancrer un champ sonore audio spatial joué à travers les dispositifs auriculaires.”
“[Ceux-ci peuvent ensemble] fournir un modèle squelettique complet du corps plus précis qui peut fournir des informations détaillées sur les mouvements d’un utilisateur”, explique Apple,”permettant un meilleur suivi des progrès pour diverses activités de fitness ou de surveillance de la santé”.
“Un avantage supplémentaire est que les appareils existants déjà possédés par l’utilisateur”poursuit la demande de brevet,”peuvent être utilisés en combinaison avec des modules de capteurs compacts peu coûteux (capteurs inertiels, altimètre et caméra) qui peuvent facilement être attachés à différents endroits du corps ou des vêtements de l’utilisateur pour créer un système de détection distribué. »
“L’utilisation de plusieurs caméras et capteurs inertiels placés à différents endroits du corps de l’utilisateur, combinée à des données de profondeur pour l’ensemble du corps, permet de générer un modèle squelettique tridimensionnel plus précis”, explique Apple.
“[Ces données] peuvent être utilisées dans une variété d’applications”, poursuit-il,”telles que des applications qui détectent si une personne est tombée ou est malade, des applications qui enseignent de manière autonome les régimes d’entraînement appropriés, le sport techniques et activités de danse…”
Les demandes de brevets décrivent toujours une gamme d’applications aussi large que possible, et dans ce cas cela va de l’aptitude à la façon dont ces systèmes pourraient”comprendre la langue des signes du corps entier. (par exemple, signaux de piste d’aéroport, signaux d’agents de la circulation, etc.).”
Ces deux demandes de brevet sont inhabituelles en ce sens qu’elles visent à créer un moyen de connecter ce qui existe déjà. Mais ils ont tous les deux raison de dire que nous avons les appareils capables de détecter ces données, donc un système qui calcule correctement les poses de tout le corps et les exploite ensuite pour notre santé et notre forme physique est une bonne chose.
Détail de le brevet montrant l’utilisation des données de pose du corps entier
Ou du moins tant que ces données restent avec nous.
Chacune des deux demandes de brevet utilise ce qui semble être désormais une section standard sur la confidentialité. Plutôt que de commenter les problèmes de confidentialité spécifiques soulevés par les demandes de brevet, le texte standard suppose que les”entités responsables”de cette collecte de données”se conformeront à des politiques de confidentialité bien établies”.
Le brevet de posture est crédité à quatre inventeurs, dont Aditya Sarathy, dont les travaux antérieurs pour Apple incluent une demande de brevet pour”la surveillance de la posture et du mouvement à l’aide d’appareils mobiles”.
Trois inventeurs ont travaillé sur la demande de brevet du corps entier, dont Wesley W. Zuber. Ses travaux antérieurs incluent un brevet pour la rétroaction tactile, comme un système haptique dans l’Apple Pencil.
