Apple Vision Pro ซึ่งเป็นอุปกรณ์”การประมวลผลเชิงพื้นที่”ใหม่ของ Apple ไม่มีกลไกการควบคุมที่ใช้ฮาร์ดแวร์ มันอาศัยการติดตามการมองและท่าทางของมือเพื่อให้ผู้ใช้สามารถจัดการกับวัตถุในพื้นที่เสมือนจริงที่อยู่ข้างหน้าพวกเขาได้ ในเซสชันล่าสุดสำหรับนักพัฒนาซอฟต์แวร์ นักออกแบบของ Apple ได้สรุปลักษณะท่าทางเฉพาะที่สามารถใช้ได้กับ Vision Pro และ การโต้ตอบบางอย่างจะทำงานอย่างไร
แตะ-การแตะนิ้วหัวแม่มือและนิ้วชี้พร้อมกันเป็นการส่งสัญญาณไปยังชุดหูฟังว่าคุณต้องการแตะองค์ประกอบเสมือนบน จอแสดงผลที่คุณกำลังดูอยู่ ผู้ใช้ยังอธิบายสิ่งนี้ว่าเป็นการเหน็บแนมและเทียบเท่ากับการแตะบนหน้าจอของ iPhone แตะสองครั้ง-การแตะสองครั้งจะเป็นการเริ่มต้นท่าทางการแตะสองครั้ง บีบแล้วกดค้างไว้-การจิ้มแล้วกดค้างไว้จะคล้ายกับการแตะค้างไว้ และจะทำสิ่งต่างๆ เช่น การเน้นข้อความ บีบและลาก-สามารถใช้การบีบและลากเพื่อเลื่อนและย้ายหน้าต่างไปมาได้ คุณสามารถเลื่อนในแนวนอนหรือแนวตั้ง และถ้าคุณเลื่อนมือเร็วขึ้น คุณจะสามารถเลื่อนได้เร็วขึ้น ซูม-ซูมเป็นหนึ่งในสองท่าทางหลักที่ใช้สองมือ คุณสามารถบีบนิ้วเข้าหากันและดึงมือออกจากกันเพื่อซูมเข้า และสันนิษฐานว่าซูมออกจะมีการเคลื่อนไหวแบบผลัก ขนาดหน้าต่างยังสามารถปรับได้โดยการลากที่มุม หมุน-หมุนเป็นท่าทางแบบสองมืออีกรูปแบบหนึ่ง และตามแผนภูมิของ Apple จะเป็นการบีบนิ้วเข้าหากันและหมุนมือเพื่อควบคุมวัตถุเสมือนจริง
ท่าทางจะทำงานควบคู่กับการเคลื่อนไหวของดวงตา และกล้องจำนวนมากใน Vision Pro จะติดตามตำแหน่งที่คุณกำลังมองหาด้วยความแม่นยำสูง ตำแหน่งสายตาจะเป็นปัจจัยสำคัญในการกำหนดเป้าหมายสิ่งที่คุณต้องการโต้ตอบโดยใช้ท่าทางมือ ตัวอย่างเช่น การดูที่ไอคอนแอปหรือองค์ประกอบบนหน้าจอจะกำหนดเป้าหมายและไฮไลต์ จากนั้นคุณสามารถติดตามด้วยท่าทางสัมผัส
ท่าทางมือไม่จำเป็นต้องทำ ยิ่งใหญ่และวางมือไว้บนตักได้ อันที่จริงแล้ว Apple ขอสนับสนุนเพราะมันจะช่วยให้มือและแขนของคุณไม่เมื่อยล้าจากการถือลอยอยู่ในอากาศ คุณแค่บีบนิ้วเพียงเล็กน้อยก็เทียบเท่ากับการแตะ เพราะกล้องสามารถติดตามการเคลื่อนไหวได้อย่างแม่นยำ
สิ่งที่คุณกำลังดูอยู่จะช่วยให้คุณเลือกและควบคุมวัตถุทั้งที่อยู่ใกล้คุณและไกลออกไป จากคุณ และ Apple คาดการณ์สถานการณ์ที่คุณอาจต้องการใช้ท่าทางสัมผัสที่ใหญ่ขึ้นเพื่อควบคุมวัตถุที่อยู่ตรงหน้าคุณ คุณสามารถเอื้อมและใช้ปลายนิ้วเพื่อโต้ตอบกับวัตถุได้ ตัวอย่างเช่น หากคุณมีหน้าต่าง Safari อยู่ตรงหน้า คุณสามารถเอื้อมมือออกไปแล้วเลื่อนจากตรงนั้น แทนที่จะใช้นิ้ววางบนตัก
นอกจากท่าทางสัมผัสแล้ว ชุดหูฟังยังรองรับการเคลื่อนไหวของมือ เช่น การพิมพ์ด้วยอากาศ แต่ดูเหมือนว่าผู้ที่ได้รับการสาธิตจะยังไม่สามารถลองใช้คุณลักษณะนี้ได้ในตอนนี้ แน่นอนว่าท่าทางจะทำงานร่วมกัน และในการทำบางอย่าง เช่น สร้างภาพวาด คุณจะต้องมองไปที่จุดบนผืนผ้าใบ เลือกแปรงด้วยมือของคุณ และใช้ท่าทางในอากาศเพื่อวาด หากคุณดูที่อื่น คุณจะสามารถเลื่อนเคอร์เซอร์ไปยังตำแหน่งที่คุณกำลังมองหาได้ทันที
แม้ว่านี่จะเป็นท่าทางสัมผัสหลัก 6 แบบของระบบที่ Apple ได้อธิบายไว้ นักพัฒนาสามารถสร้างท่าทางแบบกำหนดเองสำหรับแอปของตนได้ ที่จะดำเนินการอื่นๆ นักพัฒนาซอฟต์แวร์จะต้องตรวจสอบให้แน่ใจว่าท่าทางที่กำหนดเองนั้นแตกต่างจากท่าทางของระบบหรือการเคลื่อนไหวของมือทั่วไปที่ผู้คนอาจใช้ และท่าทางนั้นสามารถทำซ้ำได้บ่อยๆ โดยไม่เมื่อยมือ
หากต้องการเสริมท่าทางมือและตา บลูทูธ แป้นพิมพ์ แทร็กแพด เมาส์ และตัวควบคุมเกมสามารถเชื่อมต่อกับชุดหูฟังได้ และยังมีเครื่องมือค้นหาด้วยเสียงและการเขียนตามคำบอกอีกด้วย
หลายคนที่ลองใช้ Vision Pro ได้มีแบบเดียวกัน คำที่ใช้อธิบายระบบควบคุม-ใช้งานง่าย นักออกแบบของ Apple ดูเหมือนจะสร้างให้ทำงานคล้ายกับท่าทางสัมผัสแบบมัลติทัชบน iPhone และ iPad และจนถึงตอนนี้ กระแสตอบรับก็เป็นไปในเชิงบวก
