การวิจัยทางระบบประสาทของ Apple Vision Pro ในช่วงแรกๆ ช่วยให้คาดการณ์ได้ว่าคุณจะคลิกเมื่อใด

Apple Vision Pro เกี่ยวข้องกับประสาทวิทยาศาสตร์จำนวนมากเพื่อพัฒนาคุณสมบัติหลักบางประการ ตามคำบอกเล่าของอดีตวิศวกรของ Apple โดยต้องอาศัยกลเม็ดต่างๆ เพื่อพิจารณาว่าบุคคลนั้นจะทำอะไรได้บ้างในอินเทอร์เฟซ

อินเทอร์เฟซหลักของชุดหูฟัง Vision Pro ของ Apple ขึ้นอยู่กับการนำทางโดยใช้การติดตามการมองและท่าทาง โดยระบบจำเป็นต้องระบุสิ่งที่ผู้ใช้กำลังดูโดยเฉพาะโดยเร็วที่สุด ใน Twitter โพสต์ในวันจันทร์ ม่านถูกรูดออกเพื่อเผยให้เห็นความคิดแรกเริ่มที่เข้าสู่โครงการ

Sterling Crispin ใช้เวลาเป็นนักวิจัยสร้างต้นแบบเทคโนโลยีประสาทในกลุ่มพัฒนาเทคโนโลยีที่ Apple นานกว่าสามปี ซึ่งนานที่สุดเท่าที่เขา”เคยทำงานด้วยความพยายามเพียงครั้งเดียว”ขณะอยู่ที่นั่น เขาทำงานในองค์ประกอบที่สนับสนุนการพัฒนาพื้นฐานของชุดหูฟัง รวมถึง”ประสบการณ์การเจริญสติ”และ”การวิจัย Moonshot ที่ทะเยอทะยานด้วยเทคโนโลยีประสาท”

ตัวอย่างเช่น Crispin เปรียบเสมือน”การอ่านใจ”เช่น คาดการณ์ว่าผู้ใช้จะคลิกอะไรก่อนที่จะคลิก

“ภูมิใจที่ได้มีส่วนร่วมในวิสัยทัศน์แรกเริ่ม”ของชุดหูฟัง Crispin อยู่ในทีมเล็กๆ ที่”ช่วยไฟเขียวในหมวดหมู่ผลิตภัณฑ์ที่สำคัญ”ซึ่งเขาเชื่อว่าอาจ”มีผลกระทบที่สำคัญทั่วโลกในวันหนึ่ง”

แม้ว่างานส่วนใหญ่ของเขาจะยังอยู่ภายใต้ NDA แต่ Crispin ก็ยังสามารถหารือเกี่ยวกับรายละเอียดที่เปิดเผยต่อสาธารณะในสิทธิบัตรได้

สภาพจิตใจ

งานของ Crispin เกี่ยวข้องกับการตรวจจับสภาพจิตใจของผู้ใช้โดยอิงจากข้อมูลที่รวบรวม”จากร่างกายและสมองของพวกเขาเมื่อพวกเขาอยู่ในประสบการณ์ที่สมจริง”

โดยใช้การติดตามดวงตา กิจกรรมทางไฟฟ้า การเต้นของหัวใจ กิจกรรมของกล้ามเนื้อ ความดันโลหิต ค่าการนำไฟฟ้าของผิวหนัง และเมตริกอื่นๆ โมเดล AI สามารถพยายามทำนายความคิดของผู้ใช้ได้”แบบจำลอง AI กำลังพยายามทำนายว่าคุณรู้สึกอยากรู้อยากเห็น จิตใจล่องลอย กลัว ให้ความสนใจ จดจำประสบการณ์ในอดีต หรือสถานะการรับรู้อื่นๆ”Crispin เขียน

หนึ่งใน”ผลลัพธ์ที่ยอดเยี่ยมที่สุด”สามารถคาดเดาได้ว่าเมื่อใดที่ผู้ใช้จะคลิกบางอย่างก่อนที่จะคลิก

“รูม่านตาของคุณตอบสนองก่อนที่คุณจะคลิก เพราะคุณคาดหวังว่าบางสิ่งจะเกิดขึ้นหลังจากที่คุณคลิก”Crispin อธิบาย”คุณจึงสร้างฟีดแบ็คทางชีวภาพด้วยสมองของผู้ใช้ได้โดยเฝ้าติดตามพฤติกรรมการมองของผู้ใช้ และออกแบบ UI ใหม่ตามเวลาจริงเพื่อสร้างการตอบสนองของรูม่านตาที่คาดหวังได้มากขึ้น”

เขาเปรียบมันกับ”สมองส่วนต่อประสานคอมพิวเตอร์ผ่านดวงตา”ซึ่งเขาจะรับช่วงต่อ”การผ่าตัดสมองแบบรุกรานทุกวัน”

การโน้มน้าวใจผู้ใช้

ในกลอุบายอื่นเพื่อระบุสถานะ ผู้ใช้อาจมองเห็นภาพแวบๆ หรือเล่นเสียงในแบบที่พวกเขามองไม่เห็น จากนั้นวัดผล ปฏิกิริยาต่อสิ่งเร้านั้น

สิทธิบัตรอีกรายการหนึ่งอธิบายว่าการเรียนรู้ของเครื่องและสัญญาณของร่างกายสามารถใช้เพื่อทำนายความสนใจของผู้ใช้ได้อย่างไร หากผู้ใช้รู้สึกผ่อนคลาย หรือเพื่อระบุว่าพวกเขาเรียนรู้ได้ดีเพียงใด การใช้ข้อมูลและสถานะนี้ ระบบสามารถปรับสภาพแวดล้อมเสมือนเพื่อปรับปรุงสถานะที่ต้องการ

Crispin เสริมว่ายังมี”สิ่งอื่นๆ อีกมากมาย ฉันมีส่วนเกี่ยวข้องกับ”ที่ไม่ได้ปรากฏในสิทธิบัตร และหวังว่าจะมีมากขึ้นอีกในอนาคต

แม้ว่าโดยทั่วไปจะพอใจกับผลกระทบของ Vision Pro แต่ก็ยังมีคำเตือนว่า”ยังก้าวไปข้างหน้าอีกก้าวหนึ่งบนถนนสู่ VR”และอาจต้องใช้เวลาอีกนับสิบปีกว่าอุตสาหกรรมจะ ติดตามอย่างเต็มที่