Apple Vision Pro đã sử dụng rất nhiều khoa học thần kinh để phát triển một số tính năng chính của nó, theo một cựu kỹ sư của Apple, với việc nó dựa vào nhiều thủ thuật khác nhau để xác định những gì một người có thể sắp thực hiện trong giao diện.
Giao diện chính của tai nghe Vision Pro của Apple dựa trên việc điều hướng bằng cử chỉ và theo dõi mắt, trong đó hệ thống cần xác định cụ thể người dùng đang xem gì càng nhanh càng tốt. Trong một đăng trên Twitter vào thứ Hai, bức màn được kéo ra để tiết lộ một số suy nghĩ ban đầu về dự án.
Sterling Crispin đã dành thời gian làm Nhà nghiên cứu Nguyên mẫu Công nghệ thần kinh trong Nhóm Phát triển Công nghệ tại Apple trong hơn ba năm, thời gian lâu nhất mà anh ấy”từng làm việc chỉ với một nỗ lực”. Khi ở đó, anh ấy đã nghiên cứu các yếu tố hỗ trợ sự phát triển cơ bản của tai nghe, bao gồm”trải nghiệm chánh niệm”và”nghiên cứu về mặt trăng đầy tham vọng với công nghệ thần kinh”khác.
Ví dụ, Crispin ví nó như”đọc suy nghĩ”, chẳng hạn như dự đoán những gì người dùng sẽ nhấp vào trước khi họ thực hiện.
“Tự hào vì đã đóng góp vào tầm nhìn ban đầu”của tai nghe, Crispin đã tham gia một nhóm nhỏ”giúp bật đèn xanh cho danh mục sản phẩm quan trọng đó”, mà anh ấy tin rằng một ngày nào đó có thể”có tác động đáng kể đến toàn cầu.”
Mặc dù phần lớn công việc của anh ấy vẫn thuộc NDA, nhưng Crispin vẫn có thể thảo luận về các chi tiết đã được công khai trong các bằng sáng chế.
Trạng thái tinh thần
Công việc của Crispin liên quan đến việc phát hiện trạng thái tinh thần của người dùng dựa trên dữ liệu được thu thập”từ cơ thể và não bộ của họ khi họ đang ở trong những trải nghiệm nhập vai.”
Bằng cách sử dụng tính năng theo dõi mắt, hoạt động điện, nhịp tim, hoạt động cơ, huyết áp, độ dẫn điện của da và các chỉ số khác, các mô hình AI có thể cố gắng dự đoán suy nghĩ của người dùng. Crispin viết: “Các mô hình AI đang cố gắng dự đoán xem bạn có đang cảm thấy tò mò, đầu óc lơ đãng, sợ hãi, chú ý, nhớ lại trải nghiệm trong quá khứ hay một số trạng thái nhận thức khác hay không”.
Một trong những”kết quả tuyệt vời nhất”có thể dự đoán thời điểm người dùng sẽ nhấp vào thứ gì đó trước khi họ thực hiện.
“Học sinh của bạn phản ứng trước khi bạn nhấp chuột một phần vì bạn mong đợi điều gì đó sẽ xảy ra sau khi bạn nhấp chuột,”Crispin giải thích.”Vì vậy, bạn có thể tạo phản hồi sinh học với bộ não của người dùng bằng cách theo dõi hành vi của mắt họ và thiết kế lại giao diện người dùng trong thời gian thực để tạo ra nhiều phản ứng đồng tử dự đoán này hơn.”
Anh ấy ví nó như một”giao diện máy tính não thô thông qua mắt”, mà anh ấy sẽ tiếp nhận”cuộc phẫu thuật não xâm lấn bất kỳ ngày nào”.
Tác động đến người dùng
Trong một thủ thuật khác để xác định trạng thái, người dùng có thể được chiếu hình ảnh hoặc phát âm thanh theo cách mà họ không cảm nhận được, sau đó đo lường phản ứng với kích thích đó.
Một bằng sáng chế khác giải thích cách máy học và tín hiệu cơ thể có thể được sử dụng để dự đoán mức độ tập trung của người dùng, nếu họ đang thư giãn hoặc để xác định mức độ học tập của họ. Sử dụng thông tin và trạng thái này, hệ thống có thể điều chỉnh môi trường ảo để nâng cao trạng thái cần thiết.
Crispin cho biết thêm rằng có rất nhiều thứ khác Tôi đã tham gia vào”chưa xuất hiện trong các bằng sáng chế và hy vọng rằng nhiều hơn nữa sẽ xuất hiện trên đường.
Mặc dù nhìn chung hài lòng với tác động của Vision Pro, nhưng vẫn có một cảnh báo rằng”vẫn còn một bước tiến trên con đường tiến tới VR”và ngành có thể mất thêm một thập kỷ nữa để bắt kịp hoàn toàn.
