據一位前 Apple 工程師稱，Apple Vision Pro 涉及大量神經科學來開發其一些關鍵功能，它依靠各種技巧來確定一個人可能會在界面中做什麼。
Apple 的 Vision Pro 耳機的主界面基於使用眼動追踪和手勢的導航，系統需要盡快確定用戶具體在看什麼。在周一的 Twitter 帖子中，拉開帷幕揭示了進入該項目的一些早期想法。
Sterling Crispin 在 Apple 的技術開發小組擔任神經技術原型研究員三年多，這是他“從事單一工作的時間最長的”。在那裡，他致力於支持耳機基礎開發的元素，包括“正念體驗”和其他“神經技術的雄心勃勃的登月研究”。
舉個例子，Crispin 把它比作“讀心”，比如在用戶點擊之前預測他們會點擊什麼。
Crispin 為頭顯的“最初願景”做出貢獻而感到自豪，他所在的小團隊“幫助為重要的產品類別開了綠燈”，他相信這“有朝一日可能會產生重大的全球影響。 “
雖然他的大部分工作仍處於保密協議之下，但 Crispin 仍然可以討論已在專利中公開的細節。
精神狀態
Crispin 的工作涉及根據“在身臨其境的體驗時從他們的身體和大腦收集的數據”來檢測用戶的精神狀態。
通過使用眼動追踪、電活動、心跳、肌肉活動、血壓、皮膚電導和其他指標，人工智能模型可以嘗試預測用戶的想法。 “人工智能模型正試圖預測你是否感到好奇、走神、害怕、注意力集中、回憶過去的經歷或其他一些認知狀態，”Crispin 寫道。
其中之一“最酷的結果”是能夠預測用戶何時會在他們點擊之前點擊某些東西。
“您的瞳孔會在您點擊之前做出反應，部分原因是您預計點擊後會發生某些事情，”Crispin 解釋道。 “因此，您可以通過監測用戶的眼睛行為，並實時重新設計 UI 以創建更多這種預期的瞳孔反應，從而用用戶的大腦創建生物反饋。”
他將其比作“通過眼睛的原始腦機接口”，他將接管“任何一天的侵入性腦部手術”。
Influenceing the user
在確定狀態的另一個技巧中，用戶可能會以他們無法感知的方式閃爍視覺效果或播放聲音，然後進行測量對該刺激的反應。
另一項專利解釋瞭如何使用機器學習和身體信號來預測用戶的注意力、他們是否放鬆，或者確定他們的學習情況。使用此信息和狀態，系統可以調整虛擬環境以增強所需狀態。
Crispin 補充說，“還有很多其他東西我參與了“尚未在專利中浮出水面的”，並希望未來會有更多的浮出水面。
雖然普遍對 Vision Pro 的影響感到滿意，但仍有警告稱它“在通向 VR 的道路上仍向前邁進了一步”，並且該行業可能還需要十年時間才能完全趕上。
