【資料圖】

Meta 提交的一項新專利展示了可以為視頻游戲和VR 應用程序帶來更逼真的口型同步和面部動畫的技術。通過這些更逼真的面部動作創建NPC 和為玩家化身提供更逼真和身臨其境的體驗，包括在VR 游戲中。

該專利詳細介紹了將用戶語音轉換為逼真的口型同步和面部動畫的多種方法，使開發人員可以靈活地選擇使用該系統的方式。專利中概述的一種方法涉及使用多人在閱讀50 個不同的語音平衡句子時的音頻和視頻記錄數據集，系統在他們閱讀每個句子時跟蹤他們的面部表情。通過跟蹤個人在閱讀每個句子時的面部和嘴巴如何移動，系統可以從這些動作中提取并將它們混合在一起用來讓角色的動畫更加逼真，甚至包括眨眼和眉毛抬起等細微動作。

除了能夠基于現有數據集生成面部動畫和口型同步之外，該專利還描述了該系統如何使用集成到VR 耳機中的攝像頭來做同樣的事情。此功能可以讓VR 用戶擁有能夠準確模仿自己面部表情的頭像，從而在多人游戲和《VRchat》等社交 VR 體驗中獲得更加逼真和沉浸的體驗。

關鍵詞： Meta申請新專利 將優化虛擬現實中的口型同步