Connect 2021大會上，小扎將Facebook改名為Meta，全力奔向元宇宙。而在許多人看來，這只是元宇宙的PPT。其實，Meta一直在開展Codec Avatars項目，目前已能創建出逼真的虛擬角色，連頭發絲都根根分明。

扎克伯格也來挑戰「光劍變裝」了。

你以為是這樣的?NoNoNo!

小扎沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。

右手背后藏劍，左手亮劍：一瓶BBQ蘸汁。

這是小扎在「元宇宙」中虛擬化身(Avatar)，這一亮劍視頻讓許多人紛紛轉發。

自從Facebook更名為Meta，正式進軍元宇宙之后，「元宇宙」這個詞的熱度就一直未減。

而與「元宇宙」一起被頻繁提及的，就是「化身」(Avatar)這個詞。

「化身」，通俗意義上講，就是人們在虛擬世界里的形象。

12月10號，「元宇宙」先鋒Meta開放了自家的虛擬世界平臺Horizon Worlds。

當用戶進入Horizon Worlds后，就需要創建一個3D虛擬化身。

有了化身，用戶就可以在這個自定義的世界中暢快玩耍。

不過，略顯尷尬的是，這些avatar的表情都非常僵硬。

所以，雖然目前的3D虛擬化身也勉強能用，但離著科幻電影，比如「頭部玩家」里那種逼真的化身形象，還有十萬八千里。

而Codec Avatars項目便代表了Meta在虛擬化身領域所做的努力。

「元宇宙」不是PPT，Meta真在做

小扎改名Facebook的決心也不是鬧著玩兒的。

若想在元宇宙中實現真正的交互，虛擬化身可是打開元宇宙這道門的任督二脈。

Codec Avatars這一項目旨在實現一個能夠捕獲和表示用于XR的逼真頭像的系統。

基于3D捕捉和AI技術，Codec Avatars可以讓人們快速能夠輕松地構建屬于自己的虛擬化身，并使虛擬空間中的交互像在現實世界一樣自然。

最初這個項目是以高質量的頭像演示開始，后來逐漸實現構建全身的虛擬化身。

除了簡單地掃描一個人的身體之外，一個主要的挑戰是讓它以現實的方式移動——更不用說讓整個系統能夠實時運行，以便化身可以在交互式環境中使用。

在Connect 2021大會上，研究人員Yaser Sheikh展示了該團隊最新的成果——全身視頻編解碼器(Full-body Codec Avatars)。

他表示現在Codec Avatars支持更復雜的眼部運動、面部表情、手部和身體姿勢。

此外，Meta還展示了虛擬化身在對不同的光照條件和環境下實現頭發和皮膚的真實渲染。

那么，衣服也可以在元宇宙中實現真實模擬。

扯一扯彈性不錯，抖動一下也會有褶皺。

身體細節、衣服都能做到現實還原，還有高保真的虛擬空間。

Meta就建造了一個虛擬公寓，公寓中所有物品都是現實世界的映射。

這樣用戶在虛擬空間中移動物體或者交互都能與物理空間實現同步。

目前，這似乎是為公司構建一個映射的真實世界環境的「最佳案例」場景來進行實驗。

進入元宇宙后，手動跟蹤也同樣重要。如果在物理世界中大甩手臂實現交互，不僅累，而且也不雅觀。

為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進行XR輸入。

前段時間，Meta還推出了一款觸覺啟動手套，都是為了實現在元宇宙中的新交互所做的努力。

如何構建Codex Avatars?

Meta開始制作Codex Avatars的契機要追溯到7年前。

2014年，卡內基梅隆大學機器人研究所旗下的一家3D捕捉實驗室Panoptic Studio的負責人Yaser Sheikh遇到了Oculus首席科學家Michael Abrash，兩人聊得非常投機。

Michael Abrash

2015年，Yaser Sheikh加入了Facebook(現Meta)，從那以后便一直領導著Codex Avatars研究團隊。

Yaser Sheikh

「要想打造一個逼真的化身，基礎在于測量」，Codex Avatars研究科學家托馬斯·西蒙說。

「化身要以假亂真靠的是精確的數據，這需要良好的測量。因此，構建真實化身的關鍵是找到一種方法來測量人類表情中的物理細節，比如一個人瞇起眼睛或皺起鼻子的方式。」

在匹茲堡實驗室的Codec Avatars團隊，使用了兩個主要的模塊來測量人類的表情：編碼器和解碼器。

首先，編碼器使用攝像頭來捕捉受試者正在做什么，然后將捕獲的信息組裝成一個唯一的編碼，用來表示一個人的身體和環境狀態，這個編碼可以隨時發送到任何需要的地方。

然后，解碼器再將該編碼轉換為視頻信號。

普通的智能手機攝像頭也能拍攝生動的視頻。不過，Codec Avatars可是海量物理數據和復雜軟件的結合，比想象中要復雜得多。

Codec Avatars項目在捕捉人臉細節時，使用了數百個高分辨率相機，而每個相機又會以每秒1 GB的速度捕獲數據。

這是什么概念呢?

打個比方，這些相機三秒鐘的記錄的數據就足以裝滿一個512GB的磁盤。

而Codec Avatars團隊持續記錄大約15分鐘，這已經到達了他們現有硬件條件的極限，但盡可能多的數據也為創建最逼真的虛擬頭像打下了基礎。

Codec Avatars團隊正在使用這些數據來訓練AI系統，從而讓AI可以從視頻中快速構建虛擬頭像。

Sheikh說：「我們目前已經可以還原發型夸張的人的3D頭像，甚至還原戴著腦電采集帽的人的頭像也不在話下。」

「這是世界上最先進的能夠自動生成人類的真實數字肖像的方法之一。它提供了一種虛擬的面對面交流的新方式，將來可以廣泛推廣。」

而隨著Codec Avatars的出現，人們對「元宇宙」社交的接受度會不會越來越高呢?

關鍵詞： 扎克伯格 光劍變裝 Meta 元宇宙