當AI擁有“想象力”是一種什么樣的體驗?
像左上角這樣，只給出一個凳子的椅座部分，AI就很快就腦補出了一張完整的三維椅子模型：
類似的，當面對經典的“用PS讓大象轉身”的甲方需求，我們拿到了這樣一張汽車屁股的照片：
AI也可以根據已有的局部信息，迅速推斷出缺失部分，并最終建模得到一個3D汽車模型。
這項研究成果來自深圳大學黃慧教授帶領的研究團隊，其論文最近剛剛被計算機視覺領域的頂級會議CVPR 2022接收，論文的第一作者為深圳大學視覺計算中心的研究助理閆星光。
接下來，就來一起看看一張局部照片是如何一步一步變為整體建模的。
一個完整的三維建模的形狀通常是通過相機探測和表面取樣獲得的，而局部照片就意味著只能從物體的可見部分獲得信息，導致了不同的采樣密度和缺失。
那么這時，就要通過觀察已有數據中的非局部的提示，使用各種形式的先驗知識推斷出缺失部分。
于是，作者首先提出了一種矢量量化(Vector Quantization)的深度隱式函數(Deep Implicit Function)，VQDIF。
這是一種三維表示方法，可以將表面形狀洗漱地編碼為離散的二元組序列，每個序列代表一個局部特征的位置和內容，也就是這樣一個過程：
其次，作者提出了一個基于Transformer的自回歸模型，ShapeFormer，基于上一步中生成的二元組序列，順序地預測出完整序列的分布。
這里的Transformer是2014年的一個模型，能夠利用注意力機制(Attention)來提高模型訓練速度，最初一經推出就在自然語言理解領域(NLP)取得了突破性進展，近幾年也有不少將其應用在計算機視覺領域(CV)的跨界研究。
而通過對上一步所預測出的分布進行抽樣，可以得到不同的預測結果。
除了像桌椅這種平面形狀，AI也在訓練中學會了對稱性、空心、填充等不少技能，因此也可以生成像是茶壺或水壺這樣的三維模型。
作者也在論文中表示，比起已有的許多三維圖像生成方法，ShapeFormer產生的結果可以保留更多的原圖細節。
同時，這種AI的“想象力”也極為豐富，比如面對人類這樣一個姿勢具有極大不確定性的生成目標，作者從完整的模型中隨機選擇一小部分，而AI在保持觀察到身體部位的姿勢的前提下，還生成了多種可能的姿勢。
凡注有"環球傳媒網"或電頭為"環球傳媒網"的稿件，均為環球傳媒網獨家版權所有，未經許可不得轉載或鏡像；授權轉載必須注明來源為"環球傳媒網"，并保留"環球傳媒網"的電頭。