Meta Society |

過去三五年，行業(yè)更迭，入局企業(yè)眾多，元宇宙相關(guān)技術(shù)層出不窮。我們希望在本欄目中，對VR | XR | 動作捕捉技術(shù)聚焦剖析，捋清技術(shù)脈絡(luò)，為您帶來相關(guān)技術(shù)分享與理論觀點。

20世紀(jì)80年代起，日本微型計算機(jī)技術(shù)開始逐漸成熟，1983年更是成為公認(rèn)的紅白機(jī)元年。

從這時開始，二次元文化逐漸形成，動畫片產(chǎn)業(yè)方興未艾，但當(dāng)年并不像當(dāng)代日漫，題材稀薄，乏味可陳。因此，動畫《超時空要塞Macross》憑借機(jī)器人與戀愛主題要素結(jié)合的超前理念，在當(dāng)年一躍成為經(jīng)典，女主角林明美更是成為初代“御宅族”的理想女神。

動畫制作方抓住契機(jī)，虛擬偶像“林明美”正式出道，就著歌姬人設(shè)出專輯，成為當(dāng)時最紅的存在。「走出動畫文本的紙片人」打開了未來虛擬偶像創(chuàng)作者的思路。

到了1996年，技術(shù)條件的革新，促發(fā)了3D虛擬偶像伊達(dá)杏子的誕生，但由于當(dāng)時的動作捕捉技術(shù)手段尚未成熟，制作成本高，未能形成真正的3D虛擬偶像熱潮。

21世紀(jì)初期，CG技術(shù)、動作捕捉與面部捕捉技術(shù)的發(fā)展推動虛擬偶像進(jìn)一步完善，以初音未來、洛天依為代表的新一代虛擬歌姬，以及《指環(huán)王》中的咕嚕和《猩球崛起》中的凱撒，宣告虛擬偶像步入影視娛樂行業(yè)。

「二次元」虛擬偶像

2016年后，隨著人工智能、建模、渲染和動作面部捕捉等技術(shù)的發(fā)展，虛擬偶像絆愛在直播間開啟虛擬主播帶貨新形式，Bilibili“虛擬次元計劃”頻道成為虛擬主播大本營。百度集團(tuán)深耕人工智能賽道，推出AIGC希加加，當(dāng)代AI技術(shù)的蓬勃發(fā)展，也讓AIGC向生成式數(shù)字人逐步前行。

技術(shù)革新推動虛擬偶像產(chǎn)業(yè)發(fā)展

顯然，虛擬偶像是頗具象征意味的群體需求和技術(shù)發(fā)展匯合的時代產(chǎn)物。

隨著“元宇宙”概念的火熱，虛擬偶像再次被推上風(fēng)口浪尖，當(dāng)下三維圖形生成技術(shù)、動態(tài)環(huán)境建模技術(shù)、實時動作捕捉技術(shù)、快速渲染處理、虛擬引擎構(gòu)建、語音合成與交互技術(shù)、語義識別技術(shù)、深度學(xué)習(xí)與多模態(tài)技術(shù)等新技術(shù)的發(fā)展，正在積極為虛擬偶像賦能。

元宇宙時代，虛擬偶像已經(jīng)進(jìn)化為超寫實數(shù)字人。超寫實數(shù)字人建模是一種追求逼真度較高的技術(shù)，涵蓋多種方法和工具，常見的建模技術(shù)主要有以下幾類：

手工建模是一種使用計算機(jī)圖形軟件或物理材料，通過藝術(shù)家或設(shè)計師手動創(chuàng)建三維模型的過程。這種方法涵蓋了游戲開發(fā)、動畫制作、工業(yè)設(shè)計等多個領(lǐng)域，適用于注重創(chuàng)造力、個性化和藝術(shù)性的項目，但在時間、成本和效率方面會受到限制。

在不同的項目中，手工建模與數(shù)字技術(shù)、自動化建模等方法可能會結(jié)合使用，以平衡不同的需求。

由Epic Games開發(fā)的工具，使用機(jī)器學(xué)習(xí)生成逼真的數(shù)字人物模型，包括面部特征、膚色、表情、發(fā)型等。然而，由于軟件局限，應(yīng)用MetaHuman Creator制作能夠交互的虛擬偶像需要大量學(xué)習(xí)素材支撐，且建模類型較為單一，無法創(chuàng)建定制化角色。

MetaHuman Creator

通常采用高分辨率的3D掃描儀，捕捉真實人體或物體的微小細(xì)節(jié)，以及皮膚紋理等，從而生成超寫實的數(shù)字人物模型。

元客視界Lustage光場重建系統(tǒng)

元客視界LuStage是一套高效的影視級數(shù)字人/物資產(chǎn)建模系統(tǒng)，利用多光譜變光照照明、高速同步相機(jī)陣列采集的數(shù)據(jù)，自動智能計算毛孔級的高精度人臉模型、光照材質(zhì)特性，大幅降低人/物等數(shù)字資產(chǎn)制作周期，提升制作精度。

作為主流的虛擬偶像驅(qū)動技術(shù)，動作捕捉實現(xiàn)了真人虛擬化的互動形式，這種交互方式開啟了創(chuàng)作者與虛擬偶像的虛實觸達(dá)通道，也是人與機(jī)器之間的一種新的互動形式。 一些常用的控制手段包括動作捕捉、手勢捕捉、表情捕捉等。

元客視界虛擬偶像直播方案，結(jié)合了自主開發(fā)的FZMotion光學(xué)式高精度動作捕捉系統(tǒng)，以及iPhone的ARKit表情捕捉方式，和諸如Manus、StretchSense等數(shù)據(jù)手套，實時高精度解算人體骨骼運動，驅(qū)動數(shù)字角色動畫，整套流程骨骼魯棒穩(wěn)定，動畫生成快速細(xì)膩。

元客視界虛擬偶像解決方案

近年來，學(xué)術(shù)界在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)、多模態(tài)人工智能方面的探索表明大模型具備易擴(kuò)展性，能夠?qū)崿F(xiàn)跨模態(tài)的知識沉淀。

去年亮相的stableDiffusion以及ChatGPT成功商業(yè)化也證明了以大模型為基礎(chǔ)，通過大模型進(jìn)行業(yè)務(wù)封裝可以較好滿足多個行業(yè)需求。

虛擬偶像作為最趨近真人的表達(dá)媒介之一，除了傳統(tǒng)的AI內(nèi)容模型之外，還需要大量動作數(shù)據(jù)集模型進(jìn)行自主學(xué)習(xí)驅(qū)動。

基于專業(yè)的設(shè)計與集成理念，元客視界LuStage光場重建系統(tǒng)兼具高速、高質(zhì)量的制造能力。LuStage所具備的多相機(jī)微秒級同步以及圖像智能ISP處理能力，可以使模型幾何信息更加精確、圖像色彩更加真實；同時，LuStage采用分布式高速拍攝存儲等技術(shù)，實現(xiàn)大規(guī)模批量化模型生產(chǎn)的目標(biāo)，大大縮短了AI模型數(shù)據(jù)訓(xùn)練數(shù)據(jù)庫的周期，爆發(fā)真正改變技術(shù)手段、推動行業(yè)進(jìn)步的生產(chǎn)力。

虛擬偶像AI訓(xùn)練數(shù)據(jù)集