国产精品chinese,色综合天天综合精品网国产在线,成午夜免费视频在线观看,清纯女学生被强行糟蹋小说

    <td id="ojr13"><tr id="ojr13"><label id="ojr13"></label></tr></td>
        • <source id="ojr13"></source>
            <td id="ojr13"><ins id="ojr13"><label id="ojr13"></label></ins></td>

            Article / 文章中心

            虛擬偶像誕生記 - 數(shù)字人行業(yè)和技術(shù)探究

            發(fā)布時間:2022-02-24 點(diǎn)擊數(shù):1487
            簡介: 為你講述當(dāng)前業(yè)界的現(xiàn)狀,包括不同行業(yè)中的showcase和優(yōu)秀的技術(shù)/創(chuàng)作平臺,引出近幾年比較火熱的元宇宙概念,包含多個核心技術(shù)點(diǎn),同時暢想數(shù)字人在未來的技術(shù)增長和業(yè)務(wù)價值,以及當(dāng)下我們該如何布局。

            我們理解的數(shù)字人

            虛擬數(shù)字人.png

            近幾年數(shù)字人的概念在互聯(lián)網(wǎng)中異?;馃幔瑯I(yè)界也出現(xiàn)了很多熱門虛擬數(shù)字人或虛擬偶像,比如Lil Miquela,洛天依、初音、鹿鳴、暖暖、AYAYI等。這些數(shù)字人的商業(yè)模式或市場價值通常是:通過運(yùn)營積攢流量,依靠流量變現(xiàn)。例如:


            • 品牌代言(IP、事件)
            • 粉絲經(jīng)濟(jì)(二次元)
            • 虛擬主播(游戲、帶貨)

            本文為接下來講到的數(shù)字人,定義了三個核心要素:


            一、 - 具備人或擬人的外觀,具有特定的相貌等人物特征。

            二、 - 擁有和人相似的行為,具有用語言、表情和肢體等表達(dá)的能力。

            三、 - 擁有比擬人的思想,具有識別外界環(huán)境、并能與人交流互動的能力。


            這三條要素對于虛擬數(shù)字人的完成度來說是一個遞進(jìn)的關(guān)系。


            市場現(xiàn)狀


            近幾年,虛擬數(shù)字人在電商、金融、影視、游戲和金融等行業(yè)都擁有不同大小的市場規(guī)模。例如:虛擬偶像行業(yè)2020年中國的市場規(guī)模為34.6億元,預(yù)計2021年將達(dá)到62.2億元。

            市場分析.png

            市場規(guī)模增長,也印證了技術(shù)的發(fā)展:制作成本逐年降低、形象外貌更加真實、語言交流更加自然。從出現(xiàn)虛擬數(shù)字人至今,已經(jīng)渡過了3個重要的時期:


            • 初創(chuàng)期:市場初見增長,技術(shù)不確定性,入行門檻高。
            • 發(fā)展期:市場競爭者增多,技術(shù)逐漸成型,入行門檻低。
            • 平臺期:市場紅海到來,平臺化成熟,領(lǐng)頭羊 + 小眾。


            解決方案

            在如今的平臺時期中,各個廠商也聚集在一起提供不同層次的解決方案:

            分層.png

            基礎(chǔ)層:為虛擬數(shù)字人提供基礎(chǔ)軟硬件支撐,硬件包括顯示設(shè)備、光學(xué)器件、傳感器、芯片等,基礎(chǔ)軟件包括建模軟件、渲染引擎。 僅有少數(shù)幾個頂尖科技公司才具備優(yōu)秀的軟硬件實力。


            平臺層:包括軟硬件系統(tǒng)、生產(chǎn)技術(shù)服務(wù)平臺、AI 能力平臺,為虛擬形象的制作及開發(fā)提供技術(shù)能力。提供平臺服務(wù)的企業(yè)非常多,通過出售服務(wù)和技術(shù)來服務(wù)其他企業(yè)。


            應(yīng)用層:除了最終的企業(yè)用戶,一些具備出色營銷和運(yùn)營能力的公司或團(tuán)隊也為這個行業(yè)帶來了不錯的想法和創(chuàng)意。


            我們在做什么

            在今年年初,在阿里前端委員會的互動圖形方向中成立了虛擬角色小組,這個小組有這幾只團(tuán)隊組成:大淘寶互動團(tuán)隊、達(dá)摩院智慧數(shù)字人團(tuán)隊、優(yōu)酷數(shù)字人制播團(tuán)隊、考拉互動&內(nèi)容導(dǎo)購團(tuán)隊、螞蟻數(shù)字與金融內(nèi)容社區(qū)團(tuán)隊。他們一起分享和研究虛擬數(shù)字人領(lǐng)域的技術(shù)和應(yīng)用。業(yè)務(wù)涉及游戲、視頻、直播三個主要的場景。

            作品.png

            游戲:虛擬數(shù)字人在游戲行業(yè)基本是標(biāo)配,非常多的游戲都會需要塑造人物,其中能讓玩家通過自定義塑造人物形象功能的這一類游戲,自定義塑造人物形象的功能也稱為捏人。

            • 淘寶人生:這是手淘App內(nèi)一款可以打造虛擬形象的游戲,包含了捏臉、穿搭、美顏、拍照等功能,逛街、家園等玩法。
            • 養(yǎng)考拉:這是考拉海購App內(nèi)的一款可以養(yǎng)成考拉的游戲,包含了裝扮功能,喂養(yǎng)等玩法。
            • 它們均采用Web為主的技術(shù)方案,通過自研的引擎完成渲染、表情、動作等人物的形和行。


            視頻:虛擬數(shù)字人的短視頻可以給用戶帶來感官上的優(yōu)秀體驗,還能給業(yè)務(wù)帶來增量的收益。在制作虛擬數(shù)字人的視頻時,可以通過動作捕捉、智能識別、導(dǎo)演系統(tǒng)等方案,讓虛擬數(shù)字人栩栩如生。

            • 直播:直播和虛擬數(shù)字人的結(jié)合仍然處于早期的探索階段,因為兩種現(xiàn)象級的產(chǎn)業(yè)需要結(jié)合且形成新的或增量的商業(yè)模式并不容易。這其中涉及到的技術(shù)也有實時動作捕捉、算法訓(xùn)練合成、在直播場景下的云渲染推流等等。


            我們一起來創(chuàng)作

            隨著應(yīng)用場景專業(yè)和深入,技術(shù)研究也會涵蓋工程和算法等多種綜合性的解決方案,且在不同的應(yīng)用場景下,側(cè)重點(diǎn)也會不太一樣。接下來以大淘寶互動團(tuán)隊的淘寶人生業(yè)務(wù)為例子,分別從美術(shù)生產(chǎn)、渲染風(fēng)格、捏臉換裝、表情動作、導(dǎo)演系統(tǒng)和語音合成六大主題為大家呈現(xiàn)如何打造超級虛擬偶像。


            這個章節(jié)我們來完成虛擬數(shù)字人的形 - “具備人或擬人的外觀,具有特定的相貌等人物特征

            形.png

            從模子中刻出來 - 美術(shù)工作流


            我們最先需要確定虛擬數(shù)字人的基礎(chǔ)形體特征,比如使用真人比例的7頭身,還是卡通比例的5頭身;男性,女性,還是動物擬人等?;A(chǔ)形體特征確定后,可以交由3D美術(shù)來生產(chǎn)基礎(chǔ)形體。整個過程,通常是在傳統(tǒng)DCC軟件里完成,但3D美術(shù)和2D美術(shù)最大的不同是,2D內(nèi)容的美術(shù)生產(chǎn)中,技術(shù)可以在美術(shù)產(chǎn)物交付后再介入;而在3D內(nèi)容的美術(shù)生產(chǎn)中,技術(shù)就需要直接介入生產(chǎn)過程中。原因是:3D內(nèi)容的美術(shù)生產(chǎn)流程相對較長也較復(fù)雜,美術(shù)和技術(shù)之間需要頻繁的合作才能保障交付質(zhì)量或交付效率。我們也稱作這個過程為3D美術(shù)工作流。

             

            舉個形象例子:藝術(shù)家開始設(shè)計并雕刻一個杯子模具,生產(chǎn)線需要解決模具用什么材料、如何將材料注入到模具中、以及如何順利脫模等技術(shù)性問題。通常這些就是由技術(shù)來負(fù)責(zé),并需要提前和藝術(shù)家協(xié)商制作模具的規(guī)范才能確保后續(xù)的工程順利進(jìn)行,最終完成模具的交付。3D美術(shù)工作流也有很多大同小異的方案,大同是因為3D內(nèi)容生產(chǎn)也是有一定的工業(yè)標(biāo)準(zhǔn)的,小異是因為細(xì)節(jié)會和藝術(shù)家使用的軟件、技術(shù)實現(xiàn)的引擎有密切的關(guān)系。以淘寶人生中的美術(shù)工作流舉例大致經(jīng)歷這幾個步驟:


            1. Maya制作白模,骨骼,把過程產(chǎn)物暫存在OSS,并提供預(yù)覽工具
            2. Photoshop制作貼圖,把貼圖上傳至CDN
            3. Maya定制GLTF Exporter插件,導(dǎo)出glTF(包含模型數(shù)據(jù)、骨骼數(shù)據(jù)、材質(zhì)、貼圖數(shù)據(jù))
            4. Web端內(nèi)嵌材質(zhì)編輯器進(jìn)行自研材質(zhì)的效果調(diào)整
            5. EVA Figure引擎通過GLTF Importer導(dǎo)入人體的glTF,并定制材質(zhì)Shader進(jìn)行渲染。

            美術(shù)工作流.png

            經(jīng)過前期和藝術(shù)家的磨合,最終會形成一套針對當(dāng)前需求的美術(shù)工作流,并穩(wěn)定運(yùn)行下去。


            精雕細(xì)琢 - 捏臉

            完成了角色的基礎(chǔ)形體后,我們每個人都可以用它來繼續(xù)完成自己想要的那個樣子。雖然不同的長相在美術(shù)環(huán)節(jié)中也能完成,但成本相當(dāng)?shù)母?,每個人喜歡的樣子都不一樣,那么就要很多次的美術(shù)生產(chǎn)或修改。所以我們?yōu)榛A(chǔ)形體加入了捏臉系統(tǒng),你就可以輕松的完成定制化的要求。淘寶人生提供了捏臉功能,可以體驗到捏臉的樂趣。捏臉技術(shù)的的實現(xiàn)基礎(chǔ)就是對已有的模型數(shù)據(jù)進(jìn)行局部的修改和變化,最終達(dá)到千人千變的目的。捏臉.png

            那是如何能通過這樣的系統(tǒng)來達(dá)到改變基礎(chǔ)模型的目的的呢?通常,一組模型數(shù)據(jù)就是頂點(diǎn)數(shù)據(jù)的集合,改變模型通常就是改變頂點(diǎn)的數(shù)據(jù),而改變頂點(diǎn)數(shù)據(jù)又通常有兩種方式:


            骨骼蒙皮

            通過外力對頂點(diǎn)施加某種變換,簡單來說就是包含了位移、旋轉(zhuǎn)和縮放三種變換的一組數(shù)學(xué)公式。為了完成這種變換,這股外力可以使用骨骼來完成。這里說的骨骼同樣可以理解成人體的骨骼,當(dāng)手指上關(guān)節(jié)的作用發(fā)生運(yùn)動變化時,手型就會發(fā)生變化。在捏臉功能中,在淘寶人生中,我們給臉部預(yù)置了大約20多種骨骼,可以改變頭圍、眼球、眼角、眼眶、顴骨、臉型等等。

            骨骼蒙皮.png

            混合變形

            骨骼帶來的頂點(diǎn)變換很粗礦,無法完成對嘴形狀的定制,因為這樣一個看似簡的外表,實際上在模型中會涉及數(shù)以萬計的頂點(diǎn)進(jìn)行不同規(guī)律的變換。于是,我們就為這一組頂點(diǎn)變換專門設(shè)置變形器,業(yè)界一般稱為“Morph Target”“Blend Shape”。這種變換的原理是給頂點(diǎn)準(zhǔn)備一個基準(zhǔn)位置,再提供一個極端變化后的最大位置,之后乘以一定的權(quán)重比例,就能讓這個頂點(diǎn)在基準(zhǔn)位置和極端位置中的任一位置。但因為臉部需要局部變形的地方太多,且一個變形可能涉及數(shù)以萬計的頂點(diǎn),所以對實時計算壓力也是不小的。

             

            混合變形.png

             

            兩種技術(shù)比較來說,骨骼蒙皮簡單高效但不夠靈活,而頂點(diǎn)變形更加自由但制作和計算成本都較高。所以在實際開發(fā)中,哪些用骨骼,哪些用頂點(diǎn)變形,這是一個權(quán)衡效果效率的工作,需要具體去看,反復(fù)拿捏。在淘寶人生中,捏臉功能小部分使用了骨骼蒙皮,大部分使用了混合變形。這也是長期磨合和經(jīng)驗累積的結(jié)果。


            時尚穿搭 - 換裝和美顏

            有了基礎(chǔ)形體和長相后,我們必須得給角色穿上時尚的衣服,畫上美麗的妝容。對于人類來說,穿衣和畫妝是個動作,在虛擬世界中,我們?nèi)匀灰芎芎玫耐瓿?span style="font-size:inherit;">“穿這兩件重要的事情。


            換裝

            換裝.png

            現(xiàn)實生活中,衣服穿在身上它就和皮膚緊貼著或者有一定空隙,這種想法放到虛擬世界中其實非常難實現(xiàn)。因為皮膚和衣服其實就是Mesh(網(wǎng)格),當(dāng)衣服穿在身上時實際上是兩組網(wǎng)格碰撞在一起,于是會引出如下兩個問題:


            如何在身體做動作時,衣服也跟著身體做動作。身體是擁有骨骼的,骨骼外包裹著一層皮膚,用同樣思路,衣服實際上也是包裹在同樣骨骼上的一層皮膚。在淘寶人生中,我們將身體和衣服采用同一套骨骼模板,并在渲染時實現(xiàn)了兩份骨骼數(shù)據(jù)的實時同步。

            骨骼.png

            如何解決身體的網(wǎng)格穿透到衣服外。用相同骨骼的方案解決衣服穿在身上的效果非常巧妙,但也容易出現(xiàn)問題,比如某件衣服局部非常內(nèi)凹,那么就很容易出現(xiàn)身體的皮膚突出在衣服之外的問題,俗稱穿模。因為仔細(xì)調(diào)整道具成本實在太高了,所以我們也做了個取巧的方案:通過把人體進(jìn)行切割,并對每件衣服遮擋的人體部位進(jìn)行標(biāo)記,當(dāng)渲染某件衣服時,直接隱藏被遮擋部位Mesh即可。

            標(biāo)記.png 

            穿模.png

             

            有了這兩項技術(shù)的攻堅后,我們通過和美術(shù)生產(chǎn)約定相關(guān)的規(guī)范和工作流程,就可以批量生產(chǎn)衣服,而換裝僅僅只是加載不同的模型而已,無須逐個特殊處理即可達(dá)到目的。


            美顏

            妝容.png

            妝容的細(xì)節(jié)要求非常多,所以最便捷的方式就是使用貼圖。基礎(chǔ)形體的臉部已經(jīng)有一張基礎(chǔ)貼圖了,可以簡單理解成素顏;要在素顏上畫不同的妝容,我們做法是動態(tài)合成紋理。整個過程分為兩步。


            1. 渲染到紋理(Render To Texture):第一步創(chuàng)建一個可渲染對象(Render Target),把基礎(chǔ)紋理貼圖渲染到這個可渲染對象上,再把妝容紋理貼圖渲染到同一個可渲染對象上。這一步需要注意藝術(shù)家在繪制妝容紋理時,需要和基礎(chǔ)紋理的UV是一一對應(yīng)的。
            2. 使用可渲染紋理:第二步就是把合成好的紋理渲染到模型上。

            美顏.png

            二次元還是三次元 - 渲染風(fēng)格

            最后到了給它設(shè)定風(fēng)格的時候。有人會喜歡真實系,有人也會喜歡卡通系,也會有人喜歡朋克風(fēng),也會有人喜歡純欲風(fēng),這些不同的風(fēng)格需要依靠渲染功能來完成。當(dāng)我們說到渲染時,都會提到圖形渲染管線,它可以根據(jù)不同的需求做很多組合和調(diào)整,比如最簡單的渲染管線是:加載模型 ---> 頂點(diǎn)著色 ---> 片元著色 ---> 光柵化。其中片元著色的步驟,就是用來完成材質(zhì)紋理的繪制使之達(dá)到想要的角色風(fēng)格。對材質(zhì)紋理的繪制通常分為兩大類:

            PBR

            全稱Physically Based Rendering,顧名思義是基于物理的渲染,既然是基于物理的,那么它渲染的最終結(jié)果會非常接近我們的真實世界。所以也就很好理解,這類材質(zhì)可以決定人物是寫實或超寫實風(fēng)格的。此技術(shù)由8大核心理論和幾個重要的光照模型組成,在此不一一列舉,有興趣的同學(xué)可以去閱讀《Real-Time Rendering》中的PBR相關(guān)章節(jié),或是SIGGRAPH的《Physically Based Shading in Theory and Practice》系列文章。例如在淘寶人生中,根據(jù)不同部位選取漸變貼圖上采樣色的方式模擬了次表面散射的技術(shù),實現(xiàn)了人臉皮膚的紅潤通透感。

            NPR

            全稱Non-photorealistic Rendering,即非真實感繪制。其最主要的應(yīng)用之一,就是非常盛行的二次元風(fēng)格,特別是日式卡通風(fēng)格。和PBR不一樣,NPR不會去追求各種物理學(xué)模擬,而是從油畫、素描、卡通動畫中得到啟發(fā)和靈感。比如,經(jīng)常被使用的人物描邊、卡通著色、邊緣光、頭發(fā)高光等。這些特殊的材質(zhì)渲染也都能在找到專業(yè)的論文和例子,大家可以自行搜索。

            渲染風(fēng)格.png

            這個章節(jié)我們來完成虛擬數(shù)字人的動 - “擁有和人相似的行為,具有用語言、表情和肢體等表達(dá)的能力。

            動.png

            表情和動作

            成功塑造虛擬數(shù)字人的關(guān)鍵之一是真實且細(xì)膩的表情和動作。真人的表情和動作是依靠骨骼和肌肉相互作用而呈現(xiàn)的,在虛擬世界中,我們同樣用數(shù)字技術(shù)來模擬這些骨骼和肌肉的作用,呈現(xiàn)表情和動作。在上面的章節(jié)里,已經(jīng)提到了臉部使用了骨骼蒙皮和混合變形的方式來改變頂點(diǎn),在的章節(jié)里,仍然會使用這兩項技術(shù),并且通動畫的方式讓頂點(diǎn)起來,從而完成相應(yīng)的表情和動作。

            動作.png

            K動畫

            在臉部表情的刻畫中,頂點(diǎn)動畫(也就是Morph Target Animation)是主要實現(xiàn)技術(shù)之一。在淘寶人生的捏臉功能中骨骼蒙皮是用來確定臉的大小和五官的位置的?;旌献冃蝿t是用來完成五官包括臉頰、額頭部位的變形,其中用于表情動畫的BlendShape多達(dá)50個,它和蘋果的Animoji使用的BlendShape非常接近,這也是業(yè)界公認(rèn)的可以做到絕大多數(shù)表情(當(dāng)然很多微表情非常難達(dá)到)的設(shè)定。

            表情.png

            在肢體動作的制作中,骨骼動畫(也就是Skeletal Animation)是主要實現(xiàn)技術(shù)之一。骨骼動畫包含了骨骼(Skeleton)和蒙皮(Skin)兩種數(shù)據(jù)。首先把Mesh的頂點(diǎn)綁定在骨骼上生成蒙皮,這些頂點(diǎn)會受到多個不同權(quán)重骨骼的影響,然后通過改變骨骼的朝向和位置來生成動畫,這時蒙皮就會跟著骨骼一起動起來。

            骨骼動畫.png

            動作捕捉

            制作動畫的成本相對都比較高,原因是上述兩種動畫技術(shù)通常是關(guān)鍵幀動畫。假設(shè)一個人抬起手肘,那么手臂和手腕也會因此而產(chǎn)生連貫性的動作。如果要實現(xiàn)這樣一段動畫,關(guān)鍵幀將會非常之多,制作起來也會異常困難為了有效降低制作成本,我們需要用到動作捕捉的技術(shù),通常我們把動作捕捉技術(shù)分為2大方向4個類別,可以用四象限圖來描述:

            動捕.png

            我們用手機(jī)攝像頭完成的AR互動游戲、AR面具等功能實際就是光學(xué)識別+無穿戴設(shè)備這一象限內(nèi)的技術(shù)。

            AR面具.png

            編排 - 導(dǎo)演系統(tǒng)

            我們再來對比下幾種方式制作的成本和靈活度。

            動作制作對比.png

            K動畫的制作成本無疑是最高的,靈活度和效果也是最好的,同時也要求經(jīng)驗豐富的綁定師和動畫師才能完成。動作捕捉的制作需要一套專業(yè)的動捕設(shè)備,一個能容納這些設(shè)備和能滿足做所需動作的場地,一個動作制作周期少則幾個小時,多則幾天。在面臨諸如眾多舞蹈場景的運(yùn)營需求下,最適合的方案是把多個已經(jīng)制作完成的動作,自由或智能編排成一個劇本,就像拍戲時劇本是導(dǎo)演提前設(shè)計好的,演員只需依照劇本表演出來就行,故也稱為導(dǎo)演系統(tǒng)

            預(yù)設(shè)動作編排.png

            動作的串聯(lián)需要解決一個問題:動作1到動作2如何過渡銜接。這便需要用到混合動畫(Blending Animation)技術(shù)。混合動畫的基礎(chǔ)原理是以動作1當(dāng)前狀態(tài)為起點(diǎn)、動作2的指定狀態(tài)為終點(diǎn),計算關(guān)鍵幀的插值。簡單的可以使用線性插值,復(fù)雜的也可以使用貝塞爾曲線插值等。關(guān)于混合動畫的知識點(diǎn)和方案非常多,也適用于不同的場景和需求,大家可以自行搜索,例如UnityUnreal也都提供了很多不同的混合方案。

            混合動畫.png

            有了導(dǎo)演系統(tǒng)后,就可以提供自由的組合能力,比如想舉行一場虛擬演唱會,也可以通過導(dǎo)演系統(tǒng)完成表演。

            這個章節(jié)我們來探索虛擬數(shù)字人的神 - “擁有比擬人的思想,具有識別外界環(huán)境、并能與人交流互動的能力。我們在對的研究上,仍然處于非常初級的階段,一方面它需要大數(shù)據(jù)的支撐,另一方面它對于前端這個崗位來說已經(jīng)有相當(dāng)?shù)木嚯x了。為了讓虛擬數(shù)字人更加真實,會是未來重點(diǎn)的研究方向。

            性格流露 - 自然語音合成

            虛擬數(shù)字人的語言表達(dá)能力需要用到語音合成技術(shù),比如TTSText To Speech。阿里達(dá)摩院有著非常完善的TTS引擎,用它就能讓虛擬數(shù)字人開口說話。不過這也僅僅是開口說話,大家其實都能感受到這樣的語言非常蒼白無力,毫無情感,無法在不同性格和情感時表達(dá)出來的不同語氣。在業(yè)界可以看到一些優(yōu)秀的成果:YAMAHA的歌聲合成系統(tǒng)VOCALOID(初音未來和洛天依均在使用),谷歌基于深度學(xué)習(xí)的端到端語音合成系統(tǒng)Tacotron,以及訊飛的語音合成系統(tǒng)等。阿里達(dá)摩院也在持續(xù)研究更加符合自然表達(dá)的語音合成系統(tǒng),通過為虛擬數(shù)字人設(shè)定性格,并借助大數(shù)據(jù)的深度學(xué)習(xí)來產(chǎn)生風(fēng)格迥異的情感型語氣。


            至此,在現(xiàn)有的技術(shù)下我們完成了一個超級虛擬偶像的登場。

            image.png

            我們向往的數(shù)字人

            淘寶人生是基于Web技術(shù)打造的數(shù)字人,在經(jīng)歷了2年的技術(shù)打磨和升級改造,我們也遇到了Web數(shù)字人技術(shù)的困境。在性能方面,Web應(yīng)用和原生應(yīng)用存在無可忽視的差距。WebGL(基于OpenGL ES 2.0)作為Web主要的圖形接口在Vulkan、DirectX、Metal面前無論是能力還是性能上都無法追趕。再加上不同的移動設(shè)備在軟硬件上仍會出現(xiàn)奇奇怪怪的兼容性問題。這一系列困境已經(jīng)成為了Web中的數(shù)字人一個很難跨越的天花板。

            反觀行業(yè)中的數(shù)字人技術(shù),超寫實渲染、微表情、肌肉模擬、物理材質(zhì)、光線追蹤等等,讓身處Web技術(shù)中的我們望塵莫及。同時,阿里的虛擬數(shù)字人技術(shù)也才剛剛起步,其中基礎(chǔ)軟硬件、中臺技術(shù)、大數(shù)據(jù)支撐等也都起步較晚,這些都給我們帶來了不小的困難和阻力。

            Metahuman.png

            面對這些困境和差距,我們針對淘寶人生中虛擬數(shù)字人技術(shù)的發(fā)展也會從各個方向上去做努力和嘗試。


            首先是基于Web技術(shù)的優(yōu)化:在Serverless渲染云服務(wù)基礎(chǔ)上,在EVA Figure(虛擬人像渲染引擎)和Puppeteer技術(shù)的結(jié)合下,借助最新的WebGPU/WASM等,讓虛擬數(shù)字人的渲染效果和質(zhì)量得到提升。我們也在積極同阿里云云服務(wù)團(tuán)隊、大淘寶Node架構(gòu)團(tuán)隊一起合作建設(shè)Web技術(shù)下的云渲染流程。計劃把它應(yīng)用在一些非實時的渲染任務(wù)上,例如生產(chǎn)淘寶人生用戶形象的全身照片、短視頻、動作幀圖等等。這些產(chǎn)物也能被淘寶人生業(yè)務(wù)或其他業(yè)務(wù)所使用。


            其次是對業(yè)務(wù)能力的升級,在業(yè)務(wù)和技術(shù)相互滋養(yǎng)的土壤中,不斷將業(yè)務(wù)能力積累成平臺服務(wù),為阿里的虛擬數(shù)字人技術(shù)貢獻(xiàn)點(diǎn)點(diǎn)滴滴的經(jīng)驗,并將部分解決方案通過商業(yè)化上云的方式服務(wù)大眾。


            然后在元宇宙、超寫實、XR/6G、腦機(jī)接口等等行業(yè)風(fēng)向標(biāo)的輻射下,暢想未來Web數(shù)字人技術(shù)可能性。


            文末特別感謝下阿里前端委員會圖形互動虛擬角色小組成員的出色工作,讓我能完成此文章內(nèi)容。也歡迎大家持續(xù)關(guān)注虛擬角色小組和各個團(tuán)隊的成果。