青島VR培訓中怎么為AR/VR設計創作3D人物全息
2022-12-23點擊量:4910
近日,體三維視頻捕捉技術開發商Volograms本文討論了一系列的解決方案及其優缺點,希望能為您提供一些參考。以下是映維網的具體整理:1.虛擬化身可定制虛擬化身(有時稱為合成人類)是我們人類在數字空間中的相應定制角色,從卡通風格到類人風格。我們最熟悉的例子最熟悉的例子包括Bitmoji、蘋果的Memoji和FacebookAvatars。但事實上,你可以發現一系列公司使用虛擬化身AR/VR。這種數字角色通常是高度定制的,允許你輕松改變膚色、頭發、衣服、配飾、身高等。保真度:我們需要區分兩種類型:首先,高度程式化的虛擬化身保真度很低,如卡通類型的虛擬化身。它們的優點是,你可以成為很難通過外表或動作識別任何角色的人。事實上,即使是3D,我們對卡通角色都很舒服。其他類型的虛擬化身試圖實現高保真度,并使用非常現實的特征。挑戰是,我們的大腦會自動深入分析它們,而過于現實的類人角色會導致恐怖谷效應。有趣的是,該行業有一個解決方案,允許您自動定制虛擬化身(通常使用一個人的照片)。動畫:一般來說,虛擬化身是為了方便定制調整和制作動畫而設計的。根據虛擬化身解決方案,您將能夠實現各種手勢和姿勢。此外,它們可能會附加一個運動庫或允許您導入自己的動作。沉浸感:在這方面,低保真度的虛擬化身往往優于試圖實現高保真度的虛擬化身。在大多數情況下,你不認為你在與真實的人類分享這個空間,但這對你正在做的工作來說可能并不重要。成本:行業支持和具體支持AR/VR平臺集成的免費卡通解決方案。UnityAssetStore其他標準存儲庫發現虛擬化身解決方案功能有限,但成本和操作接近人們。另一方面,您可以通過專業供應商找到基于動態捕獲技術和人工智能驅動的高質量虛擬化身。時間:通常,定制和配置虛擬化身的動畫是一個非常快速的過程,但前提是您正在使用的工具提供所需的定制和動畫選項。如果需要任何切割,這可能是一個棘手而漫長的過程,或者根本無法實現。例如,您希望移動虛擬化身的眉毛,但相關工具根本不提供選項。結論:虛擬化身是一個很好的解決方案,不需要高度逼真或身臨其境的內容。動畫和所需的時間使它成為互動內容的強大選擇,如訓練模擬器或游戲(事實上,傳統的游戲角色可以被視為虛擬化身)。然而,如果你想實現真正的身臨其境,或者你的內容給觀眾留下深刻印象,你應該找到一個替代品。2.3D設計人類的3D設計是一個使用特殊軟件從零開始創建人類角色的過程。你可以把它當作畫像,但這是3D中進行。3D藝術或專業設計師將創建具有特定細節水平的模型,然后用數字骨架綁定,使其具有動畫效果。你將得到一個獨特的虛擬化身。當然,要設計一個與真人相似的細節特征3D角色,你需要難以置信的專業知識。頂級的3D專家將根據角色的個性為數字人類量身定制視覺外觀。為了降低復雜性,設計師通常從預定義模型、三維掃描和人體模型庫開始,并產生混合技術和結果。3D不僅可以設計角色AR和VR,在過去的電影中也有廣泛的應用,比如《指環王》中的咕嚕聲和《加勒比海盜》中的戴維·瓊斯,《玩具總動員》中的伍迪等等。保真:你可以選擇不同的外觀風格:卡通、現實主義、幻想等。只要有合適的藝術、工具、時間和預算,你就可以實現其他方法難以實現的保真。動畫:這取決于3D設計質量。D角色可以動畫到不可思議的細節水平。頂級工作室甚至使用深度學習引擎來驅動設計,這樣角色的一切,甚至膚色都會隨著動作而略有變化。在實踐中,對于一個普通的身臨其境的項目,你可以使用標準的工具和合理的動畫水平來設計角色,但不要期望太高的真實性。沉浸感:同樣,這取決于你的設計質量。如果技能高超,三維設計可以帶來高水平的沉浸感。低質量的設計可能會導致非常令人毛骨悚然的結果,或者只是給整個身臨其境的體驗帶來低端的印象。成本:根據你的方法,3D設計可能是最昂貴的解決方案。您需要內部人才來創建設計和制作動畫,或外包工作。此外,根據選擇,3D設計工具和硬件可能需要你付出昂貴的代價。時間:一個3D設計藝術可能需要幾個月的時間來發展一個合適的人類角色。類似地,電影或3A專業設計師團隊可能需要幾周的時間來發展游戲的角色。這個過程可以更快地完成,但它涉及到成本或質量的平衡。總結:高端AR/VR內容所需的獨特角色不是直接從現實中捕捉到的真實人物,3D設計可能是最好的解決方案,這種方法經常用于游戲和電影杰作。如果你不追求高質量,但不能通過定制虛擬角色來獲得所需的結果,3D設計也值得你考慮。但當然,前提是你有合適的人才和設備,以及足夠的預算。必須根據您的用例調整設計類型。3.3D掃描動畫三維掃描是利用專業技術分析現實世界中的人或物,從而生成數字三維副本的過程。通常稱為數字孿生或3D掃描。深度傳感器和攝影測量是該行業最常見的技術。深度傳感器計算對象與傳感器本身之間的距離,攝影測量使用從不同位置和角度拍攝的照片,并使用特殊軟件組合在一起形成三維模型。就其本身而言,人類的3D掃描就像一個靜止的數字雕塑,需要用數字骨綁定和數字蒙皮,才能動畫。換句話說,模型的關節和活動組件需要識別和編程,模型的形狀在這個過程中不會發生瘋狂的變化。保真:根據你能負擔得起的預算,你可以考慮不同的質量水平。好萊塢工作室使用高質量的3D掃描裝置,但你可以通過智能手機攝像頭實現基本的3D掃描。在動畫過程中會出現保真問題:很難人工綁定三維掃描和蒙皮,這通常會導致機器人或木偶的不自然效果。只有頂級工作室合格3D藝術團隊可以通過靜態掃描實現3D的逼真度。目前,自動化工具很少能達到優異的效果。動畫:如前所述,這是3D最大限度的掃描D掃描的本質是靜態的。綁定操作和皮皮是不斷的技術挑戰。如果缺乏熟練的藝術,標準工具將難以提供令人信服的結果。然而,如果真實性和沉浸感不是首要任務,該行業有一系列值得考慮的軟件解決方案。沉浸感:如果動畫可以高標準拍攝制作,3D3.專家團隊完成D掃描可以實現令人信服的數字人類,帶來高度沉浸感的體驗。所有質量水平為3D掃描會有恐怖谷般的外觀和感覺。成本:如果你想自己做3D掃描,一個3D掃描裝置通常需要你購買幾十個攝像頭和一系列配件。攝影測量軟件的成本是可以接受的,運行重建過程并不是一門深刻的科學。另一種選擇是雇傭一個3D掃描工作室來完成特定的工作,可能降低成本。如果這兩個選項都不好,你可以用攝像頭從不同的角度捕捉肖像,然后重建,但這將是一個耗時的細節。同樣,將3D掃描成一個動畫數字人類,你需要一個擁有優秀3的團隊D昂貴的軟件解決方案,專業知識,甚至不能提供最令人興奮的結果。時間:如果您有三維掃描設備或有權訪問提供服務的公司,三維模型的捕獲不是一個耗時的過程。正如上面提到的,3D用攝像機從不同的角度捕捉一個人,但這需要時間和專業水平。標準動畫制作不是一個耗時的過程,但會導致有限的結果。為了達到一個體面的質量水平,你需要更長的時間來完成捕獲過程。你可以參考這篇關于華納音樂如何成為歌手的文章CARYS粉絲制作經驗文章,說明來自3D掃描創建專業動態3D使用動捕技術創建動作后,模型的背后和效果。總結:傳統上,3D掃描和動畫的結合一直是真人AR和VR或其他3D世界(如游戲)的首選方法。交給合格的3D在設計師團隊中,這是一個非常強大的工具組合。但在大多數情況下,你的公司可能缺乏這樣的團隊,所以3D掃描可能不是你的選擇。就像上面的討論一樣,標準的綁定操作和蒙皮技術會使模型看起來粗糙,有時甚至會產生恐怖谷效應。在這種情況下,你會犧牲沉浸感。三維視頻(見下文)可以解決這個問題,你提供了更自然的結果。當然,如果你在創建一個更長的AR/VR內容或多個角色的內容意味著比3D動畫掃描更大的文件。4.2DBillboards2DBillboards是集成到3D空間中的普通視頻剪輯,你會覺得它似乎在3D之中。不能真正移動的AR/VR體驗(所謂三自由度/3DOF),這是一個值得考慮的計劃。在這種情況下,即使你的身體移動,你也能感知到虛擬環境的位置,包括Billboard不會改變。但在糟糕的實現中,Billboards它看起來像電影舞臺上的一塊扁平紙板,打破了沉浸感。保真度:作為視頻,從單個角度看,2DBillboards它可以提供高保真度。但它將局限于一個非常具體的視角,它不能與之相匹配AR/VR體驗提供的3D結合照明效果,很難描述深度。動畫性:2DBillboards動畫幾乎不可能。你在原始視頻中錄制的內容是你搗亂的對象。DeepFake視頻編輯技術可能會幫助你稍微調整一下動作,但你不能創建一個互動片段。沉浸感:2DBillboards沒有沉浸感,是的AR/VR這是一個非自然的解決方案。在非常特殊的情況下(3)DOF,具體照明等),它們可能會達到很好的效果。但即使你一動不動,人眼也會覺得太過2D的元素。一般來說,在沉浸式應用程序中,當內容不接近用戶位置,深度效果最小時,2DBillboards能起效。成本:這是2DBillboards最大的優勢。創建它們意味著制作正常的視頻(是否有綠色屏幕),然后劃分背景。硬件一點也不貴。只要你有合適的軟件或時間,你就不需要特殊的技能來操作它們。以一種看似可靠的方式將內容集成到AR/VR體驗可能是更大的挑戰。時間:視頻拍攝速度快,綠屏分割時間不宜過長。因此,所需的時間將在很大程度上取決于您想要集成內容的程度。總結:2DBillboards一般不適合AR/VR體驗。一旦用戶移動,魔咒就會被打破。但我們建議在三種情況下使用2DBillboards:當你的預算非常有限時,但你真的需要把一個特定的角色帶到體驗中;角色位于愿景中,在用戶永遠不會接近的位置;當你真的只是想AR或VR當空間呈現高清視頻的外觀和感覺時。例如,這可能有助于你準確描述紋理、透明度、頭發和其他困難D重現在三維視頻中的元素。5.體三維視頻體積視頻是一種捕捉人或物并生成一系列三維模型的技術。換句話說,體三維視頻是3D掃描就像攝影中的視頻。一般來說,你可以將體三維視頻的每一幀視為3D掃描。因為它直接捕捉現實,你可以用它準確地帶來真實的人類AR/VR之中。你可以從任何角度看到內容,因為它是三維的。從技術上講,體三維視頻就像3D同樣,掃描也是基于多攝像頭裝置,包括深度傳感器。事實上,一個人的三維捕捉設備與一個3非常相似D掃描設備只設置為記錄視頻而不是圖片。保真度:這是三維視頻的關鍵優勢之一。它的優點是形狀和動作不是分開生成的,而是直接在3D捕捉移動人物。在沒有高質量藝術的監督下,沒有辦法實現這種自然逼真。與其他技術類似,體三維視頻將根據您的預算和部署平臺提供不同級別的保真度。精密裝置配備100多個攝像頭,質量非常高。但對于大多數人來說,這可能是用牛刀殺雞,因為當你使用最先進的三維視頻重建軟件時,你可以使用15個攝像頭獲得非常現實的結果。基于多個深度傳感器和攝像頭的更簡單的裝置可能會產生具有噪點,低分辨率或根本不是完全三維的低質量內容。動畫性:體三維視頻和普通視頻一樣不需要動畫。你可以從現實中捕捉AR/VR體驗所需的動作,從而使其具有最大的保真度。反過來,體三維視頻在重新設置動畫方面受到限制:你可以對其進行綁定操縱并對其進行蒙皮,但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比,它有兩個主要優勢:首先,你有關于人物如何運動的內置信息,因此你可以精準地確定驅動運動的數字骨骼。其次,你可以使用原始的動作并調整它們以更好地匹配你的故事(例如,改變時間、視線、方向),而不是完全重新設置動畫。事實上,有公司專門從事這種體三維內容的后期制作。未來,深度學習系統可能會從原始的體三維視頻中學習,并用全新的但逼真的動作來實現動畫捕捉。沉浸感:與一個體三維人物共享一個空間將是僅次于現實的交互案例。像視頻一樣,一般的外表和動作,甚至是情緒都是以原始保真度捕捉,這樣的表達和反應最為真實。由于它是全三維,所以可以集成到AR或VR空間之中,并且可以從任何角度進行體驗。你同時可以添加一定的效果,例如讓體三維角色注視著用戶。成本:如果你想搭建自己的體三維裝置,最簡單的機器都適合初學者,而且價格合理,只是不能提供專業的結果。最復雜的裝置可能要花費過百萬美元,但它們可以產生真正高端的結果。事實上,所需的空間可能是最為昂貴的資源,亦即專門的體三維捕捉空間。如果你與一個體三維捕捉工作室合作進行一次性項目合作,成本會高于2DBillboards和標準虛擬化身,但可能會低于3D設計或3D掃描+動畫,而且體三維視頻提供了更高的質量。一般來說,你不需要專業的人才,除非你想后期制作或重新制作你的捕獲動畫。時間:這是體三維視頻之于其他方案的優勢之一。第一步是捕捉,它所花費的時間和普通的視頻拍攝差不多。過去,處理視頻是一個漫長的過程,但目前的云解決方案已允許處理過程在幾小時,甚至幾分鐘內完成。另一個優點是,獲得的結果可以直接從處理管道集成到體驗之中。總結:如果AR/VR內容的關注點是人,需要以真實方式捕捉人物及相關的情感和動作,體三維視頻可能是你的最佳選擇。如果你需要在內容中加入一個特定的人物,比如名人、品牌大使、公司高管或藝術家,這一點尤其正確。但需要尤其注意的是:如果你的內容具有高度交互性(如游戲),你將需要結合特定的綁定操縱和蒙皮技術。6.如何動畫化3D角色?只有兩種方法(2DBillboards和體三維視頻)直接捕捉原始人類的動作。你可能會想知道“我如何以數字方式動畫化虛擬化身、我自己設計的3D角色或我的3D掃描呢?“從廣義上講,動畫可以分為兩類:人為動畫:由人類設計或編程的動作。動作捕捉(mocap):從真實人物提取的動作。運動是一門人類藝術。我們對數字角色中的非自然運動非常敏感。人為動畫的成本可以很低,但它通常無法以高保真都描繪人類的運動和情感。從邏輯上講,動捕解決方案是一個更好的選擇,因為我們能夠捕捉和疊加真實的運動,但這存在代價:高質量動捕設置的成本要高于體三維捕捉設置。最重要的是評估你的項目的需求。如果保真度和沉浸感對你的項目而言并不重要,你可以高興地選擇人為動作。另外,3D模型的質量和運動的質量需要齊頭并進。盡管卡通般的設計可以很好地配合簡單的動作,但為了避免恐怖谷效應,逼真的3D設計需要非常高的運動保真度。總而言之,如果你的項目能夠支持不需要動畫的解決方案,如體三維視頻,則相關解決方案是確保非常自然和高端的人體運動,并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫,而且擁有預算,你可以選擇動捕。但最終重要的是,無論選擇的方案是什么,要創造令人信服和身臨其境的內容,關鍵都是你自己的創造力。選擇正確的方法來來創建3D人物非常重要,有時這是一個漫長的過程。以上考慮事項可以幫助你在設計下一個AR/VR項目時的決策。你要確保為內容選擇正確的方法,因為正確的沉浸式體驗有助于建立你的信譽,并帶來更多的客戶和項目合作。...