【將iphone Live Link Face錄製好的Facial動態輸出到Unreal Engine再輸出到Maya最後再回到Unreal Engine】

【將iphone Live Link Face錄製好的Facial動態輸出到Unreal Engine再輸出到Maya最後再回到Unreal Engine】

 



Metahuman是Epic Games開發的非常強大寫實的綁定系統,有了這套系統,任何人都可以輕易做出寫實的人臉動態,再搭配iphone甚至可以做出非常厲害的表演。


今天想要筆記一下,有關如何使用iphone錄製臉部動態然後匯入unreal,之後再匯入maya的流程,這麼做的好處是可以在maya微調我們錄製好的動態(雖然在unreal裡面也能用控制器調整,但還是有很多人比較習慣在Maya調動作!),然後回傳unreal,或是直接在maya算圖輸出,形成一個完美的工作流程!




Step1.在Iphone上錄製臉部動態


這個部分需要有iphone12以上的手機,所以對於安卓用戶非常不友善!!!

有了iphone之後,第一件事就是到app store下載Epic Games官方推出的Live Link Face這個App。


在打開App之後首先需要選定錄製模式,這邊使用第一個Live Link(ARKit)這個選項。

第二個選項是可以將錄製的影片轉換成一個完整的metahuman人頭rig,不過這邊暫時不會用到!





接下來螢幕上就會出現拍攝者的人臉,按下紅色record按鈕就會開始錄製,可以按照自己的喜好錄製表情!

完成錄影之後按下這個圖示就可以查看之前錄好的影片,然後就可以選擇輸出到電腦上,這邊可以透過google drvie或是line傳輸檔案!





現在到電腦上打開剛剛輸出的影片檔,會得到類似底下的資料夾。

那麼iphone錄製部分到這邊就算完成了,接下來就是到unreal engine裡面匯入這段錄影素材!





Step2.將錄製好的動態匯入Unreal Engine


首先確定目前版本的引擎都已經安裝好Metahuman外掛!


安裝好之後記得在引擎內打開!









ARKit的外掛也要安裝!



還有這個Live Link Face Importer。









隨便丟一個metahuman到level中。





然後將剛剛錄製好的動態匯入unreal,這邊要選的是一個帶有iphone名稱的csv檔!






沒有意外的話匯入的檔案會自動變成一個Sequence檔,如果沒有可能是有哪個外掛沒有安裝到!






接著打開這個sequence,然後將Metahuman加入,首先我們需要先刪掉Face Ctrl,因為要套用剛剛錄製好的動態。

完成上述步驟之後,來到Metahuman detail面板,在ARKit Face Subj選擇剛剛匯入的檔案,然後打開Uuse ARKit Face,現在播放sequence就可以看到錄製的動態已經套用到metahuman上了!







下一步要做的就是,將這些動態轉換成keyframe 然後Bake到控制器上!

完成之後,將一開始匯入的檔案muted起來,可以看到控制器隨著動態移動,代表已經成功將keyframe拷貝到控制器上了!








Step3.輸出剛剛Bake好的動態到Maya並且套用



現在就可以準備將動態資訊輸出到Maya了!







還有另一個匯出方式是使用Animation Sequence!






兩種匯出方式都可以試試看!

然後匯入maya之前,也需要安裝一個外掛,一位名叫Sean Nolan的大神在github上面免費分享這個外掛!


下載地址。


安裝方式很簡單,將資料夾內的drag_and_drop_install.py檔案丟到maya視窗內即可完成!


然後隨便匯入一個Metahuman,接著打開外掛,任意選擇一個控制器按下Set Current Metahuman,這樣外掛才知道目前正在使用的metahuman是哪個,然後就可以匯入剛剛從unreal輸出的動態檔案!

完成之後就可以看到所有在iphone錄製的動態,已經被轉換成keyframe套用到控制器上了!!!





剛剛如果是匯出Animation Sequence的話,匯入就要選擇另一個選項。







Step4.在Maya內微調動態之後再輸出回Unreal Engine



用控制器調整好我們要的動態之後,按下Export Facial FBX就能輸出完成!





現在回到Unreal,先將一開始的FaceCtrl刪除,或是你也可以直接套用在另一個新的Metahuman上也行!


匯入剛剛從Maya輸出的檔案,完成之後播放就可以看到剛剛在maya內微調的動態,這邊我是調了眼睛!











如果覺得這篇文章有幫助你在動畫之路走得更長遠,可以使用 Google 或 Facebook 帳號快速登入,按Like五下,就可以幫助我從Likecoin得到回饋,完全不用任何費用! 一點點的鼓勵都會成為我寫作的動力,感激不盡! If you found this article helpful in your journey in animation, you can use your Google or Facebook account to quickly log in and click Like five times to help me earn rewards from Likecoin, without any cost! Your encouragement means a lot to me and will become the motivation behind my writing. Thank you so much!



 












張貼留言

0 留言