動作捕捉:給虛擬形象以“生命”
3A游戲、科幻大片、動畫當中虛擬形象越來越“真實”——
動作捕捉:給虛擬形象以“生命”
國產3A游戲《黑神話·悟空》中,“天命人”等角色的神態(tài)動作是如何刻畫的?電影、動畫和游戲中虛擬人物動作為何越來越逼真、自然?這些角色富有生命力表現(xiàn)的背后,離不開一種名叫“動作捕捉”的技術。
“動作捕捉”技術應用廣泛,《阿凡達》《蜘蛛俠》《復仇者聯(lián)盟》《尋龍訣》《鏢人》等電影、動畫,及《和平精英》《原神》等游戲中均有使用。諸多國內外經典作品都是通過采集演員肢體動作和表情信息,再用算法驅動靜態(tài)模型“動”起來,從而讓虛擬角色流暢生動地躍然于屏幕上。
動捕技術從上世紀70年代開始應用于動畫制作,因工作效率和視覺效果遠超傳統(tǒng)手繪與三維動畫而迅速風靡。近年來,國內相關企業(yè)奮起直追,迎頭趕上,用堅實技術推動國產作品質量更上層樓。動作是如何被“捕捉”的?國內企業(yè)又是如何追趕的?記者進行了采訪。
動捕精度達亞毫米
一間約60平方米的房間里,一臺臺高清相機錯落有致地架設在立柱與橫桿上,發(fā)出藍色的光。場地中央,一位年輕的測試員身著全黑動作捕捉服——黑帽、黑衣、黑鞋及黑手套,這身裝扮上粘貼著50個灰白色小球狀的光學標記點。
“我們把這些標記點叫作‘北極星’?!彪娔X前的動作捕捉工程師屈年晨告訴記者,意思是貼上它的人或物體即便做高速運動,公司自研的亞毫米級高精度動捕相機都能敏銳捕捉“北極星”的反光,精確記錄其運動軌跡,由此形成人物表演或物體運動數(shù)據。
“做個T pose!”聽到指令后,測試員雙腿并攏、雙臂側平舉擺出T字姿勢,屈年晨則熟練地操作起鼠標,在一款動捕軟件中檢查人體三維模型重建情況。
這是元客視界動捕實驗室,里面正在進行FZMotion光學運動捕捉系統(tǒng)的產品測試。
當前,業(yè)內頭部企業(yè)動作捕捉精度普遍達到亞毫米級。今年火爆海內外的游戲《黑神話·悟空》,采用了利亞德·虛擬動點公司提供的OptiTrack光學動作捕捉系統(tǒng),它能1∶1精準記錄演員神態(tài)、身體姿勢及動作細節(jié),精度誤差小于±0.1毫米,旋轉誤差小于±0.1度,延時最低2.8毫秒。
虛擬動點研發(fā)總監(jiān)崔超告訴記者:“《黑神話·悟空》追求的高精度動作,是指角色表情細膩,跑跳流暢,出招連貫且富有打擊張力?!睂嶋H上,這樣的高標準已然達到影視級別,只不過游戲中的打斗動作是循環(huán)式的,蓄力、出招、收手,一組固定動作構成一個攻擊招式,在玩家操控下不斷重復。
而在真人影視中,武戲常常由多人連續(xù)演繹,畫面更為緊張激烈,拍攝現(xiàn)場面臨的挑戰(zhàn)也增多,諾亦騰研發(fā)的Perception Neuron系列慣性動作捕捉套裝在這種場景表現(xiàn)出色。慣性動捕作為第二種常用的動捕技術,基于傳感器捕捉數(shù)據,只需演員穿戴輕便的傳感器套件,精度上略遜一籌,但勝在便捷、實惠,對環(huán)境要求寬松。
諾亦騰團隊曾在好萊塢以動作捕捉技術協(xié)助一部美劇拍攝。諾亦騰聯(lián)合創(chuàng)始人兼首席技術官戴若犁回憶,他每次聽到導演喊“321開始”時都很緊張,因為影視特效需要十余種技術緊密配合,一家企業(yè)但凡出現(xiàn)一次未及時準備就緒的情況,便可能前功盡棄。為此,諾亦騰在動捕產品和算法上下了很多功夫,確保演員長時間離場后設備仍能即插即用。
“要感謝這些復雜、高壓情景的洗禮,正是一個個這樣的案例倒逼我們不斷消除技術死角,提升產品質量和穩(wěn)定性。”戴若犁說。
在動畫類作品的動捕拍攝現(xiàn)場,復雜情景同樣屢見不鮮。元客視界解決方案總監(jiān)陳溥記得,2022年拍攝國產動漫《鏢人》期間,先后遇到角色手部與武器穿模,以及多人武戲激烈交互導致光學標記點被頻繁遮擋的問題,這對動捕精確度和算法還原度構成很大挑戰(zhàn)。為實現(xiàn)“定格每一幀動作”的目標,團隊反復計算數(shù)據碰撞體系,不斷融合和微調人體與剛體模型,最終解決了難題。
“要說比較滿意的作品可能是上一部,但真正最好的永遠是下一部!”被問及最得意的虛擬數(shù)字作品,陳溥解釋道,隨著技術迭代升級,動作捕捉在精度和美感層面都仍有廣闊提升空間。
拓展模式,豐富場景
在影視領域,動作捕捉技術不僅用于正式拍攝,它還改變著電影生產流程——通過“虛擬預演”來讓后期前置,從而提升拍攝效率。
借助OptiTrack光學動捕系統(tǒng),2021年上映的懸疑科幻電影《刺殺小說家》率先嘗試了虛擬預演的拍攝模式。深度參與其中的崔超介紹,電影開拍前,公司協(xié)助該片導演路陽帶領武術演員團隊,用2個月時間排演并采集了片中全部動態(tài)鏡頭,從而能夠盡早預覽特效完成后的影視畫面。
崔超談到,電影中紅甲武士一躍而起,身后明月高懸的場景,便是虛擬場景調試過程中臨時產生的創(chuàng)意,最終得到導演采納。借助虛擬預演,電影制作團隊得以預覽和敲定表演形式、鏡頭機位及虛擬特效,同時促進導演延伸藝術表達,以便正式演員入場后高效完成拍攝、更好表達情感。
然而,《刺殺小說家》在虛擬預演時遇到一個有趣挑戰(zhàn):終極“大Boss”赤發(fā)鬼有4條胳膊,比真人多出兩條,動作如何捕捉?崔超回憶,經過討論和嘗試,團隊最終采用技術手段同時捕捉兩位演員的表演,一位負責全身動作,另一位則專門負責展現(xiàn)虛構雙臂的動態(tài),“有點像唱雙簧”。
超出人體結構進行動作捕捉的情景,還出現(xiàn)在2023年春晚節(jié)目《當“神獸”遇見神獸》中,該項目由元客視界提供動作捕捉技術支持。陳溥稱,鳳凰、麒麟等神獸的部分動作,需要演員佩戴內置驅動器的尾巴和翅膀道具,以四肢著地或吊威亞的形式演繹。此外,團隊還為貓、狗、馬等真實動物穿上特制動捕服,為鳥貼上直徑僅幾毫米的光學標記點,通過慣性與光學融合的動作捕捉技術采集動作數(shù)據,再進行后期制作。同樣,《黑神話·悟空》中的“虎先鋒”角色動作,也是利用虛擬動點空間計算—光學動捕技術“照貓畫虎”驅動而成。
事實上,在虛擬數(shù)字內容中,異形人物和四足動物,是直立人類與奇幻形象之間的過渡角色。為表達故事想象力、提升視覺沖擊力,四足動物動作捕捉技術已成為企業(yè)競相追逐的焦點。據崔超介紹,這項技術的難點在于動物行為無法操控,行動路線難以預測,這就要求動作捕捉系統(tǒng)具備大范圍、高精度捕捉能力和防遮擋算法?!澳壳?,全球能做到四足動捕的企業(yè)不超過3家,而虛擬動點已經能達到1/3的‘出片率’,這些有效動物數(shù)據只需要經過少量后期工作就可以使用?!彼f。
隨著AI和元宇宙技術蓬勃發(fā)展,中國動捕企業(yè)賦能虛擬數(shù)字內容制作的腳步加快,攜手數(shù)字人與虛擬現(xiàn)實技術,為更多行業(yè)注入新活力。
2022年,元客視界參與打造的AI手語播報數(shù)字人系統(tǒng)溫暖上線,先后服務于北京冬(殘)奧會專題報道和世界杯賽事解說,翻譯準確率高達90%。這一創(chuàng)新解決了傳統(tǒng)人工手語翻譯工作量大、與主持人配合難的問題,使我國聽障人士能夠更深入感受國際體育盛會的魅力。
屈年晨介紹,在3個多月的時間里,手語數(shù)字人學習了近10萬條手語語料,不僅覆蓋《國家通用手語詞典》和數(shù)千條賽事相關詞匯手語,還包括了手語傳達信息所必需的口型、表情和肢體動作。
尋找研發(fā)突破口
如果將動作捕捉技術比作一座山峰,那么無限風光在險峰。中國動捕技術企業(yè)如同一隊既相互競爭又彼此結伴的攀登者,一路跋涉時晴時雨,但總是干勁十足,不斷眺望、征服,尋找技術難點作為下一步研發(fā)突破口。
從業(yè)人員表示,當前中國動捕業(yè)內面臨的共同難題在于技術還無法同時捕捉面部表情和身體動作,這是因神態(tài)變化十分細微,需要演員面部貼點并頭戴相機單獨錄制,而這限制了演員的身體表演。目前采用的“身體和表情分開錄制,后期對齊精修”方法,不僅給表演帶來挑戰(zhàn),也延長了制作周期。對此,陳溥希望早日實現(xiàn)動捕相機的多模態(tài)采集功能,既能用紅外捕捉面部光學標記點,又能對表情視頻進行視覺分析和信息提取,實現(xiàn)一次表演,多層捕捉。
另一個公認難點是手指捕捉。針對手部動作靈巧復雜的特點,諾亦騰推出了全球第一套消費級別的動作捕捉手套,目前還在持續(xù)提升其捕捉精度與抗干擾性。用戴若犁的話說:“不在手指上留技術死角?!?/p>
此外,虛擬動點也在精度提升上孜孜不倦,計劃繼續(xù)提高攝像機精細度與算法補償能力,減少微抖動造成的誤差和人工后期修幀工作量。
然而,“精”益求“精”并不能解決一切問題。研發(fā)人員意識到,不同領域對動捕的需求兼具共性和差異、合力與張力。運動科學、生物醫(yī)療、虛擬仿真、具身智能等追求測量精度和高保真度,而影視動畫觀眾和游戲玩家需要的,則是虛擬角色的動作合理、舒適美觀——這就需要在保證還原演員表演精度的同時提升美感,讓科技貼近藝術。
陳溥坦言:“角色舞蹈動作真不真、美不美,是否曲線柔和行云流水,只能由人眼判斷?!贝魅衾缫才e例稱:“我們允許虛擬角色翻的跟頭和演員不一樣、比真人更夸張,但必須在視覺上是合理的?!?/p>
崔超引用法國作家福樓拜的話描繪心中理想的動捕行業(yè)圖景:“藝術越來越科技化,科技越來越藝術化,兩者在山麓分手,有朝一日,將于山頂重逢?!彼诖磥砼c更多影視制作者加強合作,各方人員通力配合,“共同創(chuàng)作更偉大的作品”。
動捕技術的深化應用顯示出這樣一種規(guī)律:從精準到自然,從合理到美感,從客觀到主觀……這是不是科技發(fā)展的必然趨勢?該如何理解動捕技術與人類生活的關系?
對此,戴若犁表示,在人類數(shù)字化進程當中,動作捕捉應被視為人機交互的界面、現(xiàn)實世界和數(shù)字世界之間的橋梁。
“只有讓科技產物更貼近人類,才能延續(xù)現(xiàn)有的人本設計成果,強化以人為本的理念?!标愪咧赋觯耙尶萍几玫胤蘸蛥⑴c整個人類生活,這是我們的終極目標?!?人民日報海外版 記者 陳靜文)
社會新聞精選:
- 2024年12月22日 10:11:46
- 2024年12月22日 09:21:13
- 2024年12月22日 09:17:16
- 2024年12月22日 09:16:44
- 2024年12月22日 09:08:28
- 2024年12月21日 18:24:20
- 2024年12月21日 14:15:48
- 2024年12月21日 12:39:30
- 2024年12月21日 00:32:32
- 2024年12月20日 14:20:56