※ [本文轉錄自 Indie-Film 看板 #1ZMfHqXV ] 臉部捕捉技術獲頒奧斯卡　馬萬鈞突破虛實打造數位人 https://www.mirrormedia.mg/story/20221013insight003/ 視覺特效產業不斷進步，近年與臉部動態捕捉相關的技術快速發展，廣泛應用在以特效取 勝的電影和各種虛擬製作。 專長開發臉部生成工具的馬萬鈞，參與過《哈比人》三部曲、《猩球崛起》系列和《玩命 關頭7》等好萊塢賣座片，2019年與團隊獲頒奧斯卡科學技術成就獎，是台灣繼李安導演 之後第二人。現居美國的他，來台與業界人士分享臉部捕捉技術的演進與製作過程，也表 達對本地視效產業的期許。 掃描細節　馬萬鈞 台灣大學資工系博士、南加大創意科技中心博士後研究員，專長電腦繪圖、電腦視覺。曾 任威塔數位特效公司研究員、蘇黎世理工大學訪問學者、動視暴雪資深研究員及谷歌AR／ VR部門資深軟體設計師，2019年獲頒奧斯卡科學技術成就獎，現為TikTok字節跳動智能創 作部門研究員。 電影角色回春、複製人題材、科幻片裡的真人CG角色…這些大銀幕上維妙維肖的數位人類 （digital human）或數位分身（avatar），隨著人臉電腦繪圖的技術日益精進，效果更 逼真，成本也大幅降低。 軟體工程師出身的馬萬鈞對視覺圖像有興趣而與好萊塢結緣。2005年，他考上台灣大學資 工系博士班，萌生出國念頭，申請國科會獎學金，赴美國南加大創新科技研究機構（ Institute for Creative Technologies ，簡稱ICT）的視覺圖像實驗室擔任研究員，在 指導老師保羅戴貝克（Paul Debevec）帶領下，研發高解析度臉部捕捉技術。 製作數位演員前要先拍攝真人的臉部表情，馬萬鈞加入團隊時，戴貝克已研發出Light Stage球體攝影裝置，設有LED燈和攝影機。打在人臉上的光線經過巧妙設計，可拍下細部 表情變化和臉部特徵，演員陶比麥奎爾擔綱的《蜘蛛人2》和《阿凡達》等片，都用到此 項技術，讓戴貝克與團隊於2010年拿下第一座奧斯卡科學技術成就獎。 為精益求精，他們不斷改良技術。由於打光的方式或亮度涉及數學推演，馬萬鈞加入後著 手開發相關軟體。初期Light Stage設計較陽春，相關人員持續修改，調整軟硬體，找到 最佳參數，掃描臉部時連毛細孔都可以捕捉，成為一大突破。馬萬鈞說：「拍攝畫面連唇 邊細紋都不會遺漏，也可以保留皮膚顏色。」 新技術陸續應用於《鋼鐵人3》《班傑明的奇幻旅程》和《遺落邊境》等數十部電影；大 型科技公司如Meta、Apple等為了製作虛擬資料，也打造自家專屬的Light Stage；美國前 總統歐巴馬想以3D列印技術取代歷來白宮為卸任總統打造石膏像的傳統，也是在臉部3D掃 描技術的輔助下完成。 2019年，戴貝克與馬萬鈞等4人獲頒奧斯卡科學技術成就獎，理由為研發「基於球體上偏 振漸層光源的臉部捕捉特寫技術」，以及Light Stage X動態捕捉系統的設計和工程。本 屆艾美獎也頒發終身成就獎給戴貝克，表彰他對視效產業的貢獻。　 演員受傷、或有不宜親自上陣的動作，都可透過數位效果來解決。 馬萬鈞日前返台參加北市電影委員會舉辦的國際動畫視效講座，他分析數位人類技術的另 一個優點，是萬一演員受傷、或有不宜親自上陣的動作，都可透過數位效果解決。比方他 參與電影《鋼鐵人3》時，主角小勞勃道尼不慎摔斷腿，劇組不想延誤進度，就打造數位 人類繼續拍攝。 另一個知名「換臉」案例，是主演《玩命關頭7》的保羅沃克在拍攝期間意外過世，劇組 找了他的兩個弟弟擔任替身，且以長相相似的卡萊沃克（Caleb Walker）為主。馬萬鈞與 特效團隊面臨兩大挑戰：首先必須利用弟弟的皮膚資料重現數位保羅沃克的外觀；其次在 換臉程序上，也花很多時間追蹤鏡頭裡卡萊的頭部位置，再完美無縫銜接在數位保羅沃克 的頭上。 拜科技進步之賜，如今換臉成本已大幅降低。馬萬鈞透露，早在20年前迪士尼便有意拍攝 《雙子殺手》，並研究讓演員變得更年輕的方法。當年他們以石膏建模，再拍真人照片擷 取膚色，可惜成本太高而放棄。2017年，李安導演宣布開拍該片，相關技術已發展成熟， 才順利搬上大銀幕，馬萬鈞認為該片的數位人類「做得非常好，沒有破綻。」 馬萬鈞拿到博士學位後，對數位演員其他的製作面向產生興趣，於是赴紐西蘭視覺特效公 司威塔數位（Weta Digital）擔任動態捕捉研究員，最得意的作品是《猩球崛起》系列。 當時劇組去溫哥華的森林實景拍攝，為了拍下臉部表情，演員在頭上戴攝影機。但因天候 ，不僅鏡頭沾有水漬，演員走路震動也影響畫面，取得影像資料較差。為此他與團隊想辦 法修正，解算出來的結果依然讓後製部門做出栩栩如生的猩猩臉孔。 好萊塢視覺特效技術日新月異，歸功緊密的產學合作，他待過的ICT視覺圖像實驗室便是 一例。業界人士的努力耕耘也功不可沒，例如喬治盧卡斯創立的視效公司光影魔幻工業， 以及迪士尼旗下的皮克斯動畫工作室，早期為了拍片不惜投入研發資源，「他們花3年開 發一項技術，接下來十年都用得到，累積不少經驗。」長此以往，讓美國站穩視效技術開 發者的角色。 馬萬鈞目前在TikTok創意部門擔任研究員，負責開發元宇宙相關技術。回顧過往的產學歷 練，他體認到每個團隊或公司都有獨到技術，重點是提高能見度，讓外界知道。例如戴貝 克為角逐奧斯卡獎持續申請、投稿，2019年獲獎前被美國影藝學院退件兩次，直到第三次 才認可他們的成就和貢獻。　 技術可遇不可求，要看天分與資源，但經營社群網絡有助打入這個行業。 此外要參與國際專業社團。馬萬鈞直言：「技術可遇不可求，要看天分與資源，但經營社 群網絡有助打入這個行業。」他目前是好萊塢視覺效果協會（Visual Effects Society， 簡稱VES）的成員，該協會目前亞洲僅印度有分會，馬萬鈞有意在台灣推動成立「東北亞 地區首個VES分會」，帶動本地影像工作者接軌國際資源，企盼早日實現。 ============================ 好萊塢換臉技術番外篇 https://www.mirrormedia.mg/story/20221013insight009/ https://www.mirrormedia.mg/story/20221013insight010/ https://www.mirrormedia.mg/story/20221013insight011/ https://www.mirrormedia.mg/story/20221013insight012/ 漫威嚴防劇透滴水不漏　他說少了「關鍵條件」別想合作 近年虛擬製作（Virtual production）在好萊塢蔚為風潮，知名視效公司光影魔幻工業（ Industrial Light & Magic，簡稱ILM）研發StageCraft技術，結合LED螢幕牆、Unreal Engine遊戲引擎和攝影機追蹤器，營造真實的臨場感，帶來產業革新。 ILM把這個技術首度運用在美劇《曼達洛人》上，掀起業界跟風。日前上映的《龍族前傳 》亦採用此技術。一場龍石島橋上的戲，便是在劇組大手筆打造的虛擬攝影棚裡拍攝，共 有2千個LED螢幕組成的面板牆和92個攝影機追蹤器。演員站在彷彿位於半空中的橋上，雲 霧四起，一旁矗立著城堡，全靠StageCraft技術完成。 對此馬萬鈞說：「我覺得這個技術有好有壞，它用很大的LED螢幕投射數位場景，但如果 場景畫不好，看起來就很假。」他推崇《曼達洛人》的製作，「做得很好，劇組很認真去 斟酌每個場景要怎麼做，相對來說，《龍族前傳》裡的城堡看起來就不夠真實。 過往電影製作方鮮少願意揭露後製祕辛，現今已愈來愈開放。馬萬鈞認為，有些片子已經 上映許久，因此就算有些訊息揭露出來，也沒有隱私上的問題。他透露，為避免影片製作 期間機密外洩，有些公司仍然管得很緊，例如漫威。 他說：「和漫威合作之前，他們會先審查資安，確保你不能拷貝他們的內容。」馬萬鈞有 個朋友在掃描公司工作，就因為沒辦法通過漫威的資安審查而錯失合作機會，「可能要買 一些額外的資安設備，如電腦、軟體等，因此不是所有公司都可以和漫威合作。」 馬萬鈞剛進視效公司威塔數位工作時，該公司剛開始做漫威的片子，「我們的員工需要很 多訓練，公司得分內網、外網，production的東西不能流出去。要上網必須切到外網，看 完後再回來工作。」種種細節規定都在避免劇情或其他製作內容遭外洩。 目前馬萬鈞在TikTok創作部門擔任研究員，主要的工作內容與元宇宙相關，即製作數位人 。「現階段做臉部，之後做整個身體，甚至連環境都是虛擬的，這樣手機就像virtual production的攝影機，跟LED螢幕一樣，未來以手機拍攝影片時，可能裡面都是動畫，手 機的功能只剩下製作動態捕捉跟相機定位而已。」 視效人才超搶手　馬萬鈞：從電影跳槽網路公司薪水倍數起跳 國際串流平台蓬勃發展、競爭激烈，幾乎每週都有新節目輪番上陣。不僅劇迷追劇追不完 ，無形中對視效從業人員也造成工作負擔。 曾在威塔數位（Weta Digital）擔任研究員的馬萬鈞透露，影視作品產量大，但視效公司 「就那麼幾家」，且全世界設立相關科系的學校並不多，他推測相關工作人員壓力都很大 ，因為太多節目了。他說：「以前只有Netflix，一年出一兩部大劇就好。現在可能一個 月一齣，也許視效從業人員的工作因此滿穩的，但應接不暇並不健康；這些都是串流公司 如Netflix、Amazon等造成的。」 另一方面，視效行業競爭激烈，「且薪酬不是很好」，很多人會轉行去網路公司。例如威 塔數位有一整個部門的人去Apple，從事與數位人相關的工作，主因是待遇比較好，「那 個差距不是一、兩倍而已，是更高倍數。」 馬萬鈞不諱言，很多人雖然有理想，到頭來為了養小孩還是有所取捨。他對電影仍有熱忱 ，不排斥未來再從事與視效相關的工作，「但人生有很多事情要考量，要找到平衡點。」 對於有心從事視效產業或精進專業的人，馬萬鈞表示，學校裡的電腦視覺和電腦圖學是一 定要修的課程。之後因製作面向很多，可依個人興趣選擇專業，例如從事模擬爆破或水流 ，或煙的模擬等。「像我們是專精於動作角色的模擬，包括臉的動作或肢體動作，也有人 專精在描述材質如木頭、塑膠、鏡子或皮膚等。」 現今，還有像Midjourney這樣的AI生圖工具冒出來，堪稱技術爆炸的時代，要跟上腳步是 很累的，但他強調，一定要盡力去接觸與了解，以免與產業脫節。 每天追劇嘆時間不夠用　奧斯卡得主推薦2部必看電影 馬萬鈞喜歡看電影、影集，每天至少看兩齣劇或一部電影。他前陣子已追完《西方極樂園 》，接著還要看《魔戒：力量之戒》（Rings of Power），《女浩克》（She Hulk）和《 龍族前傳》（House of Dragon）等。也因此他感嘆，一天不過24小時，扣除工作、陪家 人等，「這麼多劇到底要怎麼看？」 談及近期看過的作品當中，是否有令他印象深刻的場景或視效處理，他首先推薦楊紫瓊主 演的電影《媽的多重宇宙》。馬萬鈞說：「這部片的視覺特效團隊很小，只有幾個人而已 ，卻做了一堆特效，我覺得滿好玩的，這是一個例子，就是小團隊也可以做出很好玩的東 西。」 第二部是奧斯卡得主喬登皮爾執導的《不！》，故事涉及一起神祕事件，視效團隊不僅依 劇情需求打造CG雲景系統；為了製作劇中的外星生物，也深入研究水母和鳥類，並開發出 新的技術。馬萬鈞認為，不同於其他特效大片，《不！》仍是以劇情取勝的電影，是他今 年為止覺得最好看的，「尤其要在Imax戲院看。」 長期從事與視覺圖像相關的工作，馬萬鈞不諱言，漫威的超級英雄片「就是那樣了，我反 而比較喜歡看特別的片。」近年他特別關注作品的藝術性，例如會觀察一部電影的攝影風 格，「學習鏡頭怎麼走動、怎麼打光」，從不同視角享受觀影樂趣。 李安之後獲奧斯卡獎台灣第二人　他妙喻：像彩券有買有機會 馬萬鈞於2019年與團隊獲頒奧斯卡科學技術成就獎，是繼李安之後台灣第二人。他以買彩 券來比喻：「我只是買了彩券、並剛好中獎；如果沒有買，就沒中獎機會。」意味得先採 取行動，才有可能嘗到成功的果實。 例如他們得到奧斯卡獎，是因為指導老師保羅戴貝克（Paul Debevec）持續向主辦單位遞 案申請，被退件過兩次，第三次才成功。馬萬鈞說：「一年頂多幾十個申請案，他們一定 要（從中）選擇，假設會選10個，那中獎機率就很高了。」 他認為台灣可先藉由成立影視相關的專業社團，接軌國際。例如他是好萊塢視覺效果協會 （Visual Effects Society，簡稱VES）的成員，該團體在世界各地設有分會，包括紐西 蘭、加拿大、英國、法國和印度等。 馬萬鈞說：「有些人講技術接軌，但我覺得這是次要的事，技術可遇不可求，要看有沒有 天才、有沒有錢去開發，但social networking一定可以做，否則很難打入這個行業。」 他認為台灣一定有技術，只是欠缺人脈資源，未來國際社團若能在台成立分會，打好關係 ，本地從業人員也可以提出申請各式相關獎項，「而且這個獎可能很好得。」 成立分會需要什麼條件？他以VES為例，只要當地有50名會員成員就可以成立，此後總部 會提供辦活動的經費，例如試映會或聚會交流。此外，VES也會設立獎項，頒獎給優秀成 員，馬萬鈞認為這代表來自同業的認可，非常重要。 至於申請入會者需要兩封推薦信，且要提交作品。他相信在台灣湊齊50名會員不難，只不 過每人每年要付新台幣6,000元會費，大家是否有意願。畢竟協會運作需要經費，包括就 業補助等，也有其他福利。例如可免費看Netflix，「如此一年可省掉逾半的會費」，由 於需經過審查才能加入，申請者也要具備一定的資歷，若獲選也算是肯定與榮譽。 馬萬鈞一心想在台推動成立VES分會，甚至天馬行空發想：50個人的年會費總計新台幣30 萬元，假設政府初期願意先補助2年、共60萬元，讓50個菁英申請加入，並順利成立東北 亞第一個分會，與國際交流，「之後如果大家覺得有好處，就會（願意自掏腰包）加入了 。」 -- ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Indie-Film/M.1666880628.A.85F.html ※ 編輯: filmwalker (115.43.132.55 臺灣), 10/27/2022 22:24:37