※ [本文转录自 Indie-Film 看板 #1ZMfHqXV ] 脸部捕捉技术获颁奥斯卡　马万钧突破虚实打造数位人 https://www.mirrormedia.mg/story/20221013insight003/ 视觉特效产业不断进步，近年与脸部动态捕捉相关的技术快速发展，广泛应用在以特效取 胜的电影和各种虚拟制作。 专长开发脸部生成工具的马万钧，参与过《哈比人》三部曲、《猩球崛起》系列和《玩命 关头7》等好莱坞卖座片，2019年与团队获颁奥斯卡科学技术成就奖，是台湾继李安导演 之後第二人。现居美国的他，来台与业界人士分享脸部捕捉技术的演进与制作过程，也表 达对本地视效产业的期许。 扫描细节　马万钧 台湾大学资工系博士、南加大创意科技中心博士後研究员，专长电脑绘图、电脑视觉。曾 任威塔数位特效公司研究员、苏黎世理工大学访问学者、动视暴雪资深研究员及谷歌AR／ VR部门资深软体设计师，2019年获颁奥斯卡科学技术成就奖，现为TikTok字节跳动智能创 作部门研究员。 电影角色回春、复制人题材、科幻片里的真人CG角色…这些大银幕上维妙维肖的数位人类 （digital human）或数位分身（avatar），随着人脸电脑绘图的技术日益精进，效果更 逼真，成本也大幅降低。 软体工程师出身的马万钧对视觉图像有兴趣而与好莱坞结缘。2005年，他考上台湾大学资 工系博士班，萌生出国念头，申请国科会奖学金，赴美国南加大创新科技研究机构（ Institute for Creative Technologies ，简称ICT）的视觉图像实验室担任研究员，在 指导老师保罗戴贝克（Paul Debevec）带领下，研发高解析度脸部捕捉技术。 制作数位演员前要先拍摄真人的脸部表情，马万钧加入团队时，戴贝克已研发出Light Stage球体摄影装置，设有LED灯和摄影机。打在人脸上的光线经过巧妙设计，可拍下细部 表情变化和脸部特徵，演员陶比麦奎尔担纲的《蜘蛛人2》和《阿凡达》等片，都用到此 项技术，让戴贝克与团队於2010年拿下第一座奥斯卡科学技术成就奖。 为精益求精，他们不断改良技术。由於打光的方式或亮度涉及数学推演，马万钧加入後着 手开发相关软体。初期Light Stage设计较阳春，相关人员持续修改，调整软硬体，找到 最佳参数，扫描脸部时连毛细孔都可以捕捉，成为一大突破。马万钧说：「拍摄画面连唇 边细纹都不会遗漏，也可以保留皮肤颜色。」 新技术陆续应用於《钢铁人3》《班杰明的奇幻旅程》和《遗落边境》等数十部电影；大 型科技公司如Meta、Apple等为了制作虚拟资料，也打造自家专属的Light Stage；美国前 总统欧巴马想以3D列印技术取代历来白宫为卸任总统打造石膏像的传统，也是在脸部3D扫 描技术的辅助下完成。 2019年，戴贝克与马万钧等4人获颁奥斯卡科学技术成就奖，理由为研发「基於球体上偏 振渐层光源的脸部捕捉特写技术」，以及Light Stage X动态捕捉系统的设计和工程。本 届艾美奖也颁发终身成就奖给戴贝克，表彰他对视效产业的贡献。　 演员受伤、或有不宜亲自上阵的动作，都可透过数位效果来解决。 马万钧日前返台参加北市电影委员会举办的国际动画视效讲座，他分析数位人类技术的另 一个优点，是万一演员受伤、或有不宜亲自上阵的动作，都可透过数位效果解决。比方他 参与电影《钢铁人3》时，主角小劳勃道尼不慎摔断腿，剧组不想延误进度，就打造数位 人类继续拍摄。 另一个知名「换脸」案例，是主演《玩命关头7》的保罗沃克在拍摄期间意外过世，剧组 找了他的两个弟弟担任替身，且以长相相似的卡莱沃克（Caleb Walker）为主。马万钧与 特效团队面临两大挑战：首先必须利用弟弟的皮肤资料重现数位保罗沃克的外观；其次在 换脸程序上，也花很多时间追踪镜头里卡莱的头部位置，再完美无缝衔接在数位保罗沃克 的头上。 拜科技进步之赐，如今换脸成本已大幅降低。马万钧透露，早在20年前迪士尼便有意拍摄 《双子杀手》，并研究让演员变得更年轻的方法。当年他们以石膏建模，再拍真人照片撷 取肤色，可惜成本太高而放弃。2017年，李安导演宣布开拍该片，相关技术已发展成熟， 才顺利搬上大银幕，马万钧认为该片的数位人类「做得非常好，没有破绽。」 马万钧拿到博士学位後，对数位演员其他的制作面向产生兴趣，於是赴纽西兰视觉特效公 司威塔数位（Weta Digital）担任动态捕捉研究员，最得意的作品是《猩球崛起》系列。 当时剧组去温哥华的森林实景拍摄，为了拍下脸部表情，演员在头上戴摄影机。但因天候 ，不仅镜头沾有水渍，演员走路震动也影响画面，取得影像资料较差。为此他与团队想办 法修正，解算出来的结果依然让後制部门做出栩栩如生的猩猩脸孔。 好莱坞视觉特效技术日新月异，归功紧密的产学合作，他待过的ICT视觉图像实验室便是 一例。业界人士的努力耕耘也功不可没，例如乔治卢卡斯创立的视效公司光影魔幻工业， 以及迪士尼旗下的皮克斯动画工作室，早期为了拍片不惜投入研发资源，「他们花3年开 发一项技术，接下来十年都用得到，累积不少经验。」长此以往，让美国站稳视效技术开 发者的角色。 马万钧目前在TikTok创意部门担任研究员，负责开发元宇宙相关技术。回顾过往的产学历 练，他体认到每个团队或公司都有独到技术，重点是提高能见度，让外界知道。例如戴贝 克为角逐奥斯卡奖持续申请、投稿，2019年获奖前被美国影艺学院退件两次，直到第三次 才认可他们的成就和贡献。　 技术可遇不可求，要看天分与资源，但经营社群网络有助打入这个行业。 此外要参与国际专业社团。马万钧直言：「技术可遇不可求，要看天分与资源，但经营社 群网络有助打入这个行业。」他目前是好莱坞视觉效果协会（Visual Effects Society， 简称VES）的成员，该协会目前亚洲仅印度有分会，马万钧有意在台湾推动成立「东北亚 地区首个VES分会」，带动本地影像工作者接轨国际资源，企盼早日实现。 ============================ 好莱坞换脸技术番外篇 https://www.mirrormedia.mg/story/20221013insight009/ https://www.mirrormedia.mg/story/20221013insight010/ https://www.mirrormedia.mg/story/20221013insight011/ https://www.mirrormedia.mg/story/20221013insight012/ 漫威严防剧透滴水不漏　他说少了「关键条件」别想合作 近年虚拟制作（Virtual production）在好莱坞蔚为风潮，知名视效公司光影魔幻工业（ Industrial Light & Magic，简称ILM）研发StageCraft技术，结合LED萤幕墙、Unreal Engine游戏引擎和摄影机追踪器，营造真实的临场感，带来产业革新。 ILM把这个技术首度运用在美剧《曼达洛人》上，掀起业界跟风。日前上映的《龙族前传 》亦采用此技术。一场龙石岛桥上的戏，便是在剧组大手笔打造的虚拟摄影棚里拍摄，共 有2千个LED萤幕组成的面板墙和92个摄影机追踪器。演员站在彷佛位於半空中的桥上，云 雾四起，一旁矗立着城堡，全靠StageCraft技术完成。 对此马万钧说：「我觉得这个技术有好有坏，它用很大的LED萤幕投射数位场景，但如果 场景画不好，看起来就很假。」他推崇《曼达洛人》的制作，「做得很好，剧组很认真去 斟酌每个场景要怎麽做，相对来说，《龙族前传》里的城堡看起来就不够真实。 过往电影制作方鲜少愿意揭露後制秘辛，现今已愈来愈开放。马万钧认为，有些片子已经 上映许久，因此就算有些讯息揭露出来，也没有隐私上的问题。他透露，为避免影片制作 期间机密外泄，有些公司仍然管得很紧，例如漫威。 他说：「和漫威合作之前，他们会先审查资安，确保你不能拷贝他们的内容。」马万钧有 个朋友在扫描公司工作，就因为没办法通过漫威的资安审查而错失合作机会，「可能要买 一些额外的资安设备，如电脑、软体等，因此不是所有公司都可以和漫威合作。」 马万钧刚进视效公司威塔数位工作时，该公司刚开始做漫威的片子，「我们的员工需要很 多训练，公司得分内网、外网，production的东西不能流出去。要上网必须切到外网，看 完後再回来工作。」种种细节规定都在避免剧情或其他制作内容遭外泄。 目前马万钧在TikTok创作部门担任研究员，主要的工作内容与元宇宙相关，即制作数位人 。「现阶段做脸部，之後做整个身体，甚至连环境都是虚拟的，这样手机就像virtual production的摄影机，跟LED萤幕一样，未来以手机拍摄影片时，可能里面都是动画，手 机的功能只剩下制作动态捕捉跟相机定位而已。」 视效人才超抢手　马万钧：从电影跳槽网路公司薪水倍数起跳 国际串流平台蓬勃发展、竞争激烈，几乎每周都有新节目轮番上阵。不仅剧迷追剧追不完 ，无形中对视效从业人员也造成工作负担。 曾在威塔数位（Weta Digital）担任研究员的马万钧透露，影视作品产量大，但视效公司 「就那麽几家」，且全世界设立相关科系的学校并不多，他推测相关工作人员压力都很大 ，因为太多节目了。他说：「以前只有Netflix，一年出一两部大剧就好。现在可能一个 月一出，也许视效从业人员的工作因此满稳的，但应接不暇并不健康；这些都是串流公司 如Netflix、Amazon等造成的。」 另一方面，视效行业竞争激烈，「且薪酬不是很好」，很多人会转行去网路公司。例如威 塔数位有一整个部门的人去Apple，从事与数位人相关的工作，主因是待遇比较好，「那 个差距不是一、两倍而已，是更高倍数。」 马万钧不讳言，很多人虽然有理想，到头来为了养小孩还是有所取舍。他对电影仍有热忱 ，不排斥未来再从事与视效相关的工作，「但人生有很多事情要考量，要找到平衡点。」 对於有心从事视效产业或精进专业的人，马万钧表示，学校里的电脑视觉和电脑图学是一 定要修的课程。之後因制作面向很多，可依个人兴趣选择专业，例如从事模拟爆破或水流 ，或烟的模拟等。「像我们是专精於动作角色的模拟，包括脸的动作或肢体动作，也有人 专精在描述材质如木头、塑胶、镜子或皮肤等。」 现今，还有像Midjourney这样的AI生图工具冒出来，堪称技术爆炸的时代，要跟上脚步是 很累的，但他强调，一定要尽力去接触与了解，以免与产业脱节。 每天追剧叹时间不够用　奥斯卡得主推荐2部必看电影 马万钧喜欢看电影、影集，每天至少看两出剧或一部电影。他前阵子已追完《西方极乐园 》，接着还要看《魔戒：力量之戒》（Rings of Power），《女浩克》（She Hulk）和《 龙族前传》（House of Dragon）等。也因此他感叹，一天不过24小时，扣除工作、陪家 人等，「这麽多剧到底要怎麽看？」 谈及近期看过的作品当中，是否有令他印象深刻的场景或视效处理，他首先推荐杨紫琼主 演的电影《妈的多重宇宙》。马万钧说：「这部片的视觉特效团队很小，只有几个人而已 ，却做了一堆特效，我觉得满好玩的，这是一个例子，就是小团队也可以做出很好玩的东 西。」 第二部是奥斯卡得主乔登皮尔执导的《不！》，故事涉及一起神秘事件，视效团队不仅依 剧情需求打造CG云景系统；为了制作剧中的外星生物，也深入研究水母和鸟类，并开发出 新的技术。马万钧认为，不同於其他特效大片，《不！》仍是以剧情取胜的电影，是他今 年为止觉得最好看的，「尤其要在Imax戏院看。」 长期从事与视觉图像相关的工作，马万钧不讳言，漫威的超级英雄片「就是那样了，我反 而比较喜欢看特别的片。」近年他特别关注作品的艺术性，例如会观察一部电影的摄影风 格，「学习镜头怎麽走动、怎麽打光」，从不同视角享受观影乐趣。 李安之後获奥斯卡奖台湾第二人　他妙喻：像彩券有买有机会 马万钧於2019年与团队获颁奥斯卡科学技术成就奖，是继李安之後台湾第二人。他以买彩 券来比喻：「我只是买了彩券、并刚好中奖；如果没有买，就没中奖机会。」意味得先采 取行动，才有可能尝到成功的果实。 例如他们得到奥斯卡奖，是因为指导老师保罗戴贝克（Paul Debevec）持续向主办单位递 案申请，被退件过两次，第三次才成功。马万钧说：「一年顶多几十个申请案，他们一定 要（从中）选择，假设会选10个，那中奖机率就很高了。」 他认为台湾可先藉由成立影视相关的专业社团，接轨国际。例如他是好莱坞视觉效果协会 （Visual Effects Society，简称VES）的成员，该团体在世界各地设有分会，包括纽西 兰、加拿大、英国、法国和印度等。 马万钧说：「有些人讲技术接轨，但我觉得这是次要的事，技术可遇不可求，要看有没有 天才、有没有钱去开发，但social networking一定可以做，否则很难打入这个行业。」 他认为台湾一定有技术，只是欠缺人脉资源，未来国际社团若能在台成立分会，打好关系 ，本地从业人员也可以提出申请各式相关奖项，「而且这个奖可能很好得。」 成立分会需要什麽条件？他以VES为例，只要当地有50名会员成员就可以成立，此後总部 会提供办活动的经费，例如试映会或聚会交流。此外，VES也会设立奖项，颁奖给优秀成 员，马万钧认为这代表来自同业的认可，非常重要。 至於申请入会者需要两封推荐信，且要提交作品。他相信在台湾凑齐50名会员不难，只不 过每人每年要付新台币6,000元会费，大家是否有意愿。毕竟协会运作需要经费，包括就 业补助等，也有其他福利。例如可免费看Netflix，「如此一年可省掉逾半的会费」，由 於需经过审查才能加入，申请者也要具备一定的资历，若获选也算是肯定与荣誉。 马万钧一心想在台推动成立VES分会，甚至天马行空发想：50个人的年会费总计新台币30 万元，假设政府初期愿意先补助2年、共60万元，让50个菁英申请加入，并顺利成立东北 亚第一个分会，与国际交流，「之後如果大家觉得有好处，就会（愿意自掏腰包）加入了 。」 -- ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Indie-Film/M.1666880628.A.85F.html ※ 编辑: filmwalker (115.43.132.55 台湾), 10/27/2022 22:24:37