Meta元宇宙中专利系列介绍（一）： 头像化身保真度和个性化专利 https://bit.ly/3tT8iyy 在未来的元宇宙中，绝对少不了的元素之一，就是在虚拟世界代表个人身份的头像化身或 数位分身（digital avatars/twin或称数位双生，即俗称阿凡达），因为元宇宙中仍需要 「以人为本」，只是，这个人已变成「虚拟人」(virtual humans)。目前现有头像化身之 形成，是依赖系统在萤幕上所提供的多种类型供使用者选择，然後再手动进行个人化制作 ，然而这样的系统不仅操作起来很耗时，而且通常完成後的头像化身也不像使用者本人， 很难展现出其具有专属之「个性化」。再者，即便现在有专业的3D建模设计师，可手动绘 制创造出使用者的外貌特徵与轮廓，但仍需相当长时间来修改。 有鉴於以上的缺点，Meta於2019年10月提出一件改善的方法与系统，并在2022年初就获准 美国发明专利案号US11,217,036B1「头像化身保真度和个性化」（Avatar Fidelity and Personalization，其申请日为2019/10/07，核准日为2022/01/04，预计到期日为 2039/10/07，以下称本专利），本专利显示一项头像化身之个性化引擎(avatar personalization engine)，使用所谓的皮肤复制器(skin replicator)工具，根据使用者 的照片创造出栩栩如生之3D头像，再增添与使用者匹配之附加特徵如发型、眉毛形状、面 部毛发、眼镜等，使头像化身模型进一步得以显现出个性化；目的在拟创造人物之3D复制 ，具超现实性以至於与真实无从区分 [注1]。 本专利最大的贡献，在於将头像化身予以个性化的形成方法，而非在装置或系统。具体而 言，其揭露一种自动生成个人化的头像化身，请参考图一，系从使用者图像到形成个人化 的头像化身的自动生成示意图。 https://imgur.com/jB4JGrB 本专利揭露电脑执行一连串的图像辨识与生成的演算法（当然也包含一种机器学习）。首 先，执行步骤702，透过围绕在使用者周围的多个摄像装置，撷取一或多个使用者图像， 而使用者图像又对应许多生物特徵数据；然後进入步骤704，透过基於使用者图像创造3D 使用者模型，其中3D使用者模型可和一般人模型比较，以确认使用者与一般人模型之间的 增量(delta)，如图二所示： https://imgur.com/awFxUE6 所谓的增量就是执行步骤706，分析使用者脸部的表面纹理和个性化特徵，例如面部特徵 的曲率和大小的差异之计算：中前额804和854、右脸颊810和860、左脸颊812和862、鼻子 （在尖端）820和870、上唇816和866，下唇818和868和下巴线814和864。此外，针对面部 特徵进行长度差异之计算：例如眼睛806和856之间的距离以及耳朵808和858的长度。 接着，执行步骤708，将步骤706已完成分析的确认之表面纹理和个性化特徵套入到步骤 704的3D模型中。然後，执行步骤710，将使用者与一般人模型之间的增量套用到一3D通用 模型(generic avatar model)，如图三所示。也就是说，将增量（图中标号880）套用到 3D通用模型902，以形成个人化头像分身。最後，执行步骤712，将添加额外符合使用者的 特徵（如发型、眉毛几何形状、面部毛发、眼镜等），即完成整个个人化头像分身的自动 生成过程。 https://imgur.com/VV4cyJj Meta对本专利揭露的方法所带来的优点在於，自动产生个性化之头像分身，完全依赖电脑 系统的分析与建模，而非凭藉目前使用者手动或3D建模设计师的「感觉」所绘制，因此本 专利宣称所有的过程，可在很短的时间内完成且成本更低。 其实，Avatars并非新颖的概念，因许多年来游戏玩家一直在用，例如Super Mario或超现 实之死亡搁浅(Death Stranding)，然而，一旦要将它用来表彰真实人类的你我，则无论 是在技术或心理上，皆需要相当之突破与调适；Meta念兹在兹想开创出真人版本，早於 2019年初即利用高质量之3D扫描，推出具卡通风格之虚拟化身，拟取代目前使用之视频会 议，但该种卡通动漫并非Mark Zuckerberg之终极目标，他要的是具有与真人属性几无区 别的avatars。企图透过轻量级耳机，使用头戴式捕获系统(Head Mounted Capture systems)原型，配备摄像头、加速计、陀螺仪(gyroscopes)、磁力计(magnetometers)、 红外线(infrared lighting)和麦克风，以捕获全方位之人的表达。 Meta乃从使用者佩戴VR装置，并收集包括眼球、嘴部运动和面部细致的表情等数据，再透 过机器学习而即时产生真实的化身。但头像化身绝非仅只於脸眼头部而已，而必须要及於 全身，故Meta延续其2019年雏型，於眼睛与脸部活动外，再扩及到人体全身的元数据 (meta data)之追踪、蒐集处理，并透过运行效能更快、耗能更低之AI演算法和神经网络 技术等特殊应用晶片（俗称ASIC），来改进生成更逼真之头像化身。 Meta去年底公布，其开发用於XR之高保真3D逼真头像化身系统，系在Quest 2上运作最新 版本的“Codec Avatars 2.0”，再创出一「全身编转码器头像化身」(Full-body Codec Avatars)，该渲染的虚拟分身，可模拟眼睛上下左右的运动、表情，甚至是全身姿态的跟 踪；而在VR中还可从多角度观看此动态3D图像，不仅可渲染出更接近真人的逼真外观，在 不同的动态光线条件与环境下，可细到头发和皮肤等细节之真实渲染，都有很大突破，甚 至还可显示出人脸的每个毛孔。 Meta的目的是想让使用者可快速容易的建构其在元宇宙之头像化身，於AR/VR中动态渲染 出逼真之头发、眉毛、皮肤、胡须等五官，进而支援眼部运动、面部表情、四肢与身体姿 态等特徵，发展出全躯体逼真的的虚拟化身(photorealistic avatars)。此外，为了进一 步提升Avatar的真实感，Meta也开发出模拟布料的物理特性，在VR中触摸裙子时，其可模 拟出裙子的皱褶波动，甚至还可看到布料的拉扯。 Meta之高保真3D场景渲染效果，特点是支持即时动态渲染，可模拟真实场景变化，未来有 助於增强VR社交体验感。对Meta来说，该高保真3D动态仿真(high-fidelity 3D dynamic simulation)技术，是实现Metaverse之必要突破。不过，它当然还需再改进触摸、手部与 眼睛跟踪和电脑视觉等项目，其刻正加紧研发全身之动态虚拟系统。 依以上所揭露之本专利，仅只着重於头与脸部之「头像」而已，尚未及於身体，Meta之 Full-body Codec Avatars理论上，想必其早已在布局相关之专利，值得後续关注。总之 ，Meta在元宇宙暂已有所斩获，放眼未来虽仍有很长的路，但至少已跨出了重要的一步。 (2653字；图1) 注1：专利摘要指可透过基於使用者之一个或多个图像创造3D使用者模型，为使用者产生 个性化之化身。该头像化身之个性化引擎，能计算3D使用者模型和一个普通人模型之间的 增量(delta)，该模型基於多数人的平均测量值创立的模型。然後头像化身之个性化引擎 ，依增量中确认之对应特徵指定的量，透过改变通用化身模型之特定特徵的测量，可将增 量应用於通用之化身模型，再将通用化身模型予以个性化来模仿使用者，可增添与使用者 特徵匹配之附加特徵，例如发型、眉毛几何形状、面部毛发、眼镜等，使头像化身模型得 进一步予以个性化。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Patent/M.1655870108.A.77C.html