======================= iPhone 摄影时代 | 计算摄影 关於计算摄影部分技术说明 ======================= https://www.mobile01.com/topicdetail.php?f=257&t=6781820 上面是M01原文... 这里举例的处理器是最新的， 或许各位手上有旧机，那麽处理器能力就没那麽好， 如安卓旧机可能还会拍完後等转圈圈。 但是因为目前处理器已经慢慢到位（还没完全到位） 新的机器不管是Live View的准确度，还是拍摄後无需等待就可以看照片等， 都会更加的优秀。 这里所说明的，都是以最新的技术为主。先看下面的图， https://i.imgur.com/NME0Tm3.png 由此图可以得知，并非单眼这种阳春且暴力的叠图。 计算管线每个图层都有不同意义，然後交给AI做细节处理。 每个步骤都是为了升高画质，取得画面细节，没有一个步骤是多余的。 =========== <1> 如何作业 ===== 这是计算摄影按下快门"当下" 就将以上的画面进行多画面合成~ 上面共有12个图层，在计算摄影里面这是即时拍摄跟演算的~ 也可以看到语意分割的图层~ 因为都采取电子快门，也因为要撷取多张，所以多张快门速度都是不一样的 但基本上都是以高速快门为主，然後进行合并出高细节的照片。 所以不可能有一个"单一"的快门速度.... (这就是为什麽我说看EXIF根本不准的原因) 要做到即时的多张画面分析跟撷取， 就需要依靠极快的电子快门跟光达以及CPU/GPU/NPU同时运作~ 图像处理/AI单元都是全力作用。 当然如果快门压下才撷取这麽多照片，基本上是来不及的， 也就是说当一打开相机，就开始进行拍摄了...(不停地进行拍摄照片) 这些都是放在缓冲里面~ 当使用者构图好，按下快门的当下，就马上取出缓冲的照片进行缝合输出~ (或者将缝合好的直接做输出)。然後这是一个镜头的处理..12帧影像 可是其实像3镜头的状况， 为了保证使用者3颗镜头无论怎麽用都可以顺畅变焦 跟有缝合准确以及白平衡做统一。 (因为3颗镜头不同焦段甚至不同感光元件， 可能还不同公司的产品，当然有各自的"本身发色") 而手机就以1颗镜头当作准则 (如主镜头模组)， 然後进行另外2颗镜头模组的影像发色平衡... 所以每个镜头都是一直在拍摄12帧影像并且随时在处理。 3颗镜头就是需要同时处理36帧影像 也就是说，就算是Snapdragon 8 Gen 2可以同时处理30帧影像画面， 那麽3颗镜头就是每颗镜头只能及时处理10帧... https://i.imgur.com/UDM0LFF.jpeg (图片来源: https://www.cool3c.com/article/191315 ) 高通有示意图 30帧并非1/30s... 而是一次可以立即处理30个画面的演算... 为了让使用者不会有按下快门後却在等成片...处理器是全速背景运算的..... 而可一次拆解成 8 个图层的意思是指语意分析去分割时， 最多可以将上面30 帧影像的合成处理後的单张影像再弄出8个图层去处理。 https://i.imgur.com/lsOqod8.jpeg ==========计算摄影EXIF没有任何意义============== 所以我一直说明的就是 : 看单张快门速度没有意义..(因为早拍了一堆快门速度不同的照片下去处理) 看分区测光没有意义 (最基本的测光早就做好了.重点是之後的语意分割下去处理) 看单一白平衡准不准确没有意义(语意分割早就分开处理了) 所以按下快门的单一张照片， 其实早就进行了十几张拍摄後再来分割处理，进行复杂的演算後的结果 这也就是为什麽当打开相机app时，虽然一直没有拍摄动作， 但发烫的程度却跟玩大型游戏一样的烫.... 这也就是为什麽拍没几张照片，也就很快没电了 所以处理器越新，使用体验会越好， 旧机跟旧处理器，可以处理的张数就少的可能...(还无法三镜头连动) 不管是快门延迟或者是拍摄成果，都会远远不如新处理器.... 30祯是指最大撷取量 而总共有三组镜头跟三组感光元件，也就是平均每一组就是10祯.... 这是分开计算但同时可完成的。 可以想像这是三组相机跟镜头同时拍摄， 每台相机跟镜头当然是分开各自拍摄的.... 而这拍摄速度极快...跟传统的曝光思维完全不一样。 单镜头模组立即处理10祯的画面就是控制电子快门速度更快使之瞬间完成... 也就是会以高速快门为主取得采取清晰的影像.... 然後合并取得更多细节... 以及之前所说的图像分割然後加以作更精确的曝光跟白平衡。 (而且都是RAW演算) 如果这种处理方式会造成什麽模糊或诡异画面的困扰， 这种技术早就被舍弃了，而不是越来越多厂商采用。 而夜景模式的演算更为复杂， 除非自己手持十分不稳，不然出来的相片也不会有什麽诡异状况.... (手持小不稳也根本不影响) 用手机拍摄的人何其多，这麽多人用了这个技术去拍摄照片... 说穿了如果有模糊还是不清晰问题会被使用者上网抱怨。 (没所谓的叠成拉丝的照片) 这技术都用很久了.....所以本身技术是很稳定的。 =========== <2> 与分区测光之差异 ===== 计算摄影常用的图像分割: 图像分割是指将图像分成多个区域，每个区域都有其特定的特徵， 例如颜色、纹理等，这些特徵可以用来识别图像中的物体。 分割後再来对切割的物体进行不同曝光调整跟白平衡处理。 传统单眼常用的分区测光: 分区测光是一种测光模式，将画面分成数个区域， 各自独立运算後再统合整理， 取得一个完整曝光值(最後还是产生一个"单一"的曝光数据) 手机采用二种合并的方式进行测光跟调整。 先分区测光有个基准再来处理语意分割後的曝光。 也就是说影像分割并非纯粹还原现场光线。 而是为了增加各分割影像的细节个别调整曝光值， 也因为语意分析後，所以可以去让曝光更合适。这样就可以避免分区测光的缺点。 =========== <3>图像分割/语意分割 ====== Image Segmentation Semantic Segmentation 这是基於深度学习後的效果。例如常用的单眼可以简单辨识人脸跟动物等 例如可以独立提亮脸部曝光跟人脸白平衡。这是目前单眼晶片可以做到的部分。 而手机可以辨识分割的更多，也就是会更加精细。 这是高通语意分割的示意图 https://i.imgur.com/oGzoR4m.jpeg 这是目前手机处理器的能力 确实准确辨识出物体的位置跟种类，然後加以分别处理不同曝光跟白平衡， 让整体画面更平衡。 也就是说并非单纯还原现场色调， 而是让晶片知道各语意分割区的场景去做最适合的白平衡。 下面这张图可以得知，iPhone语意分割做到有多极致 https://i.imgur.com/mmZUIzj.png 不仅分割前景跟後景，还分割了不同的人种以及肤色跟衣服。 做不同的曝光跟白平衡调整。 =========== <4> ProRAW ===== 简单说明ProRAW (这边简单念念规格，隔壁版有人有做实测) https://i.imgur.com/XaA0ZaN.jpeg ProRAW采取了DNG 1.6的格式. 4800万像素 色彩深度最大到12bit，宽容度14.5级~ 将CPU、GPU、ISP、NPU的各种资料整合~ 并加下面参数独立出来，进行调整时不动到底层~ ProRAW的细节则是已经经过演算过的DeepFusion结果.. 已经去除杂讯并且加强细节 不仅动态范围非常高，还带有影像分割遮罩.... 简单而言，就是会把人跟背景等轮廓影像分割... 这样编辑时就可以让後制调整更加方便... 可以对人像以及背景不同调整，不会互相干扰~ 并且ProRAW因为无压缩， 所以影像柔和并没有加入锐化。方便让使用者进行後制创作。 ============ <5> 拍摄可以手动介入相机RAW管线的摄影创作 ====== 由上面可以知道，手机随时拍摄12张以上相片进行处理。 这个管线如果不能进行创作，那就失去摄影的乐趣了。 所以从最简单的EV到明调/对比以及色温都可以直接介入计算摄影管线中调整。 可以依照场景去调出适合的风格， 因为是直接介入计算摄影管线，所以画质不受影响。 以下是实作范例，因为如果按照正常曝光跟对比色温， 将会导致此张照片整体光线明亮，会失去主题性。 所以将之控制在对比强烈色温温暖的设定下， 然後降EV後，剩下交给计算摄影... https://i.imgur.com/cDcLINM.jpeg @直出 摄影风格计算管线介入 EV-1.47 @iphone 14 pro 24mm 此时就会产生有气氛且主题叶子明确的照片，享受摄影创作的乐趣。 如果不想那麽锐利，想要有更多细节。并且在软体後制时可以减少画质损失。 可以选择拍摄ProRAW。 =========== <6> 真正所见即所得 ====== 使用单眼最大的困扰就是那片低劣的LCD萤幕， 不仅无法确实知道拍摄效果，色准也跑掉，色温也跑掉， 大太阳底下还没办法看清楚来取景..... 但手机仰赖处理器的高效能， 所以可以由萤幕Live View马上看出实际拍出的效果。 并且加上高规格的萤幕，高亮度的萤幕，在大太阳下能够用大萤幕明亮的取景， 高达2000尼特的亮度，Delta-E 为0.26非常足够使用。 而且由於萤幕色彩准确度高， 所以不太用担心从萤幕看到的色彩会跟进校色萤幕看的色彩差距过多.... 跟传统相机那片萤幕的色准跟亮度比起来，无疑是天壤之别。 所见即所得，是手机的优势。 =========== <7> HEIF/HEIC 格式优势，以及手机可处理高动态RAW档编辑跟输出。 ===== 目前用手机杜比视野的高规萤幕编辑相机RAW档的效能是蛮OK的。 而且手机可以拍摄RAW档好像也不是新知了。 如果是手机拍摄的HDR RAW档更是大约60MB-100MB。 在手机RAW档下，不会有HEIF这种被加强的色调跟被加强的锐化效果。 会是很柔和的影像。 手机很早就可以选择不要拍摄JPEG了。 HEIF/HEIC已经是主流格式了。 adobe这篇有分析HEIC优点跟JPG差异。 https://reurl.cc/8X4jWd 我手机很久就没拍过Jpeg这种老格式了。 不知道HEIF的优点我这边有引用说明一下。 HEIF格式的特性 1、当相机以HEIF格式录制影像时，它们与JPEG影像的画质相同， 但是所需的档案大小较小，因为HEIF压缩效率大约比JPEG高两倍。 因此，相机可以非常有效率地储存及传输资料。 2、HEIF格式可以用丰富的10位元色彩深度层次压缩来录制影像， 而且对於重现色调变化平顺的天空渐层非常有效。 3、HEIF格式支援以4:2:2色彩取样来录制，并具备高度色彩重现。 因此，当需要高画质时，您可以使用4:2:2色彩取样。 4、当您使用相机的［HLG静态影像］功能时， 透过使用相当於HLG（混合对数迦玛：HDR影像标准）的迦玛特性， 您可以拍摄具有宽广动态范围与BT.2020相容的宽广色域的静态影像。 拍摄的HEIF具有上述特点。 引用来源 https://support.d-imaging.sony.co.jp/support/ilc/heif/02/zh-hant/index.html 基本上iPhone上面拍摄的HEIF是可以用手机直接显示HDR的完整动态范围。 并且可以做HDR的编辑跟输出。 (本文所说的手机都是以最新的高阶机功能为主） 相对传统相机的储存档案格式选择就很少。 通常仅仅是JPG+RAW为大部分。 (幸好全片幅SONY/Canon等都开始支援HEIF) 手机当然也可以进行批次复制同样参数贴上。做批次编辑跟输出。 https://i.imgur.com/YHZQPns.jpeg =========== <8> DeepFusion 深度融合 ====== 属於增加细节的技术，新款iPhone已经是全时开启， 这里就不多提了，直接看过往iPhone 11的影片介绍就好了， 反正知道现在可以全时开启就好。 这套系统是跟SmartHDR相辅相乘的技术。最一开始的影片有提到了。 下面这个影片久了一点，但却是有不错的DeepFusion技术介绍 https://www.youtube.com/watch?v=UPUqzfOVhsk 当时iPhone11还没有ProRAW.. 可以看出最原始RAW档是完全无法光靠後制出细节的 也就是说，原始RAW档已经到了不可用程度。 别忘了，小片幅的原始动态范围也是非常低的。 https://i.imgur.com/WNKEGWY.png https://i.imgur.com/qQUXaOq.png 手机是这样一步一步的慢慢技术累积，才有现今的摄影市场。 而这些技术都是来自於传统摄影。脱离不了光学。 =========== <9> Google 2019年有透漏的计算摄影技术部分 ====== 很难得google有提到计算摄影是靠什麽原理去处理的。 在2019年文章里面， Marc Levoy (史丹佛大学电脑科学荣誉退休教授， 负责教导电脑绘图学、数位摄影学和艺术科学) (Google HDR+模式、肖像模式与夜视功能开发团队 工程师) 所提到的部分 (下面引用自https://today.line.me/tw/v2/article/P2gZ88) 因为目前苹果跟三星以及google所提到的方法都不多，大都是保密的。 所以只能就过往google有透露出来的方法去知道计算摄影怎麽运作。 有点匪夷所思，但都是真实细节资讯。 Google甚至靠手震去取得更多细节。 其实上面引用网址已经是精简过的了，我有看过更详细的技术文章过。 我这边引用文章摘要，喜欢的话就自己去爬文 === HDR+ === 通常一般手机的作法，是把不同曝光时间的照片合成， 达到亮部、暗部都清楚。但这样做 其实每张照片都像是不同的、难以合成， 长曝时也容易手震造成模糊，成功率并不高。 Google是捕捉相同短曝时间的连拍影像， 再把连拍影像中每个像素取平均色调合成。 因为是短曝不会受到手震影响、暗部杂讯较少， 相同曝光值合成时也容易校准。连拍张数够多 也可降低噪点，虽然会牺牲整体色调和对比度，但效果相对较佳。 === 肖像模式 === 利用「双像素（Dual pixels）」对焦技术解决。 双像素对焦在较新的单眼相机中也会用 到，是将感光元件中的每颗像素分成左右两半， 左右两半像素透过镜头取得的影像会有极小差距， 刚好用来达成双镜头的效果，算出深度图。 === 高解析变焦 === 高解析变焦利用手持拍照时一定会发生的手震， 在手震期间连拍多张照片，取得放大影像後遗失的像素。 也就是说用来填补的像素都是物体原本的像素，并非模拟出来的像素， 因此可以重建细节。 对於放在三脚架上的手机， 也可以藉由强制开启手机内的OIS防手震来制造摇晃。 这样的方式当然也不能放大到太大， Google表示至少可与2倍光学变焦不相上下。 === 夜视模式 === 「移动测量（motion metering）」， 连拍时依据画面的移动程度自动调整适当的曝光时间。 如果手机在很稳定的状态，例如装在脚架上， 曝光时间最长会采取1秒内连拍6张画面合成； 如果手机很不稳定或是被摄物移动， 曝光时间最短会采取1秒内连拍15张画面合成 ，连拍张数视侦测到的移动程度分布於6张至15张之间。 连拍完成之後，Pixel 1及Pixel 2手机会使用HDR+技术合成这些照片， Pixel 3则是用高解析变焦技术来合成， 因为高解析变焦也是分析多张照片合成，有降低杂讯的效果。 === AI训练部分 === Google使用约100万张人物照片训练机器学习模型， 辨认影像中的内容例如人物、帽子、眼镜、冰淇淋等， 将人物与配件、背景区隔开。 再透过数学计算中的「边缘感知双边求解器（Edge-aware Bilateral Solver）」 对人物轮廓边缘细化调整。优化之後，即使是人物的发丝、 手上拿的杯子也都可以正确识别出来，清楚的与背景区隔。 为了训练机器学习模型辨识这些细小差异来估计距离， Google将五支手机拼起来，拍了成千上万具有微小差异的的照片组来训练。 因为处理的资料量太大， 又在Pixel 3手机中加入Visual Core处理晶片提升运算速度。 最後的结果就是Pixel 3肖像模式拍出来的照片不但景深误差更小， 还包含了丰富的景深资讯，拍出来之後可以更改对焦点， 改变前景、背景模糊程度。 在低光源的情况下自动白平衡效果不佳，Google又用机器学习， 以大量照片来训练模型判断正确的颜色。 另外又发生一个问题，当照片拍得很清楚时， 反而让人不知道这是一张白天的照片还是晚上的照片， 为此Google还参考历史上知名画家的呈现方式，特地把拍出来 的照片又调整成一般人认知的夜景。 ========== <10> 简单总结 ===== 由上面可知手机的晶片是加强以往单眼晶片的不足。加以优化摄影成果。 这才能够以极小片幅的尺寸，突破极小片幅跟塑胶镜片的先天劣势。 在不同场景下做最好的画质输出。 其实摄影技术层面很多，我只能带出一点点手机内容。 其余有兴趣的可以自己去爬google。 就知道小片幅高画质厂商下了多大努力。 -- 飘下的丝线.敲出叮咚的音符.围绕着冷列的空气.像是纷乱的情绪. 20070403 本文未经允许，禁止无断转载。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 103.124.176.189 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DC/M.1721973819.A.E2D.html ※ 编辑: eyecolor (103.124.176.189 台湾), 08/07/2024 09:09:36