作者ceaserman (神采飞扬)
看板MobileComm
标题Re: [新闻] 外媒质疑DXOMark的评分机制，一个付钱分
时间Sun Nov 17 23:00:53 2019
我个人认为这篇文章把很多概念全部拉在一起讲，反而让主题混乱。
甚至有点先射箭後画靶了。
里面讲到的几个论点：
1. DXO 分数是不是跟付费与否成正比？
简单检视：
有付费一定高分 ？ 没付钱一定低分 ？
以目前各家测试结果而言，显然没有一定的相关性的。
2. DXO 测项是否足够全面？
无疑不够全面，比如说变焦与夜间拍摄测试很久到最近才加上。
但有其他机构测项比 DXO 更全面的吗 ？ 似乎是没有。
那 DXO 的测试结果当然具有参考性。
3. DXO 测试标准对各厂商是否一致？
这个项目文章中有点东拉西扯了
里面把两个概念拿来混着讲：
1. 测项测试标准一致性问题：
在同一个测项中，比如曝光，厂商付费与否会有不一样的「测试标准」吗 ？
我想是没有，如果双标情况，早就被喷爆了。
2. DXO 测试的产品，是否有先经过针对 DXO 测试标准优化过的？
以第一点的「测试标准」来说，应该会是一样的。
因为各项数据其实都有科学上严格的定义。
以曝光来说，相机曝光只认「黑」跟「白」，与颜色无关。
正确曝光值定义在 18％ 灰度的参数值，曝光中心点一律会准在这点。
相机演算法对 18％ 灰度的偏差就是曝光值的偏差，这是有严格定义的。
真正有问题的在第二点：拿针对测试标准优化过的机型来测是否算作弊 ？
这其实有点偷换概念。
这有点像是你质疑一个在考前写过考古题，知道出题方向的考生作弊一样。
又或是
在考前老师已经说了某几题会考，A 就是不去看，而 B 写完也背好答案了。
考试时 B 全对，A 对错各半，这时候你说 B 作弊一样。
以此来质疑「公平性」，难道不觉得哪边怪怪的吗 ？
最重要的一点是：
至今仍没有证据显示 DXO 有针对付费客户给予特殊优化或谘询，而这个优化会直接影响
测试标准的适用性。
比如 DXO 曝光度测试标准除了黑、白，还另外加上了黄，但却没有告诉未付费厂商。
又或者 DXO 有跟付费厂商说测项有白平衡，但却没跟未付费厂商说。
这个才会有问题。
但目前没有证据显示 DXO 在测试标准上对於客户付费与否有不一样的标准。
所有的推论仅仅在於 DXOMark 背後的 DXO Labs 是谘询公司这一点而已。
就算 DXO Labs 真的有提供客户优化指导，只要测项跟标准一致，为何就不客观不公平了？
4. DXO 分数绝对值是否真实代表相机水准？
因为测项的不全面，看绝对值应该是无法客观的。
这在於测项的不全面，是没测到，而与是否优化无关，因为标准就摆在那里。
5. DXO 分数相对值是否可以代表各厂相机相对水准？
测项虽不是完全全面，但只要各家测试的「测项」与「标准」一致。
那相对值就应该有参考性。
6. DXO 有没有为特定厂商带风向？
以文章所述：
「DXO 的业务都是来自这些大公司，而这对他们的评论就会有很多影响，像是必须鼓励消
费者购买某些特定手机，而不是其他。当然，
目前没有任何证据证明有这状况。」
所以以全文来看，其实作者就是先以 DXO Labs 提供各厂商谘询这一点，
来质疑 DXOMark 不具客观公平性。
但测试的客观性与公平性，在於测项与标准是否一致。
若无法证明「测项」与「标准」对厂商付费与否有双标，那就不能推论公平性问题。
--
愿你走出半生，归来仍是少年。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.133.4.201 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MobileComm/M.1574002857.A.366.html
1F：推 qaz13579 : 我觉得有些部分真的没办法用数据而是主观认定那不管 11/17 23:19
2F：→ qaz13579 : 怎样付费的厂商多少都有优势 11/17 23:19
3F：推 banbanzon : ←看dxo分数买fz1000回来干死的人 11/17 23:23
4F：推 banbanzon : 打个比方 假如影响相机表现有ABCDEFG七个面相 dxo只 11/17 23:34
5F：→ banbanzon : 取其中ABCDE五个面相做评测 另外两个放生 结果消费 11/17 23:35
6F：推 semicoma : 简单讲就是DXO的评分不直接等於人眼觉得好看 所以我 11/17 23:35
7F：→ banbanzon : 者买回来才发现另外两个面相很重要 那dxo只用五个 11/17 23:35
8F：→ banbanzon : 面相做评测推荐是否有足够的代表性? 11/17 23:35
这个就是我讲的第二点：是否足够全面。
以目前来看明显是不够的，但无奈的是我们可能也很难找到全部面向都测到的机构。
那只能取测到最多面向的机构的数据了。
9F：→ semicoma : 觉得问题是在这个评分机制的缺陷 而不是在手机厂或 11/17 23:35
10F：→ semicoma : 相机厂或镜头厂 11/17 23:35
11F：推 semicoma : 另外想请问 送去评分的和实际销售的同款手机 在演算 11/17 23:38
12F：→ semicoma : 法上是完全一样吗? 有没有送测手机针对DXO标准调整 11/17 23:38
13F：→ semicoma : 而实际贩售的手机较贴近一般大众审美的情形? 11/17 23:38
你讲的这点其实是个值得讨论的问题。
着名的例子就是小米。
小米送测的软体版本跟实际面向消费者的版本不同，所以导致消费者使用体验跟 DXO 评测
结果有差异。
但这指代表了：DXO 评测结果不能完全代表消费者端的实际体验。
但这并不能代表 DXO 评测「不公平」或「不客观」。
14F：推 good5755 : 你的第一点论述就错了 11/17 23:40
15F：→ good5755 : 你怎麽知道哪些手机厂有谘询过DXO 11/17 23:40
说有谘询的是板上乡民跟文章，而不是我。
16F：→ good5755 : 取样错误 後面推论根本不可信 11/17 23:41
17F：→ good5755 : 而且你的推论也很多都是你认为 11/17 23:41
我只是有多少资料说多少话，没有资讯的我都当没有。
18F：→ good5755 : 你手上也没有DXO的评分标准 所以没有证据佐证 11/17 23:42
19F：→ good5755 : 整篇都是废话 11/17 23:42
我说没证据对方有作弊，就不能说对方作弊。
而你是先说对方作弊，要对方证明没作弊。
你觉得对？
你要不要先证明他们作弊，不然也是废话。
20F：推 ixxxx5566 : 怎麽会是DXO出来佐证自己准？要推翻DXO复测重现不就 11/17 23:49
21F：→ ixxxx5566 : 好了，测试样张都有公布呀 11/17 23:49
22F：嘘 sam355322 : 整篇都没有依据啊 11/17 23:49
因为原文就没有证据阿。
说没证据的，你们要不要先提出 DXO 有作弊、不公平、不客观的证据 ？
23F：推 tom282f3 : DXO有给测试样张 但没有说分数是怎麽出来的啊 11/17 23:50
24F：→ ixxxx5566 : 按照DXO的标准同个版本重拍一次，不就可以打脸了， 11/17 23:50
25F：→ ixxxx5566 : 可是没人要做，还是没人可以打脸所以没人放出结果？ 11/17 23:50
26F：推 good5755 : dxo自己就打脸自己了 标准每年都变 11/17 23:52
27F：→ good5755 : 之前版友有把以前nokia的照片来比对 明显以前好 11/17 23:52
偷换概念。
只要同一年度的标准对各家相同，你就不能说他不客观不公正。
28F：推 SRNOB : 有收钱 人家怀疑很合理阿 11/17 23:53
※ 编辑: ceaserman (220.133.4.201 台湾), 11/17/2019 23:55:17
29F：→ good5755 : 但是分数差很多 因为要比较硬体分数 11/17 23:53
30F：→ gn01140216 : 标准就DXO想改就改啊 11/17 23:58
31F：推 tom282f3 : 所以每年标准都不一样是可以的喔 11/17 23:59
32F：→ tom282f3 : 所以去年分数跟今年分数不能拿来比较吗 11/17 23:59
33F：推 good5755 : 但是你知道DXO并不会因为改标准就重测所有的手机吗 11/17 23:59
34F：推 SRNOB : 如果开放法官付费谘询服务 谁不会怀疑公平性 11/17 23:59
35F：→ good5755 : 网站上还是放旧的分数 造成消费者以为以前手机很烂 11/18 00:00
36F：→ good5755 : 这就是DXO的双重标准 要说有问题也是DXO的问题 11/18 00:01
37F：→ Xperia : 你对dxo还真宽容 11/18 00:01
38F：→ lukesfather : 其实DXO让我比较不懂的是测手机人像模式虚化的标准 11/18 00:08
39F：→ lukesfather : ，除了边缘是否准确，成像虚化的好坏、自然度这些 11/18 00:08
40F：→ lukesfather : 方面很难客观吧？ 11/18 00:08
41F：推 good5755 : 最直接的证据就是小米9 11/18 00:13
42F：推 ddt73930 : 其实今天会被拿出来讨论很简单 就只是中国手机相机 11/18 00:21
43F：→ ddt73930 : 强大家不爽而已 11/18 00:21
44F：→ good5755 : 不是 是自从小米9分数爆高 然後实机出来被所有人 11/18 00:23
45F：→ good5755 : 嫌 连中国人都不挺米9 然後DXO就越多人质疑 11/18 00:23
46F：推 paul40807 : 他常常更新标准之後近几只手机会重测 我应该有算标 11/18 00:28
47F：→ paul40807 : 准统一 11/18 00:28
48F：嘘 cleverlomb : 他本身业务有两重身份 光这点就值得合理质疑好吗 11/18 00:45
49F：→ cleverlomb : 还什麽没证据不能质疑 这种基本的business acumen 11/18 00:46
50F：→ cleverlomb : 还要有什麽证据？ 11/18 00:46
51F：→ cleverlomb : 那些大公司财报出问题怎麽被抓到的 帐面一切都合理 11/18 00:47
52F：→ cleverlomb : 啊 11/18 00:47
53F：→ cleverlomb : 看看安然公司 就是因为实质子公司的存在 才被怀疑 11/18 00:48
54F：→ cleverlomb : 最後抓出来 11/18 00:48
55F：→ cleverlomb : 如果只会说没证据=没有 我只能说你的视野还是太局 11/18 00:49
56F：→ cleverlomb : 限 11/18 00:49
57F：推 peng198968 : 更新标准过去测的就会重测的话，以XZ3的79分当标准 11/18 00:57
58F：→ peng198968 : 来测XZP，XZP可能只有70分吧？ 11/18 00:57
59F：推 minipopy0314: 阿就讨喜修很大占优势啊 垃圾修图相机 11/18 01:08
60F：推 imsphzzz : 版上索粉才不管，只要小米手机赢就是作弊！ 11/18 02:03
61F：推 semicoma : @ddt你说错了 这边都在讲小米 如果照你讲的 那应该 11/18 02:07
62F：→ semicoma : 华为会被拿出来鞭 11/18 02:07
63F：→ semicoma : 另外 我觉得DXO已经变成类似红点的情况了 付费了解 11/18 02:07
64F：→ semicoma : 得奖方向 另外 如果小米送测版本和实际销售版本不同 11/18 02:08
65F：→ semicoma : 那这问题就会在小米这端 不过这跟DXO本身测试机制有 11/18 02:09
66F：→ semicoma : 没有缺陷是两回事就是了 11/18 02:09
67F：→ semicoma : 说到红点设计奖 印象中也是小米开始玩这招 11/18 02:10
68F：推 BruceX : 推 11/18 02:17
69F：推 a21554099 : 推，先有有力且确切的证据再说人家怎样，不是说你 11/18 03:32
70F：→ a21554099 : 怎样之後然後叫人家拿证据证明自己清白。 11/18 03:32
71F：推 KevinYu0504 : 推这篇。 11/18 04:33
72F：嘘 ctes940008 : 你这篇发到单眼板可能会被喷到爆炸。 11/18 04:47
73F：推 steve1012 : 怀疑先拿证据吧 没证据跟名嘴差不多等级 11/18 06:24
74F：推 BBKOX : 哈哈 楼上好闹 XDD 11/18 06:39
75F：嘘 flybow : 你有听过什麽叫利益回避吗，最好是可以加入一个有 11/18 07:38
76F：→ flybow : 没有付钱谘询的指标，大家可以参考参考 11/18 07:38
77F：推 mypigbaby : 好像律师辩论文..清楚有条理11/18 07:39
78F：推 densen : 推这篇文章11/18 08:38
79F：推 trw10208 : 推这篇11/18 08:45
80F：嘘 juicedrink : 有付费谘询就是瓜田李下，这很难懂吗？11/18 08:56
81F：推 hygen : 推，真正公道话，原来的文章已经过度影射了11/18 09:18
82F：推 tsming : 送测版跟市售版不同已经够严重了吧，这等於虚假宣传11/18 09:46
83F：→ tsming : 啊？11/18 09:46
这的确是个严重的问题也涉及到厂商诚信。
但主词是小米，而不是 DXO。
是小米利用 DXO 骗人，而不是 DXO 造假。
※ 编辑: ceaserman (114.137.91.57 台湾), 11/18/2019 09:56:14
84F：嘘 mauve : 目前看到证据明显的应该是小米录影方面分数爆高原因 11/18 11:18
85F：→ mauve : 是DxO用预设画质(4k)测试，这很显然就是DxO本身评分 11/18 11:18
86F：→ mauve : 机制的缺陷啊。送测相机版本不同？那我比较想请问的 11/18 11:18
87F：→ mauve : 是原PO到底对「送测版本」跟「发行本版」间有算法差 11/18 11:18
88F：→ mauve : 异的资讯掌握了多少？这些都说不准请问如何「造假」 11/18 11:18
89F：→ mauve : ？ 11/18 11:18
90F：→ gn01140216 : 所以11/1以後怕苹果分数太低 录影采用最佳画质噜 11/18 11:22
91F：推 ixxxx5566 : 送测版本不同DXO都会明讲好嘛，小米有讲三星有讲华 11/18 11:24
93F：→ ixxxx5566 : DxOTk8.jpg 11/18 11:24
95F：→ ixxxx5566 : 而且小米在2天内就发表更新了，反而是华为直接送测 11/18 11:26
96F：→ ixxxx5566 : 不同版本号 11/18 11:26
97F：推 ixxxx5566 : 哪个机构会把预设4k，A B版本号讲出来？ 11/18 11:30
98F：→ ixxxx5566 : DXO已经做到尽量客观了，厂商要作弊干DXO什麽事 11/18 11:31
99F：嘘 CJhang : 送测分数跟使用者样张评比 倒过来 本来就会让DxO的 11/18 11:39
100F：→ CJhang : 信用打上问号 还不包括 是否自主送测 消费者连为什 11/18 11:39
101F：→ CJhang : 麽上市前有分数 有的手机都上市多久了 突然公布分数 11/18 11:39
102F：→ CJhang : 选机标准 发布标准 是有在DxO内部经历什麽流程都不 11/18 11:39
103F：→ CJhang : 知道 你就放心 真的放心佛心公司 就是慈悲的做公益? 11/18 11:39
104F：推 good5755 : 这篇要是当作论文早就被喷爆了 11/18 11:41
105F：推 good5755 : 很简单 以长焦和广角为例 厂商只要知道DXO这两项 11/18 11:44
106F：→ good5755 : 分数的比重 就可以买比较好的感光冲分数 11/18 11:45
107F：→ good5755 : 而这种评分标准并不会对外公布 所以才被人质疑 11/18 11:46
108F：→ good5755 : 是否只有谘询的厂商才知道评分标准 11/18 11:46
109F：→ good5755 : 而像google努力冲夜拍技术的厂商 11/18 11:47
110F：→ good5755 : 因为没有权重反而分数低 这就是只有DXO的盲点 11/18 11:48
111F：→ good5755 : 所以标准都是DXO制定 现在的手机镜头越来越多 11/18 11:49
112F：→ good5755 : DXO的评分标准也是原因之一 11/18 11:49
113F：嘘 maxian30201 : 这篇赞喔 逻辑好棒呢 11/18 12:44
114F：嘘 flybow : 如什麽都要实证有无双标 利益回避制度就可以废掉了 11/18 12:57
115F：→ flybow : 就算真的要评 也应该是没付钱的放一区 有付的另一区 11/18 12:59
116F：推 ixxxx5566 : 利益回避？哪一间自媒体或机构没拿过手机厂的媒体机 11/18 13:04
117F：→ ixxxx5566 : 的？以後我都看那一家 11/18 13:04
118F：→ commandoEX : 拿钱评测就业配啊，没拿钱评测还有可能有中立性 11/18 13:13
119F：嘘 qq251988 : 写过论文吗？自己观点本来主张要客观 11/18 13:44
120F：→ qq251988 : 却在文中用到 我想... 你不觉得很好笑吗 11/18 13:44
121F：→ qq251988 : 更何况在商业世界中 不是没有证据就不能合理质疑 11/18 13:45
122F：→ qq251988 : 更多的case都是因为合理质疑 才有後续的真相 11/18 13:45
123F：→ qq251988 : 那个这篇原文的稿子 哪一点不是合理质疑？ 11/18 13:46
124F：嘘 y477646 : iPhone生出什麽功能它就加进评测，反过来不测，呵 11/18 19:09
125F：嘘 flybow : 「只要同一年度的标准对各家相同.... 11/18 20:24
126F：→ flybow : ，你就不能说他不客观不公正。」 这句话我认为很有 11/18 20:26
127F：→ flybow : 值得商榷的地方 确实不会双标 因为把标准直接改掉呀 11/18 20:27
128F：推 farnorth : 简单说，看分数买手机，你会买到全部旗舰夜拍最烂的 11/18 21:03
129F：→ farnorth : 小米9 11/18 21:03
130F：嘘 mauve : 楼上倒是修张比较图来看看啊 11/19 09:26