作者wargods8402 (维尼X维尼)
看板DataScience
标题[问题] 影片辨识率的设计准则
时间Mon Jul 29 12:46:29 2019
各位先进好，
想请问各位在训练完权重後
下去跑影片辨识
跑完後该怎麽去计算辨识率呢？
或是有没有一个评分系统呢？
如果我的Dataset有提供一个测试集，里面有标记好的正确答案。
这样进行辨识後，应该如何去做“标准答案”与“辨识结果”两个之间的评分呢？
谢谢各位先进
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 39.8.0.243 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1564375591.A.A22.html
1F：推 jackwang01: Accuracy MAP 等等都可07/29 12:59
前辈说的的确是。
accuracy是指在某个frame中，一共辨识到的物件/全部的物件，不知道我的理解有没有错
误？
mAP用到的是资料统计的部分，目前还在读，目前已经有工具可以计算训练好的权重，其m
AP为多少。
但是，我想针对的是辨识结果来做评分。
另外，我在想的问题是：
当今天我的标准答案在frame 1时，一共标注了5个物件，分别是3台车、2个人；辨识後的
结果在frame 1时，一共标注了4个物件，分别是2台车、1个人。
这样的话，
第一步，我应该去对两个框做比对。
第二步，比对辨识後的类别是否正确 。
第三步，计算IoU。
第四步，输出结果。
重复上述步骤，直到影片读取完毕。
问题来了：
1.这样少辨识到一台车，应该怎麽计算评分？
2.在比对的过程，标准答案中如果有两个相同的物件非常接近。然而，辨识结果却把两个
物件视为同一个物件的话，这样又应该如何计分呢？
※ 编辑: wargods8402 (163.21.76.158 台湾), 07/29/2019 14:11:36
2F：推 truehero: 先去弄懂mAP07/29 14:43
3F：推 truehero: 如果有特别需要 就再自己修改 07/29 14:48
4F：→ jackwang01: 如果是这样的case就自己设计，例如每个预测出来的box07/29 18:47
5F：→ jackwang01: 都去match一个真实资料（用iou)，然後可以算 miss det 07/29 18:47
6F：→ jackwang01: ection 跟false alarm，这样的数字应该会比mAP来的更07/29 18:47
7F：→ jackwang01: 让人一看数字就理解07/29 18:47
8F：→ jackwang01: 例如原本是辨识车，分别统计正确match车、有match但07/29 18:51
9F：→ jackwang01: 辨识错类别、完全漏掉一台车、把一台车辨识成其他东07/29 18:51
10F：→ jackwang01: 西等等这些数据当作评分 07/29 18:51
对对对！我要的就类似这样，所以才想上来问问看，不知道有没有这样的评分系统或是诸
如此类的计算工具，感谢
※ 编辑: wargods8402 (39.11.71.199 台湾), 07/29/2019 20:57:53
11F：→ jackwang01: 基本上我都是自己写，算出每张frame的统计再平均一下07/29 21:42
12F：→ jackwang01: 就很有用了07/29 21:42
那可以跟您请教这种的评分方式，您是怎麽计分的吗@@？谢谢
※ 编辑: wargods8402 (39.11.71.199 台湾), 07/29/2019 22:09:37
13F：→ jackwang01: 就像我上面说的啊，把每一种可能用到的情况都统计出07/30 00:59
14F：→ jackwang01: 来，如果你的应用可以接受漏标但是不能接受误判，那就07/30 00:59
15F：→ jackwang01: 用 false alarm低的，反之如果希望尽量不要漏标，就挑07/30 00:59
16F：→ jackwang01: miss detection 低的，一切都看个人应用 07/30 00:59
应该是说，如果在多个评分的标准下，这样会产生多个分数出来。并不是只有一个分数而
已，不知道这样解释对不对，谢谢
※ 编辑: wargods8402 (163.21.76.158 台湾), 07/30/2019 12:12:28
17F：→ jackwang01: 是的 07/30 18:07
18F：→ jackwang01: 也是有类似f1-score之类的可以参考看看，不过通常每 07/30 18:09
19F：→ jackwang01: 项分开看我觉得更有用一些 07/30 18:09