作者fundamental (呵呵呵呵呵)
看板DataScience
标题[问题] 相似物体的物件侦测及实例分割 confidence threshold 设置
时间Thu Jun 27 14:31:57 2019
作业系统: win10
问题类别: Faster R-CNN、Mask R-CNN
使用工具: python
问题内容:
各位版友好
小弟最近在接触物件辨识相关应用(商品辨识)
对於输出结果的confidence threshold设置有些疑问
假设模型训练时精度已经非常高的情况下，将辨识种类分为两种
1.辨识的种类差异很大
confidence threshold可以设的非常高，ex:0.9
2.辨识的种类非常相似
confidence threshold设0.9几乎找不到结果，如果设0.5甚至更低才会有输出
很相似的种类在训练时虽然得到很好的结果，但训练资料不会完全符合实际应用的变化
故设太高可能会辨识不到，设太低可能会得到很多错误的结果
不知道一般会怎麽决定confidence threshold呢?
感觉这跟辨识的东西差异性大不大是相依的问题
面对细粒度物件辨识问题时该怎麽决定输出阈值呢?
目前使用物件侦测Faster R-CNN 及实例分割 Mask R-CNN都会遇到一样的问题
想请有经验的帮忙解惑 谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 211.21.182.85 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1561617119.A.03B.html
1F：→ sxy67230: 做precision recall 06/27 19:22
2F：→ sxy67230: 大量测试下看你实际上应用需要的状况，像你侦测癌症就会 06/27 19:28
3F：→ sxy67230: 希望recall高一点，误判好细胞比让癌症没被杀死还要重要 06/27 19:28
4F：→ sxy67230: 更正一下，意思是你把正常细胞判错没关系，但是如果癌 06/27 19:33
5F：→ sxy67230: 细胞没全杀光，有机会让癌细胞扩散，那你的这套算法会 06/27 19:33
6F：→ sxy67230: 让医院赔死 06/27 19:33
7F：推 sxy67230: 所以才要recall高一点，其他应用也是一样，看你希望应 06/27 19:36
8F：→ sxy67230: 用上能尽可能抓到全部的东西，那就recall高一点，你希 06/27 19:36
9F：→ sxy67230: 望尽量不要一直抓错，那precision就高一点，但是相对来 06/27 19:36
10F：→ sxy67230: 说miss的机率就会提高 06/27 19:36
11F：推 sxy67230: 当然你也可以重头重新标注资料，提升标注品质，那你rcnn 06/27 19:38
12F：→ sxy67230: 正确率也会提高 06/27 19:38
13F：→ fundamental: 先谢谢您的回覆，您说的比较像瑕疵辨识，宁可错杀也 06/27 21:08
14F：→ fundamental: 不放过任何一个 06/27 21:08
15F：→ fundamental: 但我的应用上不只有两个分类，可能没办法用这个方法 06/27 21:12
16F：→ fundamental: 目前我是打算先用物件侦测找出物品位置再做分类辨识 06/27 21:19
17F：→ fundamental: 将辨识问题拆为两段，物件侦阈值应该就能设比较高了 06/27 21:21
18F：→ sxy67230: 多分类是可以比照二分类的方式，画PR曲线找到比较理想 06/27 21:40
19F：→ sxy67230: 的threshold。 06/27 21:40
20F：→ sxy67230: 上面只是举例二分类，多分类一样能透过pr找到threshold 06/27 21:41
21F：→ sxy67230: 较佳值。 06/27 21:41
22F：→ fundamental: 了解 谢谢您的分享 06/27 21:52