作者selfhiding (等不到一个人的想念)
看板DataScience
标题[问题] CNN影像分类问题(背景类)
时间Thu Nov 28 15:41:51 2019
各位大大好
小弟目前使用CNN做影像分类，在还未加入背景当种类时准确度有九成，
将背景是唯一种种类加进去一起训练时准确度只剩下六成，有搜寻过几种
方法，有一些不理解的地方想请教
[Handling "Background" class in machine learning]
https://thehive.ai/engineering/handling-background-classes-in-machine-learning
其中有提到这一段
I have a suggestion that can improve this situation a surprising amount:
prevent the background class from learning features. Allow it to learn only
one trainable variable, its logit.
据我的认知logit为softmax的前一层由feature map经过平坦计算後所产生，不太明白
上述的方法该如何实践。
目前尝试过利用撇除背景的模型，依照其预测的信心分数建立阀值去判断是否为背景，
结果依然不理想，所以也想请教各位大大是否有其他的方式可以克服这类问题。
感谢大家!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.109.160.13 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1574926914.A.450.html
1F：推 kenkao25: 感觉是class imbalance problem 可以试看看focal loss 11/28 17:48
2F：→ kenkao25: 或是 hard negative mining 11/28 17:48
3F：推 brad0315: 我猜是Normalize的问题 11/28 18:10
4F：推 sxy67230: 基本上，这种问题就是你的类别不平衡的问题，最简单暴力 11/28 22:49
5F：→ sxy67230: 就是针对最有影响的负例训练就好了 11/28 22:49
6F：→ catxfish: 我的猜测这种讲法是在说train到背景那类时就只更新FC层 11/29 01:04
7F：→ catxfish: 不让背景那类去影响前方feature extractor的权重 11/29 01:04
8F：→ catxfish: 不过我觉得你应该先厘清是不是样本不平均问题... 11/29 01:06
9F：→ Kazimir: 那段话的我的理解是梯度到logit就停 上面都不动了 11/29 03:36