作者yuanandy (小元)
看板DataScience
标题[问题] bootstrap confidence intervals
时间Wed May 29 22:59:13 2019
各位前辈、大大们好,
小弟研究上有些问题想请教、确认自己了解是否有误,如有错误还请不吝指教。
我想请问一下,在文献中回报了bootstrap-generated confidence intervals,
是否就代表着有interval validation?
在我的认知上,internal validation是为了避免当model overfitting时
出现过於高估模型能力的情况,
所以在bootstrap中利用不断的resample with replacement去修正过於乐观的结果。
但是今天听到有人说,bootstrap只有在运用在model developement时才算是有internal
validation,倘若只有利用bootstrap在建好模型之後去评估模型表现则不算是有intern-
al validation (像是只用bootstrap计算confidence intervals)
小弟不是很认同这样的说法,因此想询问一下大家怎麽看待的呢? 谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 134.58.253.56
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1559141956.A.8E7.html
1F:→ sxy67230: 不太能理解你要表达的意思,bootstrap 抽样做验证的方法 05/31 23:50
2F:→ sxy67230: 是随机取n个可放回的资料,剩下做validation set。如果 05/31 23:50
3F:→ sxy67230: 你指得是训练完成後在做评估就失去vaildation的意义了吧 05/31 23:50
4F:→ sxy67230: ? 05/31 23:50
5F:→ sxy67230: 抱歉,更正一下。训练完成後再做验证,确实是做internal 06/01 00:13
6F:→ sxy67230: validation是一样的意思。 06/01 00:13
7F:→ yuanandy: 如同你前面的论述,比较严谨的人会觉得不算internal 06/04 00:00
8F:→ yuanandy: validation,他们觉得必须是在训练的过程使用到才算 06/04 00:01
9F:→ yuanandy: 但我个人觉得只是一种估计再现率高低的方式,所以算是 06/04 00:03
10F:→ yuanandy: 後来我还是采取了比较严谨的说法,供大家参考 06/04 00:04