作者yuanandy (小元)
看板DataScience
标题[问题] bootstrap confidence intervals
时间Wed May 29 22:59:13 2019
各位前辈、大大们好，
小弟研究上有些问题想请教、确认自己了解是否有误，如有错误还请不吝指教。
我想请问一下，在文献中回报了bootstrap-generated confidence intervals，
是否就代表着有interval validation?
在我的认知上，internal validation是为了避免当model overfitting时
出现过於高估模型能力的情况，
所以在bootstrap中利用不断的resample with replacement去修正过於乐观的结果。
但是今天听到有人说，bootstrap只有在运用在model developement时才算是有internal
validation，倘若只有利用bootstrap在建好模型之後去评估模型表现则不算是有intern-
al validation (像是只用bootstrap计算confidence intervals)
小弟不是很认同这样的说法，因此想询问一下大家怎麽看待的呢? 谢谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 134.58.253.56
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1559141956.A.8E7.html
1F：→ sxy67230: 不太能理解你要表达的意思，bootstrap 抽样做验证的方法 05/31 23:50
2F：→ sxy67230: 是随机取n个可放回的资料，剩下做validation set。如果 05/31 23:50
3F：→ sxy67230: 你指得是训练完成後在做评估就失去vaildation的意义了吧 05/31 23:50
4F：→ sxy67230: ？ 05/31 23:50
5F：→ sxy67230: 抱歉，更正一下。训练完成後再做验证，确实是做internal 06/01 00:13
6F：→ sxy67230: validation是一样的意思。 06/01 00:13
7F：→ yuanandy: 如同你前面的论述，比较严谨的人会觉得不算internal 06/04 00:00
8F：→ yuanandy: validation，他们觉得必须是在训练的过程使用到才算 06/04 00:01
9F：→ yuanandy: 但我个人觉得只是一种估计再现率高低的方式，所以算是 06/04 00:03
10F：→ yuanandy: 後来我还是采取了比较严谨的说法，供大家参考 06/04 00:04