作者yuanandy (小元)
看板DataScience
標題[問題] bootstrap confidence intervals
時間Wed May 29 22:59:13 2019
各位前輩、大大們好，
小弟研究上有些問題想請教、確認自己了解是否有誤，如有錯誤還請不吝指教。
我想請問一下，在文獻中回報了bootstrap-generated confidence intervals，
是否就代表著有interval validation?
在我的認知上，internal validation是為了避免當model overfitting時
出現過於高估模型能力的情況，
所以在bootstrap中利用不斷的resample with replacement去修正過於樂觀的結果。
但是今天聽到有人說，bootstrap只有在運用在model developement時才算是有internal
validation，倘若只有利用bootstrap在建好模型之後去評估模型表現則不算是有intern-
al validation (像是只用bootstrap計算confidence intervals)
小弟不是很認同這樣的說法，因此想詢問一下大家怎麼看待的呢? 謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 134.58.253.56
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1559141956.A.8E7.html
1F：→ sxy67230: 不太能理解你要表達的意思，bootstrap 抽樣做驗證的方法 05/31 23:50
2F：→ sxy67230: 是隨機取n個可放回的資料，剩下做validation set。如果 05/31 23:50
3F：→ sxy67230: 你指得是訓練完成後在做評估就失去vaildation的意義了吧 05/31 23:50
4F：→ sxy67230: ？ 05/31 23:50
5F：→ sxy67230: 抱歉，更正一下。訓練完成後再做驗證，確實是做internal 06/01 00:13
6F：→ sxy67230: validation是一樣的意思。 06/01 00:13
7F：→ yuanandy: 如同你前面的論述，比較嚴謹的人會覺得不算internal 06/04 00:00
8F：→ yuanandy: validation，他們覺得必須是在訓練的過程使用到才算 06/04 00:01
9F：→ yuanandy: 但我個人覺得只是一種估計再現率高低的方式，所以算是 06/04 00:03
10F：→ yuanandy: 後來我還是採取了比較嚴謹的說法，供大家參考 06/04 00:04