作者AmigoSafin ()
看板Statistics
標題[問題] 請教PRESS Stat degeneration問題
時間Tue Aug 6 10:27:41 2019
大家好，
想跟各位前輩請教迴歸問題。
在criterion -based techniques
我們可以用adj.R^2, AIC, BIC, LOOCV,以及Mallow's CP
去選擇最適model.
當我們plot AIC, BIC versus numbers of variables in the model時
兩者都會給我們一個V-shape
而那個angle就是最適模型
我遇到的問題是
有一quintic function:
f(x)=1-(1/2)x+x^2-2x^3+3x^5
let n=400 be the sample size,
and sigma=(0.3)^2
and let's generate
y_i=f(x_i)+epsilon_i
where epsilon_i ~ N(0, sigma^2)
Let's use polynomial regression to try and recover
the original function f(x) from the data.
For our purpose, let's start with a polynomial
of degree 25.
以上這個data畫出來的BIC在number of predictors=5時有明顯的V-shape,
但AIC及PRESS statistics畫出的圖中
兩者都在n=5時degenerate
想請教各位高手
會如此的原因是因為quintic function的特性嗎？
如何解釋為佳？
謝謝大家了！
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 74.69.83.135 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1565058464.A.FDD.html
1F：→ andrew43: 你是指AIC/PRESS對冗餘的模型懲罰比較不夠重嗎？ 08/06 11:56
2F：→ AmigoSafin: 應該不是 因為一班情況下AIC BIC PRESS都會找到最適 08/06 20:51
3F：→ AmigoSafin: 也就是會有V-shape in plots所以是否是AIC PRESS 08/06 20:51
4F：→ AmigoSafin: 不converge in this guintic function? 08/06 20:51
5F：→ AmigoSafin: 不converge是因為對新增一變數的懲罰不夠重嗎? 08/06 20:52
6F：→ andrew43: 看資料吧。x模擬時有給特定分配嗎 08/06 23:47
7F：→ AmigoSafin: 沒有 08/09 22:58
8F：→ AmigoSafin: 所以我覺得應該是這個function的特性不converge吧 08/09 22:59
9F：→ andrew43: 結果會受到x的影響，例如x range很小就可能fit不好 08/10 00:25
10F：→ AmigoSafin: 了解 謝謝A大 08/11 20:31