作者AmigoSafin ()
看板Statistics
标题[问题] 请教PRESS Stat degeneration问题
时间Tue Aug 6 10:27:41 2019
大家好，
想跟各位前辈请教回归问题。
在criterion -based techniques
我们可以用adj.R^2, AIC, BIC, LOOCV,以及Mallow's CP
去选择最适model.
当我们plot AIC, BIC versus numbers of variables in the model时
两者都会给我们一个V-shape
而那个angle就是最适模型
我遇到的问题是
有一quintic function:
f(x)=1-(1/2)x+x^2-2x^3+3x^5
let n=400 be the sample size,
and sigma=(0.3)^2
and let's generate
y_i=f(x_i)+epsilon_i
where epsilon_i ~ N(0, sigma^2)
Let's use polynomial regression to try and recover
the original function f(x) from the data.
For our purpose, let's start with a polynomial
of degree 25.
以上这个data画出来的BIC在number of predictors=5时有明显的V-shape,
但AIC及PRESS statistics画出的图中
两者都在n=5时degenerate
想请教各位高手
会如此的原因是因为quintic function的特性吗？
如何解释为佳？
谢谢大家了！
--
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 74.69.83.135 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1565058464.A.FDD.html
1F：→ andrew43: 你是指AIC/PRESS对冗余的模型惩罚比较不够重吗？ 08/06 11:56
2F：→ AmigoSafin: 应该不是 因为一班情况下AIC BIC PRESS都会找到最适 08/06 20:51
3F：→ AmigoSafin: 也就是会有V-shape in plots所以是否是AIC PRESS 08/06 20:51
4F：→ AmigoSafin: 不converge in this guintic function? 08/06 20:51
5F：→ AmigoSafin: 不converge是因为对新增一变数的惩罚不够重吗? 08/06 20:52
6F：→ andrew43: 看资料吧。x模拟时有给特定分配吗 08/06 23:47
7F：→ AmigoSafin: 没有 08/09 22:58
8F：→ AmigoSafin: 所以我觉得应该是这个function的特性不converge吧 08/09 22:59
9F：→ andrew43: 结果会受到x的影响，例如x range很小就可能fit不好 08/10 00:25
10F：→ AmigoSafin: 了解 谢谢A大 08/11 20:31