这几天看模型选择遇到的问题 在衡量模型复杂度与预测误差之下要找一个 turning point， 来做为我们模型最後选择的依据。 书上以cross-validation方式来找这个turning point， 他计算出每个turning point下的 CV error 以及其对应的 standard error。 图形以CV error为纵轴，truning parameter为横轴（依不同模型， 可能为Subset size, Shrinkage Factors, Degrees of Freedom) 模型越往右边越复杂。CV curve 越往右越低，但不一定是单调。 问题是我没有很懂书上写的最适turning point是怎麽找的。 我引用书上不同地方写的两段话，这两段讲的是同一个意思。 We have used the 'one-standard-error' rule -- we pick the most parsimonious model within one standard error of the minimum. Often, a 'one-standard-error' rule is used with cross-validation, in which we choose the most parsimonious model whose error is no more than one standard error above the error of the best model. 我有几个问题 1. 看起来这种turning point的找法是不是属於一种经验法则阿，不像AIC，BIC 有一个明确的值来提供我们做判断。 2. 我对第一段的理解是：对所有turning point计算出CV error。 在所计算出来最小的 那个CV error 加一个标准差，以这点做一与横轴的平行线，则其与CV curve相交 的点所对应的turning point，就是我们要找的解。(希望大家可以知道我在说什麽， 如果用图说明可能会比较容易）。 3. 另一个应该是英文问题。第二段有点饶舌，我想确定一下其中除了standard error 的 error，其与所提到的 error 指的是 CV error 吧。 谢谢大家的帮忙！！ --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 125.225.181.56