作者piyu (毓)
看板Statistics
標題[問題] E(SSE) 過程推導
時間Sat Nov 21 00:21:13 2009
iid
Y=b0+b1X1+....+b_(k-1)X_(k-1)+ε ,ε ~ N(0,σ^2)
indep
Yi ~ N(μi ,σ^2)
Y：由k-1個解釋變數組成的複迴歸
E(SSE)=E(Σ（Y_i-Y_i(hat)）^2)
=ΣE[（Y_i-μ_i）-（Y_i(hat)-E（Y_i(hat)））+（μ_i-E（Y_i(hat)））]^2
?
=ΣE（Y_i-μ_i）^2 -ΣE（Y_i(hat)-E（Y_i(hat)））^2
+Σ（μ_i-E（Y_i(hat)）^2
請問這個等號怎麼來的？
將第二個等號中間展開後，我只能推出下列式子
ΣE（Y_i-μ_i）^2 +ΣE（Y_i(hat)-E（Y_i(hat)））^2 +Σ（μ_i-E（Y_i(hat)）^2
-2ΣE（Y_i-μ_i）（Y_i(hat)-E（Y_i(hat)））
+2ΣE（Y_i-μ_i）（μ_i-E（Y_i(hat)）
~~~~~~~~~~~~~~~~~~~~~~~~~
||
0
-2ΣE（Y_i(hat)-E（Y_i(hat)））（μ_i-E（Y_i(hat)）
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
||
0
從結果來看 應該是
E（Y_i-μ_i）（Y_i(hat)-E（Y_i(hat)）） = E（Y_i(hat)-E（Y_i(hat)））^2
所以得到一開始第三個等號的式子，請問這是怎麼來的呀？
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.165.177.145
1F：推 selient:怎會這麼複雜？這在算什麼 11/21 01:09
2F：→ Angesi:我記得這應該是個美好的結果才對 11/21 01:11
3F：→ yhliu:哪來 μ? E[Y_i] = E[Y_i(hat)] = μ_i 11/21 07:38
4F：→ yhliu:用矩陣才好做. 11/21 07:38
5F：→ yhliu:Σ(y_i-μ_i)(y_i(hat)-μ_i) = 11/21 07:42
6F：→ yhliu: Σ(y_i-y_i(hat))(y_i(hat)-μ_i) + Σ(y_i(hat)-μ_i)^2 11/21 07:43
7F：→ yhliu:第一項期望值是 0. 11/21 07:44
8F：→ yhliu:因此 E[SSE] = E[Σ(y_i-μ_i)^2] - E[Σ(y_i(hat)-μ_i)^2] 11/21 07:46
※ 編輯: piyu 來自: 118.165.171.111 (11/21 10:33)
9F：→ piyu:我需要利用這個式子來證Mallow's Cp 所以看起來很複雜..>"< 11/21 10:35
10F：→ piyu:謝謝y大的解釋 11/21 10:36
11F：→ yhliu:更正: 既然是 Cp 的問題, model 不一定正確, E[y_i(hat)] 不 11/21 21:31
12F：→ yhliu:一定等於 μ_i, 也就是 Σ(y_i-y_i(hat))(y_i(hat)-μ_i) 的 11/21 21:33
13F：→ yhliu:期望值不一定是 0, 而是 -Σ(μ_i-E[y_i(hat)])μ_i 11/21 21:34
14F：→ yhliu:你的最後一式 E（Y_i-μ_i）（Y_i(hat)-E（Y_i(hat)））= 11/21 21:41
15F：→ yhliu:E[(Y_i-Y_i(hat)+Y_i(hat)-E[Y_i(hat)]+E[Y_i(hat)]-μ_i)* 11/21 21:44
16F：→ yhliu: (Y_i(hat)-E[Y_i(hat)])] 11/21 21:45
17F：→ yhliu:分三項, E[(E[Y_i(hat)]-μ_i)*(Y_i(hat)-E[Y_i(hat)])] 顯 11/21 21:47
18F：→ yhliu:然是 0.....sorry! 上面都漏了總和號! 11/21 21:48
19F：→ yhliu:Σ(y_i-y_i(hat))y_i(hat)=0. 故第一項 11/21 21:49
20F：→ yhliu:E[Σ(Y_i-Y_i(hat))(Y_i(hat)-E[Y_i(hat)]) = 11/21 21:54
21F：→ yhliu: - E[Σ(Y_i-Y_i(hat))E[Y_i(hat)] 也應易得證為 0 11/21 21:56
22F：→ yhliu:方法如證 Σ(y_i-y_i(hat))y_i(hat)=0, 都來自 normal eqs. 11/21 21:57
23F：→ piyu:謝謝y大解釋 總算完全懂了 ^^ 11/22 13:14