看板Statistics
標 題[請益] 對於統計量與充份性的整理
發信站無名小站 (Tue Aug 8 02:08:23 2006)
轉信站ptt!Group.NCTU!grouppost!Group.NCTU!wretch
稍微整理上一篇的東西並加了一些充份性的東西
因為是自修所以想了解一下觀念是否正確或者有其他要加強的地方
希望大家指正或補充
首先我們先假設資料集是一組來自機率空間中的未知母體P,
記做X(隨機向量)
T(X)為X的可測函數,稱之為統計量,
當X的值已知則就可以知道T(X)的值,
也就是說T為一個已知的函數,
統計分析是對於不同的目的建立不同的統計量,
顯而易見的X本身就是一個統計量,
而統計量T(X)的值域通常比X的值域簡單,
舉例來說,X為一個n維的隨機向量,T(X)可能為一p維的隨機向量,且p<n
這是因為希望透過T(X)來簡化原始資料.
這只是一個例子, 一般而言統計量並不一定有維度濃縮的現象.
雖然,確實我們希望能儘量濃縮.
從機率的觀點來看,
在T(X)中關於X的未知分布的"資訊"被包含在σ(T(X))中.
為了了解這點,
假設S為其他的統計量,且σ(S(X))=σ(T(X)),
由上述假設可證明出S為T的可測函數,而T也為S的可測函數.
也就是在 σ(S(X))=σ(T(X)),
統計量 S 與 T 是等價的 (equivalent).
當已知S或T任一個統計量的值,則另一個的值就可以知道.
因此,包含群體訊息的是統計量決定的 σ-field 而非統計量的值;
但統計量的值在其他理由上可能是重要的(如點估計).
也就是說: 如果目的在分辨群體特性 (如檢定、辨別、分類),
所需耍的不是統計量的值,而是它所決定的σ-field.
例如在群體標準差已知情況下, 做常態群體平均數檢定,
X-bar, Z 與 p-value 都是一樣的
回過來看, 注意到σ(T(X))被包含於σ(X),
且σ(T(X))=σ(X) 若且為若 T為1-1.
統計分析的開始是
從樣本空間中收集來自機率空間中未知母體P的一組隨機觀測值X,
通常可以證明資料的某一部分對於未知分布是不帶有資訊的,
因為X可以藉由某個統計量T(X)所取代而不會失去資訊
首先我們定義什麼是充份統計量:
假設X為來自分布族P={P_θ:θ屬於Θ}中的某個分布,
統計量T(X)稱之為θ或P的充份統計量,
若且為若X給定T=t的條件分布與θ或P無關.
T(X)是θ的充份統計量可視為:
"在某種意義下T(X)包括了X所含有關θ的全部訊息"
以下則明確地說明上述這件事,
假設研究者執行一隨機實驗的到資料X,
但研究者卻只報告了T(X)的結果而把原始資料X丟掉了.
研究者可以透過隨機生成的方式,
產生一組觀測值X'(在T(X)=t給定的情況之下)其分布於X給定t的分布相同
可以證明對所有的A, P_θ(X'屬於A)=P_θ(X屬於A),
也就是說只需要透過T的了解,
經由這樣的方式所得到的X'和X具有相同的分布,
並且所包括對於θ的訊息也相同.
因此在這樣的意義下T(X)包括了X所含有關θ的全部訊息.
在建構X'中,我們需要透過一個獨立的(與θ無關)的隨機生成的方式產生,
因此一個決策δ(X')不僅與T有關也與隨機生成的方式有關.
所以可以知道δ(X')並非一個非隨機的決策規則,而是隨機決策規則.
對於任何建立在X上的決策規則,
是可以建構一個建立在X'上的決策規則(為一隨機決策規則僅與T有關),
且兩個決策規則的風險是一樣的(對於所有的θ屬於Θ下).
因此倘若隨機決策規則是可接受的,
則可不失一般性的限制考慮在充分統計量上.
有以下定理:
假設決策空間Α是R^k的子集. 令T(X)為θ的充份統計量,
且δ0(x,·)為任意的隨機決策規則, R(θ,δ0)<∞(對於所有的θ屬於Θ下).
則δ1(t,A)=E[δ0(x,·)(X,A)|T=t],
為一個僅於T(x)有關的隨機決策規則,
且δ0與δ1兩個決策規則的風險是一樣的(對於所有的θ屬於Θ下).
注意到上述定理並沒有說到δ0是indmissible.
並且若δ0為一非隨機決策規則,
則δ1(t,A)=E[I_A(δ0(X))|T=t]=P(δ0(X)屬於 A|T=t),A屬於Α,
仍為一個隨機決策規則
但必須排除一種情況就是當δ0(X)=h(T(X)) a.s. (h為一Borel函數).
因為上述定理並不能應用在隨機決策規則是不可接受的.
在Rao-Blackwell定理中則說明了,當非隨機決策規則為所有我們所需的,
且若決策規則非充份統計量的函數則為indimissible.
--
夫兵者不祥之器物或惡之故有道者不處君子居則貴左用兵則貴右兵者不祥之器非君子
之器不得已而用之恬淡為上勝而不美而美之者是樂殺人夫樂殺人者則不可得志於天下
矣吉事尚左凶事尚右偏將軍居左上將軍居右言以喪禮處之殺人之眾以哀悲泣之戰勝以
喪禮處之道常無名樸雖小天下莫能臣侯王若能守之萬物將自賓天地相合以降甘露民莫
之令而自均始制有名名亦既有夫亦將知止知 220-133-64-250.HINET-IP.hinet.net海
clairehsupo:因(此)X可以藉由某個統計量T(X)所取代而不會失去資訊08/08 02:08