看板Statistics
标 题[整理] 对於统计量与充份性
发信站无名小站 (Wed Aug 9 13:43:20 2006)
转信站ptt!Group.NCTU!grouppost!Group.NCTU!wretch
[最後整理如下]希望不仅能帮到我也能帮到正在学习的人
首先我们先假设资料集是一组来自机率空间中的未知母体P,
记做X(随机向量).T(X)为X的可测函数,称之为统计量,
当X的值已知则就可以知道T(X)的值,也就是说T为一个
已知的函数,统计分析是对於不同的目的建立不同的统计量,
显而易见的X本身就是一个统计量,而统计量T(X)的值域通常
比X的值域简单,
举例来说,X为一个n维的随机向量,T(X)可能为一p维的随机
向量,且p<n.这是因为希望透过T(X)来简化原始资料.这只是
一个例子, 一般而言统计量并不一定有维度浓缩的现象.
虽然,确实我们希望能尽量浓缩.
从机率的观点来看,在T(X)中关於X的未知分布的"资讯"被
包含在σ(T(X))中.为了了解这点,假设S为其他的统计量,且
σ(S(X))=σ(T(X)),由上述假设可证明出S为T的可测函数,
而T也为S的可测函数.也就是在 σ(S(X))=σ(T(X)),统计量
S 与 T 是等价的 (equivalent).当已知S或T任一个统计量
的值,则另一个的值就可以知道.
因此,包含群体讯息的是统计量决定的 σ-field 而非统计
量的值;但统计量的值在其他理由上可能是重要的(如点估计).
也就是说: 如果目的在分辨群体特性 (如检定、辨别、分类),
所需耍的不是统计量的值,而是它所决定的σ-field.
例如在群体标准差已知情况下, 做常态群体平均数检定,
X-bar, Z 与 p-value 都是一样的
回过来看, 注意到σ(T(X))被包含於σ(X),且σ(T(X))=σ(X)
若且为若 T为1-1.
讨论使用统计量T(X)来缩短σ(X),我们会要求这样的缩短结果
对於未知母体不失去任何资讯.假如统计量T(X)所包含的所有
资讯与原始资料相同的话则统计分析可以使用较X简单的T(X)上.
接下来描述什麽叫做包含"所有资讯"与原始资料相同
假设X为来自分布族P={P_θ:θ属於Θ}中的某个分布,统计量
T(X)称之为θ或P的充份统计量,若且为若X给定T=t的条件分布
与θ或P无关.
T(X)是θ的充份统计量可视为:"在某种意义下T(X)包括了X所含
有关θ的全部讯息",以下则明确地说明上述这件事:
假设研究者执行一随机实验的到资料X,但研究者却只报告了T(X)
的结果而把原始资料X丢掉了.研究者可以透过随机生成的方式,
产生一组观测值X'(在T(X)=t给定的情况之下)其分布於X给定t的
分布相同,可以证明对所有的A, P_θ(X'属於A)=P_θ(X属於A),
也就是说只需要透过T的了解,经由这样的方式所得到的X'和X具有
相同的分布,并且所包括对於θ的讯息也相同.
因此在这样的意义下T(X)包括了X所含有关θ的全部讯息.
在建构X'中,我们需要透过一个独立的(与θ无关)的随机生成的
方式产生,因此一个决策δ(X')不仅与T有关也与随机生成的方式
有关.所以可以知道δ(X')并非一个非随机的决策规则,而是随机
决策规则.对於任何建立在X上的决策规则,是可以建构一个建立
在X'上的决策规则(为一随机决策规则仅与T有关),且两个决策规
则的风险是一样的(对於所有的θ属於Θ下).因此倘若随机决策
规则是可接受的,则可不失一般性的限制考虑在充分统计量上.
关於 randomized decision rule (decision function).
大概书上用的符号意义是 δ(X)(‧).
δ(‧) 将每一个样本点 X=x 映至行动空间上的
一个机率分布 δ(x)(‧)
即:对每一 x, δ(x) 是行动空间上的一个机率分布.
因此,δ1(t)(A) = E[δ0(X)(A) | T=t]
是 δ0(x)(A), x in T(x)=t 上的平均.
δ0(x)(A) 是 X=x 时 δ0 选择 action 在 A 的机率,
δ1(t)(A) 是 T(X)=t 时 δ1 的 action 在 A 的机率.
注意因 δ0 即使非随机, T=t 时的不同 x, δ0(x) 对应
不同 action,因此 δ1 仍是随机的; 除非 δ0 本身是 T
的函数, 这意谓 T=t 之下 δ0 是 constant (与 t 有关),
故 δ1(T(X))=δ0(X) with probability one.
令 Z 表示 δ0 额外的随机化程序, 以 δ*(X,Z) 表示其
outcome. 则
R(θ,δ0) = E[E[L(δ*(X,Z),θ)|X]]
= E{E[E[L(δ*(X,Z),θ)|X]|T]}
因 T 被假设是充分的. 给定 T 时 δ0 的条件平均损失,
依定义是实际损失 L(δ*(X,Z),θ) 先固定 X 之下,对做
成不同 action 的机率做平均, 然後再对固定 T(x)=t 之
下不同 x 的相对 likelihood 做平均. 这应等於 T=t 之
下不同 x 对应之 Z 的分布做成一个 "平均" 的机率分布,
而实际损失则对这个 "平均的分布" 求平均. 即
E[E[L(δ*(X,Z),θ)|X]|T] = E[L(δ"(T,Z*),θ)|T]
其中 δ"(t,Z*) 是 T=t 时 δ1(t)(.) 的 outcome.
(这一段解释起来有点费事,需细心体会.)
又依定义 R(θ,δ1) = E[E[L(δ"(T,Z*),θ)|T]]
故 R(θ,δ0) = R(θ,δ1).
这也相当於说: 任何基於 X 的决策函数, 可视为 randomized
decison function based on a sufficient statistic T.
但这样所得到的随机决策是可要被决策者接受的
若不被接受的话, 则只有在非随机决策函数δ0(X)=h(T(X))
才有可能得到一个 nonrandomized decison function based
on a sufficient statistic T, 且两者风险等价. (有做跟没做一样)
而Bao-Blackwell的结果告诉我们,在convex loss下我们仅需
要考虑非随机决策规则,且在strictly convex下,决策规则若
非T的函数,则为inadmissible.
--
夫兵者不祥之器物或恶之故有道者不处君子居则贵左用兵则贵右兵者不祥之器非君子
之器不得已而用之恬淡为上胜而不美而美之者是乐杀人夫乐杀人者则不可得志於天下
矣吉事尚左凶事尚右偏将军居左上将军居右言以丧礼处之杀人之众以哀悲泣之战胜以
丧礼处之道常无名朴虽小天下莫能臣侯王若能守之万物将自宾天地相合以降甘露民莫
之令而自均始制有名名亦既有夫亦将知止知 220-133-64-250.HINET-IP.hinet.net海
1F:推 wwwwwww:这不是肯德基 08/12 12:26