作者znmkhxrw (QQ)
看板Math
标题[分析][机统] 随机过程与期望值
时间Thu Feb 6 03:23:11 2020
给一个离散实讯号x_n (就是x:Z(整数)→R(实数))
在讯号处理的paper里很常看到 E{x_n}
1 m
一直以来我都把他
定义成 E{x_n}:= lim ──── * Σ x_k
m→∞ 2m+1 k=-m
但是今天看到随机过程後, 其实对E{x_n}已有定义, 貌似上述等式只是特例而已
详细问题如下:
======================================================================
令 (Ω, Ｆ, P) 为机率空间
{x_n(w): n€Z(整数)} 为随机过程
即对於每个n, x_n: Ω→R 是一个随机变数
对於每个w, x_.(w): Z →R 是一个realization
接着因为期望值是定义在随机变数, 所以对於每个n我们有 E{x_n}:= ∫ x_n(w)dP(w)
Ω
从这边就可以先观察到
最一开始说的实讯号x_n只是固定某个event w所取出的x_n(w)
接着wiki说stationary random process是指随机变数的distribution是time-invariant
(
https://en.wikipedia.org/wiki/Stochastic_process#Stochastic_process )
因此如果 {x_n(w): n€Z(整数)} is stationary
则
E{x_n} = E{x_m} for any n,m€Z (*)
接着问题来了, 下面这个连结说如果随机过程是stationary的, 那麽对w做期望值(平均)
1 m
就等於对n做期望值(平均), 也呼应他写的 E{x_n}= lim ──── * Σ x_k ---(**)
m→∞ 2m+1 k=-m
(
https://www.dsprelated.com/freebooks/sasp/Expected_Value.html )
果然我最一开始定义的期望值只是特例, 那只是在一个更广的定义下所
推导出来的结果
但是问题来了！我证不出来, 问题如下:
(**)的左式只剩n的变数, 而且(*)又说跟n无关, 所以(**)左边只是一个常数
但(**)的右边其实是
w的变数, 代表
所有w代进去都是一样的值!?
这个猜测可能是对的, 因为文章里面有写"compute expected values by averaging
over time within
a single realization of the random process"
因此, 一切要合理的话, 下面定理要成立：
<Theorem> if {x_n(w): n€Z(整数)} is stationary
1 m
then E{x_n} = lim ──── * Σ x_k(w) ≡
constant, for all n,w
m→∞ 2m+1 k=-m
这不可能吧....
我尝试一会儿发觉左右根本两回事, stationary是讲time-invariant
既然跟time没有关系, 那对n做平均(E{x_n})根本多此一举阿...
而且定理右式怎麽可能任选w都是一样的, 这样不就是event-invariant....
请问问题点到底在哪...
谢谢帮忙！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.102.235.174 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Math/M.1580930595.A.79D.html
※ 编辑: znmkhxrw (59.102.235.174 台湾), 02/06/2020 03:23:55
1F：→ yhliu : 随机过程 {X(n), n in Z} 是 stationary, 并不表示 02/06 07:00
2F：→ yhliu : E[X(n)] 之共同值可用长期平均值 02/06 07:02
3F：→ yhliu : (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1) 02/06 07:02
4F：→ yhliu : 的极限值得到. 极端的反例是 X(n) = X(m) for any 02/06 07:04
5F：→ yhliu : n, m. 能由长期平均值(的极限)得到共同期望值的惰形 02/06 07:06
6F：→ yhliu : 是诸 X(n) 有独立成分, 用大数法则可证得你要的结果 02/06 07:07
7F：→ yhliu : 附言: 上述长期平均采奇数期, 任意中间点. 其实不一 02/06 07:10
8F：→ yhliu : 定要取奇数期平均, 而是可取任意期平均. 02/06 07:11
9F：→ recorriendo : 一个是time average, 一个是ensemble average 02/06 20:36
10F：→ recorriendo : 两者相等的情况叫做ergodic 在应用上通常都直接 02/06 20:38
11F：→ recorriendo : 假定所得的讯号来自ergodic process 02/06 20:39
12F：→ recorriendo : non-ergodic的情况 太难了 目前还是有待研究的领域 02/06 20:40
谢谢y大r大, 我也找到完整叙述了, 即i.i.d的情况下time average = ensemble average
※ 编辑: znmkhxrw (59.102.235.174 台湾), 02/06/2020 23:31:23
13F：→ recorriendo : 但ergodic不一定需要iid 最简单的像稳态马可夫链 02/07 12:23
14F：→ yhliu : i.i.d. 情况直接就是大数法则了; 此处等於考虑 02/07 15:05
15F：→ yhliu : dependent 情况的大数法则. 02/07 15:06
16F：→ znmkhxrw : 欸可是我看弱大数与强大数法则都要iid耶...而我要 02/07 17:16
17F：→ znmkhxrw : 的那个等式不就是强大数法则的statement吗? 所以有 02/07 17:17
18F：→ znmkhxrw : 更弱的条件可以推得强大数法则? 02/07 17:17
19F：→ yhliu : 对啊! 普通大数法则都假设 i.i.d.; 但现在考虑的是 02/07 19:29
20F：→ yhliu : 随机过程, X(n)之间一般是不独立的, 甚至可能不同 02/07 19:31
21F：→ yhliu : 分布. 如马可夫链就不是同分布, 只是在某些条件下 02/07 19:33
22F：→ yhliu : 趋於稳定, 长期平均等於在算稳定分配的期望值. 02/07 19:36
23F：→ znmkhxrw : y大我意思是指(**)要成立是确实是需要iid的 02/07 20:29
24F：→ znmkhxrw : 只是这个假设很强, 很多时候都不是iid, 所以(**)也 02/07 20:29
25F：→ znmkhxrw : 不一定会成立 02/07 20:29
26F：→ znmkhxrw : ? 02/07 20:29
27F：→ recorriendo : (**)是mean-ergodicity的定义 iid只是其特例 02/07 21:28
28F：→ yhliu : 首先, (**) 有错, 那个平均应改成 02/07 21:51
29F：→ yhliu : (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1) 02/07 21:52
30F：→ yhliu : 或至少原(**)那个 2m+1 改成 2N+1. 02/07 21:54
31F：→ yhliu : 其次, 我不是说类似(**)那个式子只在 i.i.d. 才成立 02/07 21:55
32F：→ yhliu : 而是说它不是对任意随机过程都成立. 前面网友也说了 02/07 21:56
33F：→ yhliu : 那是 ergodic process 的条件或定义. 02/07 21:58
34F：→ yhliu : 修正: 是 mean-ergodic process. 02/07 22:00
35F：→ znmkhxrw : 了解~那没错 感恩 然後(**)那边笔误 我改一下 02/07 22:34
※ 编辑: znmkhxrw (59.102.235.174 台湾), 02/07/2020 22:34:27