作者znmkhxrw (QQ)
看板Math
標題[分析][機統] 隨機過程與期望值
時間Thu Feb 6 03:23:11 2020
給一個離散實訊號x_n (就是x:Z(整數)→R(實數))
在訊號處理的paper裡很常看到 E{x_n}
1 m
一直以來我都把他
定義成 E{x_n}:= lim ──── * Σ x_k
m→∞ 2m+1 k=-m
但是今天看到隨機過程後, 其實對E{x_n}已有定義, 貌似上述等式只是特例而已
詳細問題如下:
======================================================================
令 (Ω, Ｆ, P) 為機率空間
{x_n(w): n€Z(整數)} 為隨機過程
即對於每個n, x_n: Ω→R 是一個隨機變數
對於每個w, x_.(w): Z →R 是一個realization
接著因為期望值是定義在隨機變數, 所以對於每個n我們有 E{x_n}:= ∫ x_n(w)dP(w)
Ω
從這邊就可以先觀察到
最一開始說的實訊號x_n只是固定某個event w所取出的x_n(w)
接著wiki說stationary random process是指隨機變數的distribution是time-invariant
(
https://en.wikipedia.org/wiki/Stochastic_process#Stochastic_process )
因此如果 {x_n(w): n€Z(整數)} is stationary
則
E{x_n} = E{x_m} for any n,m€Z (*)
接著問題來了, 下面這個連結說如果隨機過程是stationary的, 那麼對w做期望值(平均)
1 m
就等於對n做期望值(平均), 也呼應他寫的 E{x_n}= lim ──── * Σ x_k ---(**)
m→∞ 2m+1 k=-m
(
https://www.dsprelated.com/freebooks/sasp/Expected_Value.html )
果然我最一開始定義的期望值只是特例, 那只是在一個更廣的定義下所
推導出來的結果
但是問題來了！我證不出來, 問題如下:
(**)的左式只剩n的變數, 而且(*)又說跟n無關, 所以(**)左邊只是一個常數
但(**)的右邊其實是
w的變數, 代表
所有w代進去都是一樣的值!?
這個猜測可能是對的, 因為文章裡面有寫"compute expected values by averaging
over time within
a single realization of the random process"
因此, 一切要合理的話, 下面定理要成立：
<Theorem> if {x_n(w): n€Z(整數)} is stationary
1 m
then E{x_n} = lim ──── * Σ x_k(w) ≡
constant, for all n,w
m→∞ 2m+1 k=-m
這不可能吧....
我嘗試一會兒發覺左右根本兩回事, stationary是講time-invariant
既然跟time沒有關係, 那對n做平均(E{x_n})根本多此一舉阿...
而且定理右式怎麼可能任選w都是一樣的, 這樣不就是event-invariant....
請問問題點到底在哪...
謝謝幫忙！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.102.235.174 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Math/M.1580930595.A.79D.html
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 03:23:55
1F：→ yhliu : 隨機過程 {X(n), n in Z} 是 stationary, 並不表示 02/06 07:00
2F：→ yhliu : E[X(n)] 之共同值可用長期平均值 02/06 07:02
3F：→ yhliu : (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1) 02/06 07:02
4F：→ yhliu : 的極限值得到. 極端的反例是 X(n) = X(m) for any 02/06 07:04
5F：→ yhliu : n, m. 能由長期平均值(的極限)得到共同期望值的惰形 02/06 07:06
6F：→ yhliu : 是諸 X(n) 有獨立成分, 用大數法則可證得你要的結果 02/06 07:07
7F：→ yhliu : 附言: 上述長期平均採奇數期, 任意中間點. 其實不一 02/06 07:10
8F：→ yhliu : 定要取奇數期平均, 而是可取任意期平均. 02/06 07:11
9F：→ recorriendo : 一個是time average, 一個是ensemble average 02/06 20:36
10F：→ recorriendo : 兩者相等的情況叫做ergodic 在應用上通常都直接 02/06 20:38
11F：→ recorriendo : 假定所得的訊號來自ergodic process 02/06 20:39
12F：→ recorriendo : non-ergodic的情況 太難了 目前還是有待研究的領域 02/06 20:40
謝謝y大r大, 我也找到完整敘述了, 即i.i.d的情況下time average = ensemble average
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 23:31:23
13F：→ recorriendo : 但ergodic不一定需要iid 最簡單的像穩態馬可夫鍊 02/07 12:23
14F：→ yhliu : i.i.d. 情況直接就是大數法則了; 此處等於考慮 02/07 15:05
15F：→ yhliu : dependent 情況的大數法則. 02/07 15:06
16F：→ znmkhxrw : 欸可是我看弱大數與強大數法則都要iid耶...而我要 02/07 17:16
17F：→ znmkhxrw : 的那個等式不就是強大數法則的statement嗎? 所以有 02/07 17:17
18F：→ znmkhxrw : 更弱的條件可以推得強大數法則? 02/07 17:17
19F：→ yhliu : 對啊! 普通大數法則都假設 i.i.d.; 但現在考慮的是 02/07 19:29
20F：→ yhliu : 隨機過程, X(n)之間一般是不獨立的, 甚至可能不同 02/07 19:31
21F：→ yhliu : 分布. 如馬可夫鏈就不是同分布, 只是在某些條件下 02/07 19:33
22F：→ yhliu : 趨於穩定, 長期平均等於在算穩定分配的期望值. 02/07 19:36
23F：→ znmkhxrw : y大我意思是指(**)要成立是確實是需要iid的 02/07 20:29
24F：→ znmkhxrw : 只是這個假設很強, 很多時候都不是iid, 所以(**)也 02/07 20:29
25F：→ znmkhxrw : 不一定會成立 02/07 20:29
26F：→ znmkhxrw : ? 02/07 20:29
27F：→ recorriendo : (**)是mean-ergodicity的定義 iid只是其特例 02/07 21:28
28F：→ yhliu : 首先, (**) 有錯, 那個平均應改成 02/07 21:51
29F：→ yhliu : (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1) 02/07 21:52
30F：→ yhliu : 或至少原(**)那個 2m+1 改成 2N+1. 02/07 21:54
31F：→ yhliu : 其次, 我不是說類似(**)那個式子只在 i.i.d. 才成立 02/07 21:55
32F：→ yhliu : 而是說它不是對任意隨機過程都成立. 前面網友也說了 02/07 21:56
33F：→ yhliu : 那是 ergodic process 的條件或定義. 02/07 21:58
34F：→ yhliu : 修正: 是 mean-ergodic process. 02/07 22:00
35F：→ znmkhxrw : 了解~那沒錯 感恩 然後(**)那邊筆誤 我改一下 02/07 22:34
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/07/2020 22:34:27