作者livxering (~朔~)
看板comm_and_RF
標題[問題] channel capacity in the BICO channel
時間Sat May 25 13:13:25 2013
Problem:channel capacity in the binary input continuous output
with Gaussian distribution.
看到很多本書上這段的推導過程都把input的機率直接令成p=1/2，
想說證明應該不難，想要自己證證看，但是想不到卡了兩天...
Y=X+W where X=±1 W~N(0,σ^2)
所以輸出Y是一個被平移過的Gaussian, Y~N(±1 ,σ^2).
令 P(X=1)=p, P(X=-1)=(1-p), f_{Y|X}(y|x=1)=f1, f_{Y|X}(y|x=-1)=f2
h(Y|X)=ph(Y|X=1)+(1-p)h(Y|X=-1)=h(Y|X=-1) (independent of p) ,since
h(Y|X=1)=h(Y|X=-1).
f(y)=pf1+(1-p)f2.
h(Y)=-∫(pf1+(1-p)f2)\log_2(pf1+(1-p)f2) dy, y屬於{-∞,∞}.
thus,
I(X;Y)=h(Y)-h(Y|X)
=h(Y)-h(Y|X=-1)
=-∫(pf1+(1-p)f2)\log_2(pf1+(1-p)f2) dy-h(Y|X=-1)
I(X;Y)對p做2階微分恆負,所以有最大值
I(X;Y)對p做1階微分=0,求p
dI(X;Y)/dp=-∫d((pf1+(1-p)f2)\log_2(pf1+(1-p)f2))/dp dy-d(h(Y|X=-1))/dp
=∫(f1-f2)\log_2(pf1+(1-p)f2)+(f1-f2)/ln2 dy=0
=> ∫(f1-f2)ln(pf1+(1-p)f2) dy=0
就在這邊卡住，不知道該如何繼續做下去使求得p=1/2
問題有點長，不好意思，煩請各位先進提點
感謝!!
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.114.233.106
※ 編輯: livxering 來自: 140.114.233.106 (05/25 13:14)
※ 編輯: livxering 來自: 140.114.233.106 (05/25 13:15)
1F：推 TWN2:h(Y) concave 直接秒殺 18.95.6.237 05/25 15:20
2F：→ livxering:在2階微分之後就知道是concave function140.114.233.106 05/25 17:35
3F：→ livxering:再利用f(px+(1-p)y)>=pf(x)+(1-p)f(y)140.114.233.106 05/25 17:41
4F：→ livxering:I(X;Y)>=ph(f1)+(1-p)h(f2)-h(f2)=0140.114.233.106 05/25 18:01
5F：→ livxering:要怎麼利用這樣求出p呀140.114.233.106 05/25 18:03
6F：推 TWN2:(p1,p2)=(p,1-p),(1-p,p)不就好了 18.95.6.237 05/26 02:02