作者innominate (innominate)
看板DummyHistory
標題Re: [討論] 語文效率的偽科學
時間Sun Sep 24 18:14:11 2023
※ 引述《fw190a (las)》之銘言：
: ※ 引述《ZMittermeyer (ZM)》之銘言：
: : 1 bit的定義是：如果一個黑盒子中有A與B兩種可能性，他們出現的機率相等
: : 要確定會是A還是B，我們需要的訊息量就是 1 bit
: : 所以訊息論根本上是一個在研究「消除不確定性」的系統性學問
: : 訊息量的定義就是「不確定性的消除量」
: : 而傳輸 1 bit 訊息，和你使用電腦、手機、旗語、骰子、手勢、聲波都沒有關係
: : 訊息論也可以計算旗語、骰子、手勢、聲波這些通訊協定的訊息量是幾bit
: 兩個可能性確定一個是1 bit，
: 32確定一個的時候，訊息量是5 bit。
: 消除不確定是微觀系統內的定義，
: 但可能性越多複雜度越高，訊息量單位越高也是事實，
: 從一開始試圖把訊息量定義成一個"好的東西"，
: 就是你整個理論的執拗而已。
: 其實我看出來你的整套理論，就是因為你自認掌握著一種真理，
: 所以能在世界尺度評判哪個東西訊息量高哪個低，又哪個是雜訊，
: 所以你反覆套這個公式來強化自己的認知。
: 但對於他人來說你的邏輯根本雞同鴨講，
: 你這真的只是包裝的傳教行為。
: ，，，
: 訊息量首先是訊息多少的量度，然後才是不確定性消除的程度。
: 你用不確定性來說明訊息量大小，
: 基本上是預設了你有一個給定的可能性範圍，
: 才能去套/去比較兩個訊息量，如何分割那個總量。
: 但日常生活，講話的過程是在同時給出那個可能性的邊界，
: 然後再慢慢透過語法與脈絡去排精確意涵。
:
不是
一堆人在這個細節搞這麼久
香農信息熵的概念是這樣
1. Plamc是人
2. Plamc是男人
3. Plamc是PTT前版主以及作家
當你把plamc當作一個黑盒子
去告訴一個不知道底細的路人
1成立的機率最高
2其次，3最低
所以機率越低的信息量越大，所以叫信息熵
因為如果信息為真
代表你排除了更多的不確定性
H = -k log P
H是信息量 P是成立的機率
也可以寫成
H(S) = - pi log(pi)
如果把log底取2就是1 bit 表示法
pi 就是多個陳述語句的機率
這就是ZM要說明的信息量與機率
至於後面的推論對不對是另一回事
前面這種看不懂就會變雞同鴨講
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.152.208 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DummyHistory/M.1695550456.A.19D.html
1F：推 joh: 你這樣講就更矛盾,你如何定義訊號和雜訊? 09/24 19:15
2F：→ innominate: 我矛盾什麼…我只是再科普香農的信息熵理論，你可以寫 09/24 19:19
3F：→ innominate: 一篇論文推翻它，我相信你可以拿到香農獎 09/24 19:19
4F：推 moslaa: 後半完全看不懂 XD 09/24 19:24
5F：→ innominate: 後半你最簡單的理解就是陳述句的總合信息量，例如plam 09/24 19:27
6F：→ innominate: c是男人又是前版主又是作家，是三個陳述句的機率相加 09/24 19:27
7F：→ innominate: 取2為底變成bit就是一個計數單位，你也可以取10為底變 09/24 19:37
8F：→ innominate: 成10進制。如果取2為底，你就可以得出這個信息量有多 09/24 19:37
9F：→ innominate: 少bit ，然後這個值在工程應用上就可以拿來作為編碼系 09/24 19:37
10F：→ innominate: 統來用 09/24 19:38
11F：推 tomer: 其實講的大致上是對。不過我相信Z 麥本人原本是不懂的，因 09/24 19:52
12F：→ tomer: 為照算常用漢字兩千多個字的底就是海放英文26個字母、信息 09/24 19:52
13F：→ tomer: 量超豐富呀XD他為了補洞後來才去K 書、弄了個什麼1bit故弄 09/24 19:52
14F：→ tomer: 玄虛講的好像他懂。其實這篇原po還懂得還多一些。 09/24 19:52
15F：推 fw190a: 熵是表達混亂/複雜度的，機率低導致訊息量高是從中推導出 09/24 20:30
16F：→ fw190a: 的概念，這要說也是訊息量的特性，而不是熵的。我知道這 09/24 20:30
17F：→ fw190a: 很繞，但我認為我的表達是有涵蓋這些概念的 09/24 20:31
18F：→ innominate: 香農引進熵的概念就是要表達越混亂，機率越低，信息量 09/24 20:40
19F：→ innominate: 越大。就像「plamc是一個人」，這個機率很大，也不混 09/24 20:40
20F：→ innominate: 亂，信息量就很低。 09/24 20:41
21F：→ innominate: 所以信息量天然就跟不確定（機率）掛鉤 09/24 20:43
22F：→ innominate: 你的文章說信息量首先跟信息的多少有關，這件事理解就 09/24 20:44
23F：→ innominate: 是錯的 09/24 20:45
24F：→ innominate: 我可以說一大串包括明天太陽會從東方升起，你跟我都是 09/24 20:46
25F：→ innominate: 人，我們都要呼吸等等，這些東西堆再多信息量也是低的 09/24 20:46
26F：→ innominate: 如果我說「明天台股會跌」，如果我說的為真，這短短的 09/24 20:48
27F：→ innominate: 幾個字帶來的信息量就大了 09/24 20:48
28F：→ innominate: 或者說「明天台股會跌105點」，那這個信息量更大 09/24 20:49
29F：→ ZMittermeyer: 靠北啊這個定義是我寫成白話的什麼叫我不懂 09/26 22:24
30F：→ ZMittermeyer: 你看不懂（而且剛好理解相反）不要牽拖我不懂 09/26 22:25