作者innominate (innominate)
看板DummyHistory
标题Re: [讨论] 语文效率的伪科学
时间Sun Sep 24 18:14:11 2023
※ 引述《fw190a (las)》之铭言：
: ※ 引述《ZMittermeyer (ZM)》之铭言：
: : 1 bit的定义是：如果一个黑盒子中有A与B两种可能性，他们出现的机率相等
: : 要确定会是A还是B，我们需要的讯息量就是 1 bit
: : 所以讯息论根本上是一个在研究「消除不确定性」的系统性学问
: : 讯息量的定义就是「不确定性的消除量」
: : 而传输 1 bit 讯息，和你使用电脑、手机、旗语、骰子、手势、声波都没有关系
: : 讯息论也可以计算旗语、骰子、手势、声波这些通讯协定的讯息量是几bit
: 两个可能性确定一个是1 bit，
: 32确定一个的时候，讯息量是5 bit。
: 消除不确定是微观系统内的定义，
: 但可能性越多复杂度越高，讯息量单位越高也是事实，
: 从一开始试图把讯息量定义成一个"好的东西"，
: 就是你整个理论的执拗而已。
: 其实我看出来你的整套理论，就是因为你自认掌握着一种真理，
: 所以能在世界尺度评判哪个东西讯息量高哪个低，又哪个是杂讯，
: 所以你反覆套这个公式来强化自己的认知。
: 但对於他人来说你的逻辑根本鸡同鸭讲，
: 你这真的只是包装的传教行为。
: ，，，
: 讯息量首先是讯息多少的量度，然後才是不确定性消除的程度。
: 你用不确定性来说明讯息量大小，
: 基本上是预设了你有一个给定的可能性范围，
: 才能去套/去比较两个讯息量，如何分割那个总量。
: 但日常生活，讲话的过程是在同时给出那个可能性的边界，
: 然後再慢慢透过语法与脉络去排精确意涵。
:
不是
一堆人在这个细节搞这麽久
香农信息熵的概念是这样
1. Plamc是人
2. Plamc是男人
3. Plamc是PTT前版主以及作家
当你把plamc当作一个黑盒子
去告诉一个不知道底细的路人
1成立的机率最高
2其次，3最低
所以机率越低的信息量越大，所以叫信息熵
因为如果信息为真
代表你排除了更多的不确定性
H = -k log P
H是信息量 P是成立的机率
也可以写成
H(S) = - pi log(pi)
如果把log底取2就是1 bit 表示法
pi 就是多个陈述语句的机率
这就是ZM要说明的信息量与机率
至於後面的推论对不对是另一回事
前面这种看不懂就会变鸡同鸭讲
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.250.152.208 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DummyHistory/M.1695550456.A.19D.html
1F：推 joh: 你这样讲就更矛盾,你如何定义讯号和杂讯? 09/24 19:15
2F：→ innominate: 我矛盾什麽…我只是再科普香农的信息熵理论，你可以写 09/24 19:19
3F：→ innominate: 一篇论文推翻它，我相信你可以拿到香农奖 09/24 19:19
4F：推 moslaa: 後半完全看不懂 XD 09/24 19:24
5F：→ innominate: 後半你最简单的理解就是陈述句的总合信息量，例如plam 09/24 19:27
6F：→ innominate: c是男人又是前版主又是作家，是三个陈述句的机率相加 09/24 19:27
7F：→ innominate: 取2为底变成bit就是一个计数单位，你也可以取10为底变 09/24 19:37
8F：→ innominate: 成10进制。如果取2为底，你就可以得出这个信息量有多 09/24 19:37
9F：→ innominate: 少bit ，然後这个值在工程应用上就可以拿来作为编码系 09/24 19:37
10F：→ innominate: 统来用 09/24 19:38
11F：推 tomer: 其实讲的大致上是对。不过我相信Z 麦本人原本是不懂的，因 09/24 19:52
12F：→ tomer: 为照算常用汉字两千多个字的底就是海放英文26个字母、信息 09/24 19:52
13F：→ tomer: 量超丰富呀XD他为了补洞後来才去K 书、弄了个什麽1bit故弄 09/24 19:52
14F：→ tomer: 玄虚讲的好像他懂。其实这篇原po还懂得还多一些。 09/24 19:52
15F：推 fw190a: 熵是表达混乱/复杂度的，机率低导致讯息量高是从中推导出 09/24 20:30
16F：→ fw190a: 的概念，这要说也是讯息量的特性，而不是熵的。我知道这 09/24 20:30
17F：→ fw190a: 很绕，但我认为我的表达是有涵盖这些概念的 09/24 20:31
18F：→ innominate: 香农引进熵的概念就是要表达越混乱，机率越低，信息量 09/24 20:40
19F：→ innominate: 越大。就像「plamc是一个人」，这个机率很大，也不混 09/24 20:40
20F：→ innominate: 乱，信息量就很低。 09/24 20:41
21F：→ innominate: 所以信息量天然就跟不确定（机率）挂钩 09/24 20:43
22F：→ innominate: 你的文章说信息量首先跟信息的多少有关，这件事理解就 09/24 20:44
23F：→ innominate: 是错的 09/24 20:45
24F：→ innominate: 我可以说一大串包括明天太阳会从东方升起，你跟我都是 09/24 20:46
25F：→ innominate: 人，我们都要呼吸等等，这些东西堆再多信息量也是低的 09/24 20:46
26F：→ innominate: 如果我说「明天台股会跌」，如果我说的为真，这短短的 09/24 20:48
27F：→ innominate: 几个字带来的信息量就大了 09/24 20:48
28F：→ innominate: 或者说「明天台股会跌105点」，那这个信息量更大 09/24 20:49
29F：→ ZMittermeyer: 靠北啊这个定义是我写成白话的什麽叫我不懂 09/26 22:24
30F：→ ZMittermeyer: 你看不懂（而且刚好理解相反）不要牵拖我不懂 09/26 22:25