※ 引述《CWP (ccc)》之铭言： : <後文恕删> : 我想Shannon的问题不是他太早死了, : 而是这东西本来就不是他所原创的. : 这个式子老早就出现在早一个世纪的物理学家Boltzmann的墓碑上了. :p 简单地说，消息理论其实是承袭自热力学 (统计力学) 而 entropy 一字更是直接沿用自统计力学 以消息理论第一定律，直接套用上 Stirling formula 计算状态量 其实，马上就可以发现消息理论第一定律与热力学之间的直接关联 （这一点，也可以说明为何消息理论的 entropy 要定义为 -p log p 一般人刚开始学消息理论时，对於 entropy 为何如此定义很难理解其缘由） 消息理论比较重要的突破其实是在第二定律与第三定律 第二定律给出一个带杂讯的通道，它的资讯承载量的上限为何 (Shannon limit) 这一点，在通讯领域有极为广泛应用 在 1940 年代第二定律出炉後，这几十年间 通讯上所使用的 encoding/decoding algorithm，虽然有时会有突破性的进展 （例如魏立芳 -- 一位 NTUEE 的学长，他发明的 Trellis code 比传统演算法好至少 3dB 以上，这个突破性的发展 使 Trellis code 广泛应用於 14400bps up modem 此一事蹟也让他创下只发表六篇 paper 就拿到 IEEE fellow 的记录 这里头还有一段学术界抄袭论文的小插曲，不过暂时先打住） 但都离 Shannon limit 有一大段距离 (至少都差了 3dB 以上)....... 直到 1993 年，几位法国人发明了 Turbo code 这世界才有第一个真正如此接近 Shannon limit 的 encoding/decoding algorithm (只相差约 0.7dB 而已)，更好玩的是这几位法国人原本并不是搞 coding 出身的 由於 Turbo code 有专利，直到 1997 年 发明了 LDPC code，也很接近 Shannon limit 到今日为止，全世界就只有 Turbo code 与 LDPC code 能趋近於 Shannon limit 而且出炉到现在，也才十多年而已 而消息理论第二定律则是已经超过五十年的历史 第三定律则是给定在一定的失真率下，一个类比资讯最少可以使用多少位元储存 这一点，广泛应用於压缩演算法之中，尤其是影像压缩与声音压缩 其实，消息理论第二定律与第三定律，算是与原本的统计力学分道扬镳 : 和Newton或Einstein不一样的是, : 这个工作如果不是他的话,相信很快也会有别人做出来. : 因为该有的物理理论都有了,而资讯科学也在那时蓬勃发展, : 就像Einstein的狭义相对论一样,其实Lorentz teansformation早就出来了, : 他不过是站在一个承先启後的位置,看出其中的物理意义, : 就算他没做出来,也很快地会被别人做出来的. --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 220.139.221.119