※ 引述《innominate (innominate)》之铭言： : https://machinelearningmastery.com/what-is-information-entropy/ : A Gentle Introduction to Information Entropy ㄟ，危机的例子是这样说 就是一个完全公平的硬币，丢之前会是哪面一半一半，完全不可能预测 所以丢硬币产生出来一个结果以後，这个事件产生的讯息量是完整的 中间的比较难理解的譬如说80%正面这种情况先不管，直接跳到最极端 是如果一个出千硬币，就是根本两面都是正面，丢之前就知道一定正面 所以丢硬币产生出来一个结果，讯息量是 0 这边根本没有所谓讲谎话这种事 丢硬币出千的人之前就知道使用出千硬币所以丢硬币的结果对他来说讯息量是 0 至於他要去骗别人这部分根本不是这个公式要管的事情 丢硬币的结果是直接观察的，当然没有所谓谎言 如果你要讨论到谎言问题，那应该是要讨论香农另一个公式，信噪比的那个吧 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.248.137.237 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DummyHistory/M.1695729530.A.8E8.html