※ 引述《Syncanph (go lifer)》之铭言： : 推 jmren:感谢回应^^"，请问entropy的公式是根据哪个理论得来的...^^ 05/11 18:53 : → reader:资讯理论 这公式在电脑科学的地位约等於物理学的E=MC^2呢 05/11 23:23 : → reader:是连结资讯与自然世界之间的核心枢纽之一 意义相当重大 05/11 23:31 : → reader:不过现在还真难得在科学史之外 看到有人用上那麽一回 05/11 23:32 : 推 slzhao:不会很难得看到吧,Pattern Recognition相关的研究常用到. 05/12 02:08 : → slzhao:是很重要的理论,但是有那麽夸张的地位吗? 05/12 02:12 : → reader:主要是因为在其他学科上也有讯息传递的现象值得研究 05/12 02:29 : → reader:若能通过资讯理论检验就能整合电脑作研究 算是很关键一步 05/12 02:39 : → reader:所以是电脑科学中最能带给其他学科冲击的理论之一了 05/12 02:40 : → reader:这和拿电脑做研究工具是不一样的事情 而是实在的理论连结 05/12 02:46 : → slzhao:但这只是关键一步,关键的步可多了. 05/12 10:49 : → slzhao:计算理论或正规语言中探讨的可计算性,不也是重要的一步. 05/12 10:50 : → slzhao:这主要因素是因为计算机非传统科学,所以待整合的东西可多了 05/12 10:50 : → slzhao:逻辑学,集合论中很多理论跟资讯科学整合也是很重要的"一步" 05/12 10:54 : → slzhao:感觉起来,NP-complete观念的引入还比较接近E=MC^2. 05/12 10:54 : → reader:可计算性一直被认为是数学 而且跟自然科学缺乏连结 05/12 17:56 : → reader:但资讯熵的概念却是真实世界运作的一个部分 05/12 17:57 : → reader:逐步在物理、化学、生物、生态、经济、哲学、政治等学科 05/12 18:02 : → reader:建立起影响力 其他相关的如控制论也不被认为是电脑科学 05/12 18:05 : → reader:到混沌学则已经是太过後期的新科学发展 但资讯理论是1948年 05/12 18:06 : → reader:一般所谓战後新科学的组成中 电脑科学就是以资讯理论而进入 05/12 18:07 : → reader:这样的体系当中 当然这比较是偏向科学史的观点而不是实用性 05/12 18:08 : → reader:但E=MC^2也主要是作为科学认识的拓展大於实际作用 05/12 18:10 : → reader:或者说计算理论是让电脑科学脱离数学的关键 05/12 18:18 : → reader:资讯理论是让电脑科学成为科学的关键 05/12 18:18 : → reader:现在习称系统论控制论和信息论(资讯理论)为系统科学老三论 05/12 18:23 : → reader:可计算性则通常是放在数学发展史上来讲的 05/12 18:26 : → slzhao:不是很能理解熵在电脑史中的重要性.因为我一直感觉是统计学 05/12 19:17 : → slzhao:跟其他自然科学结合的关键,而计算机科学则是引用了统计学中 05/12 19:19 : → slzhao:的这个概念. 05/12 19:19 : → slzhao:有没有相关介绍这方面演进的文献资料可供参考? 05/12 19:20 : → reader:统计学被引入自然科学是在热力学时就建立起来的吧... 05/12 21:48 : → reader:透过资讯理论才建立了非能量的讯息的自然存在与传播原理 05/12 21:51 : → reader:数学原理是一回事 概念的拓展才是重点 05/12 21:56 : → reader:就像广义相对论和黎曼几何不能说是同样的东西 05/12 21:59 : → reader:概念上也是广义相对论才具有重要的影响力 否则数学只是数学 05/12 22:00 : → reader:其实上网找「信息论」就有一堆资料了 05/12 22:03 : → reader:例如这里 http://entropy.com.cn/ 05/12 22:09 : 推 slzhao:我不是指Information Theory的研究,相关论文我也有看过一些 05/12 22:21 : → slzhao:我是想请问关於reader大大前面所说的历史演进,和其重要性的 05/12 22:22 : → slzhao:相关资料. 05/12 22:24 : → slzhao:刚才针对老三论查了一下,这似乎是由人文科学的观点来看, 05/12 23:03 老三论并不是人文科学的东西，只是经常被人文科学借用。 我手上没有一份完整的资料来讲述资讯理论的重要性，因为这种东西很难有 权威性的评价。不过我还是尽量试着说说。 Shannon 经常被认为是「资讯时代之父」。很多时候 Shannon 是和爱因斯坦 相提并论的时代人物，分别代表着二十世纪前半和後半的科学文明成就，而 奠定其地位的，就是资讯理论。 我想二十世纪前半最具代表性的公式是 E=MC^2 应该没有太大异议，而若要 找出一个公式，来代表二十世纪後半最重要的科学成就 - 电脑，那麽资讯熵 公式 H = -Σp(i)*log2(p(i)) 很可能是最有资格的。 因为透过资讯熵的公式，我们才可以衡量事物的资讯量，於是建立了资讯的 基本单位 bit. bit 就是 Shannon 经由此研究所提出来的，零与壹作为资讯 时代的象徵，应该是没有太大问题的事，这正是因为资讯的基本单位 bit 的 两个值，而它又来自於资讯熵的研究。 在此之前，所有关於电脑科学的研究，其实都只是应用数学，因为它并不和 自然现象有所关联，就科学的定义来说，这样并不是严格意义的科学。资讯 理论才是第一个让电脑科学成为科学的研究。我们可以在许多的自然现象中 发现并应用资讯理论，让自然世界的组成，从物质和能量的二元架构，加上 第三个成份：资讯。 E=MC^2 是物质和能量的转换公式，而资讯熵公式又是自然现象和资讯之间的 转换公式，两者之间更有着另一层次的相似性与基础性。 至於此一理论如何衍生扩延到其他学科，又如何发展成新科学的重要组成， 则是太复杂的事情，就不多提了。 而对於电脑科学来说，它的基本使命，大约可以归纳为三个问题： 1. 资讯是什麽 2. 资讯如何被处理 3. 资讯如何被应用 资讯理论初步地回答了第一个问题，也主导了第三个问题，无论是资讯的 输出入、通讯或储存，都跟资讯理论息息相关。 所以人们才可以安心研究第二个问题，成为电脑科学的主要研究焦点。由此 也可以粗糙地大概描述资讯理论的重要性吧。 以下是一个介绍 Shannon 的影集： Claude Shannon - Father of the Information Age http://video.google.com/videoplay?docid=-2567011062576169322&pl=true 这是一篇颇常见的一般性简介： 香农：信息论及数字通信之父 http://processor.tfcis.org:8080/brdmore/Socrates&69 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 218.174.131.13