※ 引述《Syncanph (go lifer)》之铭言： : ◆ From: 59.124.166.94 : 推 jmren:感谢回应^^"，请问entropy的公式是根据哪个理论得来的...^^ 05/11 18:53 : → reader:资讯理论 这公式在电脑科学的地位约等於物理学的E=MC^2呢 05/11 23:23 : → reader:是连结资讯与自然世界之间的核心枢纽之一 意义相当重大 05/11 23:31 : → reader:不过现在还真难得在科学史之外 看到有人用上那麽一回 05/11 23:32 : 推 slzhao:不会很难得看到吧,Pattern Recognition相关的研究常用到. 05/12 02:08 : → slzhao:是很重要的理论,但是有那麽夸张的地位吗? 05/12 02:12 : → reader:主要是因为在其他学科上也有讯息传递的现象值得研究 05/12 02:29 : → reader:若能通过资讯理论检验就能整合电脑作研究 算是很关键一步 05/12 02:39 : → reader:所以是电脑科学中最能带给其他学科冲击的理论之一了 05/12 02:40 : → reader:这和拿电脑做研究工具是不一样的事情 而是实在的理论连结 05/12 02:46 : → slzhao:但这只是关键一步,关键的步可多了. 05/12 10:49 : → slzhao:计算理论或正规语言中探讨的可计算性,不也是重要的一步. 05/12 10:50 : → slzhao:这主要因素是因为计算机非传统科学,所以待整合的东西可多了 05/12 10:50 : → slzhao:逻辑学,集合论中很多理论跟资讯科学整合也是很重要的"一步" 05/12 10:54 : → slzhao:感觉起来,NP-complete观念的引入还比较接近E=MC^2. 05/12 10:54 : → reader:可计算性一直被认为是数学 而且跟自然科学缺乏连结 05/12 17:56 : → reader:但资讯熵的概念却是真实世界运作的一个部分 05/12 17:57 : → reader:逐步在物理、化学、生物、生态、经济、哲学、政治等学科 05/12 18:02 : → reader:建立起影响力 其他相关的如控制论也不被认为是电脑科学 05/12 18:05 : → reader:到混沌学则已经是太过後期的新科学发展 但资讯理论是1948年 05/12 18:06 : → reader:一般所谓战後新科学的组成中 电脑科学就是以资讯理论而进入 05/12 18:07 : → reader:这样的体系当中 当然这比较是偏向科学史的观点而不是实用性 05/12 18:08 : → reader:但E=MC^2也主要是作为科学认识的拓展大於实际作用 05/12 18:10 : → reader:或者说计算理论是让电脑科学脱离数学的关键 05/12 18:18 : → reader:资讯理论是让电脑科学成为科学的关键 05/12 18:18 : → reader:现在习称系统论控制论和信息论(资讯理论)为系统科学老三论 05/12 18:23 : → reader:可计算性则通常是放在数学发展史上来讲的 05/12 18:26 : → slzhao:不是很能理解熵在电脑史中的重要性.因为我一直感觉是统计学 05/12 19:17 : → slzhao:跟其他自然科学结合的关键,而计算机科学则是引用了统计学中 05/12 19:19 : → slzhao:的这个概念. 05/12 19:19 : → slzhao:有没有相关介绍这方面演进的文献资料可供参考? 05/12 19:20 : → reader:统计学被引入自然科学是在热力学时就建立起来的吧... 05/12 21:48 : → reader:透过资讯理论才建立了非能量的讯息的自然存在与传播原理 05/12 21:51 : → reader:数学原理是一回事 概念的拓展才是重点 05/12 21:56 : → reader:就像广义相对论和黎曼几何不能说是同样的东西 05/12 21:59 : → reader:概念上也是广义相对论才具有重要的影响力 否则数学只是数学 05/12 22:00 : → reader:其实上网找「信息论」就有一堆资料了 05/12 22:03 : → reader:例如这里 http://entropy.com.cn/ 05/12 22:09 : 推 slzhao:我不是指Information Theory的研究,相关论文我也有看过一些 05/12 22:21 : → slzhao:我是想请问关於reader大大前面所说的历史演进,和其重要性的 05/12 22:22 : → slzhao:相关资料. 05/12 22:24 : → slzhao:刚才针对老三论查了一下,这似乎是由人文科学的观点来看, 05/12 23:03 推文都比原文长了. 开个讨论串来讨论一下吧. 恕在下才疏学浅,对老三论并没有研究,刚才才去网路上查资料. 发觉老三论应该不是专指计算机科学,应该说是Information Science. 而计算机科学应该可以在某些方面归类到Information Science底下. 就我认知的信息论,应该是指某些事物包含的资讯量,这边的事物可以是抽象或非抽象. 也因为这些包含的资讯量,造成这些事物可以用某些物理方法来分析. (这样认知不知道有没有错,有错还请指正.) 例如:中文字的乱度比英文字高,造成中文字一个字携带的资讯量比英文字多. 这样的结果很合理,也因此可以推导出一些事物应该用怎样的表现方式. 造成统计学中可以分析出某些统计特徵互相之间的相关性. 也因此衍伸出计算机理论中的Pattern Recognition及人工智慧等等. 但是这边我们发现这跟许多计算机基本理论一样,并不一定只能用在电脑. 甚至用的最多的地方不是电脑,而是在其他方面. (我在网路上查到的老三论在很多领域中都有使用,例如:教育学,哲学...) 这边我有一个猜测,因为计算机本身不是基础科学,而是实用科学. 如同建筑学独立於物理之外将会失去理论基础. 但计算机有一个特别的特性是,虽然是应用科学,但并没有特定应用对象. 计算机发展的目的是为了处理其他科学或应用的问题, 因此当用在不同领域,就要用不同理论. 目前计算机很大量被应用在处理人文的资讯上. 因此信息论的重要性就出现了,因为信息论将人文资讯,物理,数学三者做结合. 但是我们回头想想计算机的原始用途. 计算机是根据数学理论发展出来的(顾名思义). 甚至说,本来没有计算机这个东西. 这是一个根据数学理论当做基本定义发展出来的机器. 这时候很明显reader大大所说的情况就出现了. 在下认知的重要理论全被归类为数学(因为这台机器本身就是数学的一部份). 而信息论则被视为是结合计算机和现实世界的桥梁. 但在这边,在下还是有点不同的意见. 因为在现实世界中,并非所有资讯都是需要靠信息论来解释的. 举例来说: 计算两地之间最近距离这件事是信息论的解释范围没错, 因为信息两地之间的距离是由许多信息构成,能否适当的应用这些信息是必要的. 但是这边的信息都已经是被人解读过,因此信息论是由人来判定, 而非由计算机来判定.因此信息论是用来解释人的思考而非计算机. 再换个角度想,这所有资讯不透过计算机,人也可以算出最近距离. 也因此产生出reader大大所说,近年很少看到entropy被引用在学术上. 大多数资讯都是由人来解读,而非由计算机解读. 也因此在下常常看到entropy,因为在下研究领域偏向人工智慧. 常常看到许多理论需要分析资讯量,及资讯的特性. 在下还是认为,信息论用来解释计算机太过狭隘它的范围了. 反而是计算理论比较像是为计算机和各领域结合提供了合理性. (请参考维基百科中计算理论的解释) 不过也许只是站在不同学门的观点对不同理论所做的解释. 很多理论常常被称为相当於E=MC^2,但我个人认为大多没有这样的意义. 因为E=MC^2在物理学上的意义跟在别的科学上的意义是不相同的. 怎麽比较?应该是无从比较起. 之前还听学弟说过有老师把Data Mining理论视为跟E=MC^2相同地位. 害我跟那个学弟解释了老半天Data Mining的用途. 不过似乎没用,他最後还是认定Data Mining有神级的地位, 连我们老本行的Pattern Recognition和统计学都被学弟一起否定掉. --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 59.115.196.94 ※ 编辑: slzhao 来自: 59.115.196.94 (05/13 00:18)