※ [本文转录自 Stock 看板] 作者: stasis (流雨风雪) 看板: Stock 标题: 好文两篇 时间: Tue Mar 6 18:17:57 2007 别把随机当必然 http://mmdays.wordpress.com/2007/02/25/randomness/ Posted by Mr. Saturday 瀑布中的一滴水滴，你知道它最终会流过河川、汇入大海，但是此时此刻，你却难以精确 地预测这个水滴下一秒钟会是在河流或是瀑布中的什麽位置。这个观察告诉了我们，我们 可以看得见长期的趋势，但是微观的下一秒钟，我们却怎麽样也难以窥见其变化，因为需 要考虑的因素太多：水的流量、地形的细微变化、气候、温度等等都让我们对於一个水滴 走向的预测无法精准。当因素太多太多，以至於我们无法掌握时，水滴在某一个瞬间的走 向对我们来说就是随机的。我们只知道：不管这个水滴现在怎麽走，最终它会进入大海。 这就是Mr. Saturday这边想要浅谈的随机现象。随机现象在我们生活中处处可见，而且深 深影响我们的生活，很多不同科学领域的尖端研究，现在都是在对付随机现象。研究物理 的人研究到量子的层次，会发现这个稳固的世界居然是由一些随机乱跑的粒子所堆砌而成 。研究电脑科学的人，会发现随机方法竟然可以用来设计出简洁易懂的演算法，研究数学 的人，会发现机率模型竟然可以相当程度上帮助我们做出生活中的决策。那麽随机现象对 於我们现实生活中的启示又什麽呢？以下Mr. Saturday先举出一个电脑科学界的例子来阐 述。 机器学习(Machine Learning)这一个有关人工智慧的学门是电脑科学界最近相当热门的一 个研究领域，主要研究的方向和重点是结合演算法和统计资料，撷取出这些资料之内所隐 含的一些资讯，然後用这些撷取出来的资讯让电脑去对一些事情做预测，以此模拟出类似 学习的行为。Machine Learning在近年来取得了巨大的成功，让曾经一度委靡不振的人工 智慧研究又开创了许多新的契机。市面上的各种搜寻引擎就有应用相当多机器学习的技巧 在里面，让这些搜寻引擎好像真的有智慧，去猜测你要搜寻甚麽东西，然後回传精准的搜 寻结果给你。在这个研究领域中，有一个很重要的现象是每个刚刚学习机器学习的人都会 接触到的：这个现象叫做Overfitting。要讲解这个现象之前，我们先举一个最简单的例 子来介绍机器学习。 如果你要教电脑去找出一个公式，用来计算出身高与体重的关系，那麽你的第一件事情就 是收集很多人身高与体重的资料(data)，然後跑一个线性回归分析 (Linear Regression) ，在身高与体重的平面上找出一条直线去match这些data，这条直线电脑就拿来当作是计 算身高体重的公式：你给了电脑身高，电脑就算出体重给你，反之亦然。这是机器学习最 简单的一个例子。电脑所做的事情不过就是从资料看出身高与体重之间的大略关系。之所 以说是大略关系，是因为我们让电脑假设身高与体重的关系完全是线性的，所以我们找了 一条直线去当作身高和体重的model：身高越高，体重就越高。但是大家都知道身高和体 重不可能刚好是线性的关系，有些人很高但是体重却很轻，有些人很矮但是体重却很重。 所以当我们用一条直线来解释这些资料的时候，实际上我们会有一些误差存在。但是我们 知道，以统计上来讲，这个趋势是对的，身高越高的人通常体重会比较重，所以当我们知 道了某个人的身高，然後用这条直线去预测那个人的体重时，大部分的时候我们预测出来 的结果不会差太远。 现在有人觉得直线不是一种预测身高体重很好的model，所以想要用比较复杂的曲线来fit 这些data，结果他找出了一条完美的曲线来解释这些 data，这条曲线毫无误差，可以在 平面上完全穿过所有资料点。但是这个曲线会出现一个大问题：这条曲线完全没有办法拿 来预测一个人的体重：你有一个人的身高，然後拿这条曲线去预测这个人的体重，你会发 现大部分的时候算出的体重都是相当离谱。而且这条曲线看起来会弯弯曲曲，完全没有办 法看出身高与体重大致上是呈现线性的关系。这种现象就称为Overfitting，从字面上的 意思来看就是：我们对於资料做了过多的解释。Overfitting这个现象，在统计学习理论 上已经可以用数学来量化，在这边我们就略过不谈。Overfitting给我们最大的启示就是 ，不要对你的资料和你看到的现象做过多的解释。 研究哲学的人都知道Occam’s Razor这个原则：当你对一个现象有许多种解释时，记得选 择最简单的那一个。这个指导原则在机器学习领域是相当重要的一个概念，很多统计学家 和经济学家会建构相当复杂的模型来诠释他们的资料，试着去预测以後很多事物的走向。 举例来说 LTCM想要做的就是这种事情，两个诺贝尔奖得主搞出了一套模型，可以保证长 期下来，他们的投资绝对稳赚不赔，这群经济学家以为自己掌握了世界每一秒的趋势，世 界的金钱已经操弄在他们的经济模型之中，结果最後他们突然倒掉了。为什麽？原因很简 单：因为他们没有料到苏联会忽然解体。就这麽一个他们没有料到的因素(其实当时谁又 料得到呢？)，就让他们的模型整个崩溃了。同样地，搞出越复杂的模型，你就会发现常 常这个模型对於解释新的现象时是不管用的。 反应在我们的生活之中，炒股票的人和那些老师，整天都在跟你讲明天股票是会涨还是会 跌，他们在做的事情，就是在跟你讲瀑布中的水滴下一秒钟会流到什麽地方。你觉得他们 猜得准吗？你还会相信他们吗？一群自称是趋势专家的人在电视上讲得口沫横飞，说出千 万个理由分析给你听，要你去买什麽什麽股票。在我看来，他们只是用极有限的知识在跟 随机现象对抗。像预测趋势这种连那些科学家和统计学家都还做不好的事情，你觉得这些 老师做得好吗？一家公司的股价图对於人类现在有限的认知而言，完全就是随机的，你不 可能准确预测下一秒钟准确的走向。股市甚至於连长期的趋势都难以预测，还记得我们的 水滴例子吗？如果你连长期的趋势都看不清楚，想要微观地分析更是难上加难。即使这个 世界上没有真正随机的事情，一切都是命中注定的，以人类现在有限的知识和电脑的运算 能力来说，也还是无法完全掌握的。 同样的，在股票市场上你会常常看到一些靠股市成为百万或是千万富翁的人出书大谈自己 的投资经，说明自己如何致富，讲得真是天花乱坠。我现在举一个简单的运算给大家看： 假设以你现在的资本，在股市连续赌一支股票十次涨跌，十次都成功，你就可以成为百万 富翁，这样的机率是多少？既然你每次都是闭上眼睛瞎猜，所以每次的成功率都是一半， 连续十次成功就大约是千分之一。看起来连续十次成功真的很难，不过换个角度想，如果 台湾有两百万人同时做这样的事情呢？你会发现平均来说，会有两千人在这十次赌博之中 成为百万富翁，如果这两千人之中有一些人跑来出书或是上节目大谈自己的投资经验呢？ 没错，他们就变成老师了。随机现象让这些人成为百万富翁，然後这些人以及周遭的人开 始用过度解释和吹捧的方式来大谈他们赚钱的成功，最後的结果就是：大家都被随机现象 给唬了。连这些老师自己都相信自己真有一套本领能在股市呼风唤雨。就像是现在发达的 无名小站一样，被过度解释成台湾资讯界传奇，甚至连交大的校刊都特地写了一篇矫情的 专文来吹捧无名小站。而我对於无名小站今天的发展只有一个的解释：运气。 曾经有一些学者找来一群猩猩做实验，这些学者把华尔街日报的股票版钉在墙上，让这些 猩猩对那些股票名称射飞镖，当作是猩猩建议他们买的股票。结果蒙着眼睛的猩猩，朝报 纸股票版掷飞镖所射中的股票，并不比投资专家们的选股逊色。看到这个实验结果，你作 何感想呢？ 讲了以上这麽多例子，并不是要告诉大家这个世界是随机的，所以我们做出再多努力也是 枉然。人类真正可贵的地方，就在於对这些不确定性所做出的努力，能够让人类的智识更 推进一步，让我们更加了解这个世界。谈随机现象只是要提醒大家，很多我们想尽办法解 释的现象，其实往往都是随机的结果，这是这个世界运作的机率，确确实实存在，支撑着 量子力学，也支撑着我们的现实生活。我们应该做的，是去看整体的趋势，而不是对於一 个短期的现象，钻牛角尖地想尽办法去解剖它。解剖的结果就会让你像量子物理学家一样 ，困惑地发现井然有序的世界，竟然是由一些到处乱跑的粒子组成。长期的趋势是可以透 过努力研究在一定程度上达到预测的效果，短期趋势是谁也说不准。 随机现象本身是一个相当深奥的议题，谈到最後往往都会沦为「上帝究竟丢不丢骰子？」 的哲学议题，人类也许永远都无法了解这个世界是不是一切都命中注定，抑或是人总是可 以随时透过外在力量改变一些事物的随机世界。无论是怎麽样，努力之後得来的果实永远 都是甜美的。只是要记住，别被一些人解释随机现象的嘴炮所唬了，好像这些随机现象真 的像他们讲的那样完全可以预测。 别把随机当必然。 == http://antbsd.twbbs.org/~ant/wordpress/?p=596 「别把随机当必然」读後感 「别把随机当必然 - Don’t Be Fooled By Randomness」这篇好文，已经沉寂在我的待 看文章列表中好久了，今天在忙碌之余抽空阅读，深有所感，特撰此读後感。 今天我想浅谈的是「混沌/复杂科学」与这篇文章的联想，而 Mr.Saturday 谈的「随机现 象」，其实是其中的一环。有些科学家认为，在二十世纪中能称上科学革命的理论的有三 个：相对论、量子理论以及混沌理论。而复杂科学则与混沌理论相辅相成。可见「混沌/ 复杂科学」之重要性。 「混沌/复杂科学」早期大量研究的就是「金融市场」领域。研究所阶段，我有幸浅尝其 中的奥妙之处。在这领域中，运用了大量的统计方法与人工智慧，除了需要了解金融运作 机制外，还需要分析心理层面的微妙连结。就我有限的认知中，这领域大致上分成「预测 派」与「解释派」。 「预测派」的主要目标，就是要预测未来的变化。例如，石油涨价或利率变动时，我该卖 出股票，还是买入？「预测派」着重的是获利。而「解释派」的主要目标，是某项变动会 造成什麽程度的结果。例如，融资融券比例，或股票价格涨跌幅限制(Price limit)变动 时，对股市的震荡冲击多大？「解释派」着重的是影响。 依我读过的国内外文献，几乎探讨的都是「预测派」，特别是国内。很多台湾研究生的论 文，是设计出一个模型，有很多影响因子，可以包含基本面分析(如资产负债表、损益表 等)、技术面分析(短线、长线等)或其它变数(如石油油价、银行利率等)。把这些影响因 子放进模型中分析，输出的结果类仅「这张股票建议卖出XX张」、「这支基金会涨YY元」 等。 「预测派」会流行不是没有道理的，因为获利才是最多人关心的话题，很多银行也玩这套 ，如花旗等。我其中一个朋友就是在银行里做类似的分析。 我研究的是另一派，「解释派」。「解释派」是政府的主要研究对象。政府希望的是稳定 金融市场并平稳成长，获利是其中一项，但不是最重要的，最重要的反而是影响因子的解 释。例如，股票的融资融券议题，就有几项争议，第一是「该不该有融资融券的机制？」 。 一般人会认为融资融券是投机客的手法，会造成股市的巨幅震荡，如此投机客才可以在其 中赚取巨额差价，但是 一些学术研究结果告诉我们，其实这种行为能够稳定股市、减少 震荡幅度；换句话说，这个市场中，平均而言赚的平稳或赔得不多。我要解释一下，赚太 多「可能」是不好的，因为背後的原因，也许只是短期抄作的现象，会有反转急下的可能 ，这种结果并不是政府所乐见的，背後的解释才是重点。 第二是「融资融券的门槛为何？」，到底设定多少的门槛才是好的？第三是「融资融券的 门槛何时该调整？」。我就不再围绕这些生硬的话题，回到主题讨论。 「别把随机当必然。」是 Mr. Saturday 的结论。对此，我想要稍微延伸一下。之前我谈 到「预测派」会拿很多影响因子放入模型之中。其中也包含一些我最前面有提到的心理层 面。 大家都同意，影响金融市场最直接的因素是全体交易者(不论大小)，买得人多就涨，少则 跌。在金融预测里，有一种预测理论是「太阳黑子」，根据太阳黑子数量的变化来预测涨 跌。相信很多读者认为，这是怪力乱神的手法，不能拿来当作预测市场的依据，但是若市 场中有足够的人(够影响市场结果的人数)相信的话，那麽「预测派」的模型就应该将「太 阳黑子」纳入，结果才会准确。 如果同意我上述的说法。那麽 Mr.Saturday 所述「股市名嘴」的例子，就同理可证了。 若金融市场中，相信名嘴的人够多，那麽模型就应该将之纳入。於是，我下了这个结论。 请把随机当偶然 这就回归到「混沌/复杂科学」的哲学观，用正向的态度面对一切随机的现象。毕竟，「 混沌/复杂科学」告诉我们， 随机的问题就用随机的方法来解 -- 波段单王道：多头做多、空头做空、盘整少做、赚钱加码、赔钱停损 小弟在永丰金证券，来开户就不定期提供个人观察潜力股名单 以及操作建议，股票期权手续费都有优惠唷，意者请mail ^^ http://blog.pixnet.net/stasis --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 218.167.78.1 -- "We have to understand the possible and positive relation between technology, culture and politics. They are not enemies. Tech is more than work and money. Culture is more than just some temples or paintings. Politics is not owned by the politicians or the media manipulation channels." ---Geert Lovink --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 59.117.73.142