※ 引述《ykjiang (Yukuan)》之铭言： : 其实我会断定张复误解 Hawkins 的 model 还有一个重要的原 : 因： : 你可以看看 page 16 最後一段，张复认为 Hawkins 主要贡献 : 所在。 : 然後再看看 page 217 中， Hawkins 对自己 model 的论述。 : 如果你仔细比较，就可以发现，他们讲的根本不是同一件事情... : 就这方面，我是很注重细节的... : 没错，大脑新皮质，大致说来，可以分成六层。这从染色的切面显 : 微照片就可以看出来了。 : 但是 Hawkins 强调的「阶层」，不是指皮质内（纵切）的这六层， : 而是不同「皮质区」间形成的阶层。 : 就这一点，以视觉为例，可以参考 page 150 图一及相关的说明。 (事先声明，以下纯为个人臆测。) 其实，我目前看起来没有冲突，只是张复老师没特别提到 feedback/feedforward 特性。 一般来说，跟 markov chain 相关的 machine learning models 也有类似性质， 但不是以神经生理学作为基础，而是以机率统计推论的。 从 Dileep George 目前已发表的论文看来，HTM 架构在软体实作上目前采用了 Bayesian Belief Propagation (BBP) 的观点， 并稍微提到了 Hierarchical Hidden Markov Model 与 Markov Random Field， 光是这些的话，其实跟张老师提到的相去不远； 但，同样地，这些现有的 machine learning models 并未特别强调 feedback， 因为在计算复杂度上成本相当高。 而 Dileep George 已实作的系统里，实际上也省略了 feedback， 这使得该模型也可诠释为 near-optimal BBP。 类比一下当今风行的各种 near-optimal XXX 演算法，其实多半是由自然界现象中寻找 通则并模仿之的 heuristic algorithms，例如 GA。我们可以说，GA 为了 prune 过多 的 connections，采用适者生存的方式来过滤。 问题来了，在这种诠释底下，我们面临的第一个麻烦是，如何将问题 model/encode 成能够以某 model 处理的格式？ Dileep George 用了最传统的 image classification 来模拟，於是只要拿像素的 时空关系当输入即可；然而，以 On Intelligence 里提到的语音辨识问题来说好了， 缺少 feedback 的 HTM 模拟系统，会变得像是用了 A* (而非 Viterbi) 的 HMM， 於是就很难评估并突显 HTM 的价值了。事实上，Dileep George 目前的实验规模也太小， 有某种 over-fitting 的疑虑。另一方面，他的实验在 robustness 上看来倒是不错， 对於杂讯甚多的输入，可以在不用设计精巧例外规则或使用大量 features 的情况下， 自动地看出图形里的 invariant pattern。相对地，热门的 machine learning models 如 SVM、Maximum Entropy、Conditional Random Field 等就相当依赖 domain knowledge 以进行 feature selection，说起来还是研究生演算法。 总之，我还在反覆地读 http://www.stanford.edu/~dil/invariance/ 上面的东西， 试图弄清楚 HTM 作为「记忆」而非「计算」能够带来的希望究竟是什麽。 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 59.105.131.104