※ 引述《vpoohtw (悠闲的 Alpha)》之铭言： : ※ 引述《yungyuc (酷狗喵千代)》之铭言： : : HPC 有两种：parallel processing 和 high throughput computing : : 对 web app 来说 parallel processing 不大重要，因为没有哪个 single request : : 会跑超过几分钟吧 : : appengine 的诉求是 scalability，这基本上是 high throughput 问题： : : 如何为成千上百万个 request 提供共通的执行环境，并且容错 : : 目前 appengine 完全没有 offline 处理的能力，也就是说 : : 它专门在解决 http-based request/response : : parallel processing 不是它要解的问题 : : 至於传统 HPC 处理的 parallel processing，不但 appengine 不解决 : : mapreduce 也不处理； : : 就 gdd08tw 所听到的内容，在 mapreduce 里的每个 node 彼此间不能交换资料 : : 单这点就是个死穴了 : MapReduce 是 functional programming 思想的程式架构 : 以此为基础的程式码没有 side effect, 自然免去半途交换资料的需求 : no side effect 也是 MR 的主要优点 : 资料重组层次的"交换"则是事前演算法设计该考量的 : 所以那不是死穴～ 程序思想不同而已 : parallel processing 正是 MR 发挥的地方, 个人认为 是的，但在处理过程中节点无法交换资讯仍然是先天上的一种限制 以我接触到传统的数值模拟平行计算来说，演算法要求在计算中作资讯交换 mapreduce 可能是很好的概念，但应用在传统处理 stencil 的数值模拟时 边界上的资料交换还是要解决的，就看怎麽处理比较漂亮了 : BTW, 现在好像还找不太到实做完善的 python mapreduce 套件? : 找到都是 Hadoop for python --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 118.161.147.27