作者ggg12345 (ggg)
看板Soft_Job
标题Re: [讨论] 云端计算的保卫战--Mail Service
时间Fri Jan 8 13:57:17 2010
※ 引述《ledia (下班後才下棋)》之铭言:
: ※ 引述《Aurim (Who cares?)》之铭言:
: : 对这种希望云端计算可以解决运算量的问题,我的想法是这样:
: : 同价位GPU的平行运算能力比CPU好很多已经是不争的事实,
: : 1000颗GPU平行运算能力比1000颗CPU的平行运算能力要好很多。
: : 如果再把bus/network的response time算进来,在追求最佳运算效能的前提下,
: : 个人以为用云端计算来处理这种事情,先天就已经在网路传输的反应时间输了一大截。
: 再更确切一点的问题是这样的
: 当我们需要大量运算, 作用在大量资料上时, 该怎麽处理 ?
对於大量资料, 有的资料虽量多, 但是可以彼此隔离无关, 处理
这些藕连不多的各个子集资料, 处理的算法是随各子集资料而各
个不同, 还是可以都适用同一算法.
最常被使用的就是资料量虽大, 但可以被分割成不太密切藕连的
子集, 而且使用同一种算法摆在不同处理机就能同时处理的 data
parallel .
对每个 E-Mail 做侦毒, 过滤广告, 就是上面一个典型.
像 HINET 的 mail server 编号达 ms1 - ms99 , 就是最容易被
拿来批评效率与利用率, 被估为云端计算的头号对象.
: 请问 desktop GPU supercomputing 要怎麽处理 Peta 级的资料 ?
: 把 Peta 级的资料存成某种方式让 desktop 去读 ?
GPU 的一个优点, 就是 bitmap graphic display buffer 先天就是一个
很大的 shared memory , 如果 GPU 被设计成都能对这些 buffer 直接存
取, 数量不小的 GPU 就是个能高度平行处理的共用记忆体多处理机. 不
过, 就绘图动画的角度言, 画面是可被分区分割的, 非邻近区不会急速关
连变动, 虽然不是完全独立无关, 但也是接近 data parallel. 要让很多
的 GPU 都能同样高速的共用所有 shared buffer 是没有必要的.
SMP 机器不只共用记忆体, 还会有彼此高速通知的同步通讯机制, 这是彼
此分工又协调合作不可少的. 这种机器才能支援不同演算程式散布在不同
处理机做 task parallel 的工作.
: 先不算单点频宽, 光是 I/O 需要一台电脑多少 overhead ?
: 当今天的运用还牵涉到大量的网路需求呢 ?
今天的 cluster computer 除了配置 gigabit ethernet 相互将电脑接在
一起对外, 通常还会使用 infiniband 设备彼此互接, 主要是infiniband
在同样的传输速率外, 还有 short delay message/signal 的功能, 这是
配合快速 IPC 反应的需要. 有这样的配置才能逼近SMP的task parallel.
像大海捞针这类找外星人或找特殊粒子讯号的事, 先天就像要在一堆宇宙
杂讯的信件中要找出某封外太空人寄来的信. 这些都是 data parallel
性质的事.
....
: 但是传统 PC 再怎麽 scale 都还是 PC
: 如果我们能把这种 "不需要去操心加了多少硬体" 的 scalability
: 整个规模放大, 是不是能够去解决一些原本很麻烦的问题 ?
号称云端的就是透过 internet 与自备外部高速光纤(如 google)连接,
每个货柜电脑内部也是自备高速通讯设备衔接大容量储存装置. 其组成
的主机板也都是量产又价廉的PC主机板. 但未必使用真正高速的 shared
memory 与 IPC 通讯同步机制.
这种商业服务模式就是其规模优势, 是在其本业之外, 拿多出剩余的资
源来吸引中小企业或跨国的大金融业. 也就是麻烦的建置管理或扩充的
事, 他包来做, 客户付小租金不用烦恼.
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.115.4.12
1F:推 luciferii:老师好像一直没抓到人家讨论的重点...冏 01/08 16:21
2F:→ ggg12345:哈!替您明说好了:简直是不受教化,学习有困难的化外网民. 01/08 17:26
3F:推 jerryen:cluster = cloud? 01/08 23:15