作者ledia (下班後才下棋)
看板Soft_Job
标题Re: [讨论] 云端计算的保卫战--Mail Service
时间Thu Jan 7 14:19:42 2010
刚好今天请个假休息
这边请有兴趣的人思考几个问题
我有一个很需要 computing power 的问题要解
理论分析告诉我要 1000 个月才算得完
所以我需要一个 framework 或 platform
我把我想要做的事情用它的描述法描述出来
那这个 platform 就可以帮我开始处理
如果我觉得机器数不够可以买来再加进这个 platform
不需要再去更改原本的程式
理论上一千台机器就可以让我在一个月内做完
(当然这是理论值, 如果你的 worker node 需要彼此沟通
那效率就没办法线性, 因为沟通会造成一些 performance impact)
1. How ?
2. 当今的 VM 能帮上什麽忙 ?
或是问题可以改成这个样子
我有很多档案要存, 大概 50 Peta Bytes 吧!
我希望透过一个简单的介面能存取
某些资料还能拿去前面那个平台使用
如果有 redundancy 更好
1. How ?
2. 当今的 VM 能帮上什麽忙 ?
有些听得到但是摸不到的东西
比如说 GFS / BigTable
有些看得到但鲜少人在玩的东西
比如说 Hadoop / HBase
有些看得到但要花钱玩的 service
比如说 ec2 / s3
云端计算喊得很热
但是到底是想要解决什麽问题
能不能有人很精确的回答得出来 ?
--
有时候，遗忘，是令人快乐的。什麽时候？当然是有人伤了你的心的时候。
存心伤你的那个人，固然是故意和你过不去，但是被伤了心而耿耿於怀的你
，却是和自己过不去了。所以，记性不好的人，通常会是比较快乐的人，也
是比较不容易被击倒的人。
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.112.30.49
1F：推 kerickuo:推荐这一篇，这才比较是云端运算的真正的核心思考，虽然 01/07 14:35
2F：→ kerickuo:跟 Grid 多少有点重叠。 XD 01/07 14:35
3F：→ kerickuo:基本上云端没讨论到 scalibity 跟 resizable capacity 01/07 14:36
4F：→ kerickuo:就很难说是在讨论云端。 01/07 14:37
5F：推 kerickuo:用一开始开题的人提到的 mail service，讨论怎麽建构 01/07 14:42
6F：→ kerickuo:server, 使用哪些服务，都很难说是云端，但是提供webmail 01/07 14:43
7F：→ kerickuo:或是提供 webapi 或其他平台服务等等，这些才是在讨论云 01/07 14:43
8F：→ kerickuo:端，因为这才有讨论到 "cloud" 跟 "computing" 01/07 14:45
9F：推 kerickuo:发现打错，是 Scalability 才对。 01/07 14:47
10F：推 bobhsiao:原 PO 讲的，跟 BONIC 有什麽不同吗？ 01/07 15:06
11F：推 bobhsiao: BOINC 01/07 15:16
12F：→ kenzou:Hadoop + Hbase是不错的solution。 01/07 16:05
13F：推 wisehuang:i think auto scale-out is the key of cloud computing 01/07 16:12
14F：推 nemo33:1.其实不用把 "V"M 想的太狭义 01/07 16:33
16F：→ nemo33:opencirrus 需要提通一定比例的 resouce 给大家使用 01/07 16:34
17F：推 jerryen:早在云端运算这个口号出现前 ORACLE就在推GRID了 01/07 22:06
18F：→ jerryen:其实我也不懂一千台机器跟一千个月这个理论值是怎麽换算出 01/07 22:08
19F：→ jerryen:如果一千台机器的运算量可以抵过一台机器一千个月的计算量 01/07 22:09
20F：→ jerryen:CPU的发展早在Pentium时代就会朝多核心而不是朝高时脉演进 01/07 22:09
21F：→ ledia:互不相干本来就是除 1000 .... 01/07 22:13
22F：推 jerryen:互不相干的话为何会是一个很需要computing power的问题? 01/07 22:15
23F：→ ledia:比如说你要做 search 问题, search space 很大, 但是各 01/07 22:17
24F：→ ledia:branch 互不相干, 请问你不能 divide and conquer 吗 ? 01/07 22:17
25F：推 jerryen:你都说D&C了 这种问题就丢给grid就好了 跟云端有何关系? 01/07 22:21
26F：→ ledia:请循其本, 你问理论值怎麽来, 我说不相干的情况下是这样算的 01/07 22:24
27F：→ ledia:我也说过了互相沟通的情况下会有 performance impact 01/07 22:24
28F：→ ledia:只是最特例的情况下最好能到理论值, 也就是 grid computing 01/07 22:25
29F：→ ledia:而云端有一项任务, 就是让多加一个 node 能够越接近线性, 也 01/07 22:26
30F：→ ledia:就是 grid computing 的理论值越好, 简单的说就是想办法把 01/07 22:26
31F：→ ledia:commutication cost 给最佳化到够小, 至少到可承受的地步 01/07 22:27
32F：推 jerryen:那你到底是在讨论云端计算还是格网计算? 01/08 00:18
33F：→ ledia:关卿何事? XD 01/08 00:31
34F：→ minstrelsy:一艘船要1000个月才能渡过大洋 01/08 00:41
35F：→ minstrelsy:理论上一千艘船就可以让我在一个月内渡过海洋 01/08 00:43
36F：推 bobju:适合用云端就用云端, 不适合用云端就别用. 就酱子而已. 让有 01/08 00:49
37F：→ bobju:需求有问题要解决的人自己去决定. 01/08 00:50
38F：→ bobju:云端就是个计算机科学跟商业应用的结合,google推这概念虽说 01/08 00:51
39F：→ bobju:创新意味不高,但应该跟它正进行及未来要进行的计画关系甚密. 01/08 00:52
40F：→ bobju:只是google名气已大,它提这名词出来,各家厂商顺便搭顺风车也 01/08 00:54
41F：→ bobju:顺便帮google抬轿,形成一股'潮流'. 01/08 00:55
42F：→ ledia:一艘船要航行 1000 次才能把货物运完, 请 1000 条船能让你 01/08 01:11
43F：→ ledia:一次搞定 01/08 01:11
44F：→ ledia:有这麽难吗? 下次我去问问念国小的学生看看 ._. 01/08 01:11
45F：→ minstrelsy:你原本说的是时间 所以我拿时间来举个例 01/08 12:44
46F：→ minstrelsy:然後又被扯到数量 有这麽难吗? 01/08 12:44
47F：→ minstrelsy:量化的东西理论上是可以依数量变化而减少时间需求 01/08 12:45
48F：→ minstrelsy:但前提应该要是可以分割的吧 01/08 12:46
49F：→ minstrelsy:你要不要拿我提的问题去问小学生看看? 01/08 12:46
50F：→ kenzou:minstrelsy您的一千艘船渡大洋怎麽会是拿时间做例子？ 01/08 12:48
51F：→ kenzou:那叫量化。 01/08 12:48
52F：→ minstrelsy:我是指原po原本举的例子 是以时间为单位 01/08 12:51
53F：→ minstrelsy:1台机器要花1个月 => 1艘船花1个月 01/08 12:52
54F：→ minstrelsy:1台机器花1000个月 => 1艘船花1000个月 01/08 12:52
55F：→ minstrelsy:1000台机器花1个月 => 1000艘船花1个月 01/08 12:53
56F：→ minstrelsy:只是想说 不是每个东西都可以这样推论的 01/08 12:54
57F：→ ledia:你自己都知道机器可以, 船不行, 怎麽还拿出来讲呢? XDDD 01/08 13:05
58F：→ ledia:乖~ 多想想再写喔 01/08 13:05
59F：→ kenzou:您这充其量叫照样造句，不是举例。 (烟 01/08 18:42
60F：→ rofellosx:..... 01/08 21:09
61F：→ lwecloud:这逻辑... 01/08 22:04