作者ledia (下班後才下棋)
看板Soft_Job
標題Re: [討論] 雲端計算的保衛戰--Mail Service
時間Thu Jan 7 14:19:42 2010
剛好今天請個假休息
這邊請有興趣的人思考幾個問題
我有一個很需要 computing power 的問題要解
理論分析告訴我要 1000 個月才算得完
所以我需要一個 framework 或 platform
我把我想要做的事情用它的描述法描述出來
那這個 platform 就可以幫我開始處理
如果我覺得機器數不夠可以買來再加進這個 platform
不需要再去更改原本的程式
理論上一千台機器就可以讓我在一個月內做完
(當然這是理論值, 如果你的 worker node 需要彼此溝通
那效率就沒辦法線性, 因為溝通會造成一些 performance impact)
1. How ?
2. 當今的 VM 能幫上什麼忙 ?
或是問題可以改成這個樣子
我有很多檔案要存, 大概 50 Peta Bytes 吧!
我希望透過一個簡單的介面能存取
某些資料還能拿去前面那個平台使用
如果有 redundancy 更好
1. How ?
2. 當今的 VM 能幫上什麼忙 ?
有些聽得到但是摸不到的東西
比如說 GFS / BigTable
有些看得到但鮮少人在玩的東西
比如說 Hadoop / HBase
有些看得到但要花錢玩的 service
比如說 ec2 / s3
雲端計算喊得很熱
但是到底是想要解決什麼問題
能不能有人很精確的回答得出來 ?
--
有時候，遺忘，是令人快樂的。什麼時候？當然是有人傷了你的心的時候。
存心傷你的那個人，固然是故意和你過不去，但是被傷了心而耿耿於懷的你
，卻是和自己過不去了。所以，記性不好的人，通常會是比較快樂的人，也
是比較不容易被擊倒的人。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.30.49
1F：推 kerickuo:推薦這一篇，這才比較是雲端運算的真正的核心思考，雖然 01/07 14:35
2F：→ kerickuo:跟 Grid 多少有點重疊。 XD 01/07 14:35
3F：→ kerickuo:基本上雲端沒討論到 scalibity 跟 resizable capacity 01/07 14:36
4F：→ kerickuo:就很難說是在討論雲端。 01/07 14:37
5F：推 kerickuo:用一開始開題的人提到的 mail service，討論怎麼建構 01/07 14:42
6F：→ kerickuo:server, 使用哪些服務，都很難說是雲端，但是提供webmail 01/07 14:43
7F：→ kerickuo:或是提供 webapi 或其他平台服務等等，這些才是在討論雲 01/07 14:43
8F：→ kerickuo:端，因為這才有討論到 "cloud" 跟 "computing" 01/07 14:45
9F：推 kerickuo:發現打錯，是 Scalability 才對。 01/07 14:47
10F：推 bobhsiao:原 PO 講的，跟 BONIC 有什麼不同嗎？ 01/07 15:06
11F：推 bobhsiao: BOINC 01/07 15:16
12F：→ kenzou:Hadoop + Hbase是不錯的solution。 01/07 16:05
13F：推 wisehuang:i think auto scale-out is the key of cloud computing 01/07 16:12
14F：推 nemo33:1.其實不用把 "V"M 想的太狹義 01/07 16:33
16F：→ nemo33:opencirrus 需要提通一定比例的 resouce 給大家使用 01/07 16:34
17F：推 jerryen:早在雲端運算這個口號出現前 ORACLE就在推GRID了 01/07 22:06
18F：→ jerryen:其實我也不懂一千台機器跟一千個月這個理論值是怎麼換算出 01/07 22:08
19F：→ jerryen:如果一千台機器的運算量可以抵過一台機器一千個月的計算量 01/07 22:09
20F：→ jerryen:CPU的發展早在Pentium時代就會朝多核心而不是朝高時脈演進 01/07 22:09
21F：→ ledia:互不相干本來就是除 1000 .... 01/07 22:13
22F：推 jerryen:互不相干的話為何會是一個很需要computing power的問題? 01/07 22:15
23F：→ ledia:比如說你要做 search 問題, search space 很大, 但是各 01/07 22:17
24F：→ ledia:branch 互不相干, 請問你不能 divide and conquer 嗎 ? 01/07 22:17
25F：推 jerryen:你都說D&C了 這種問題就丟給grid就好了 跟雲端有何關係? 01/07 22:21
26F：→ ledia:請循其本, 你問理論值怎麼來, 我說不相干的情況下是這樣算的 01/07 22:24
27F：→ ledia:我也說過了互相溝通的情況下會有 performance impact 01/07 22:24
28F：→ ledia:只是最特例的情況下最好能到理論值, 也就是 grid computing 01/07 22:25
29F：→ ledia:而雲端有一項任務, 就是讓多加一個 node 能夠越接近線性, 也 01/07 22:26
30F：→ ledia:就是 grid computing 的理論值越好, 簡單的說就是想辦法把 01/07 22:26
31F：→ ledia:commutication cost 給最佳化到夠小, 至少到可承受的地步 01/07 22:27
32F：推 jerryen:那你到底是在討論雲端計算還是格網計算? 01/08 00:18
33F：→ ledia:關卿何事? XD 01/08 00:31
34F：→ minstrelsy:一艘船要1000個月才能渡過大洋 01/08 00:41
35F：→ minstrelsy:理論上一千艘船就可以讓我在一個月內渡過海洋 01/08 00:43
36F：推 bobju:適合用雲端就用雲端, 不適合用雲端就別用. 就醬子而已. 讓有 01/08 00:49
37F：→ bobju:需求有問題要解決的人自己去決定. 01/08 00:50
38F：→ bobju:雲端就是個計算機科學跟商業應用的結合,google推這概念雖說 01/08 00:51
39F：→ bobju:創新意味不高,但應該跟它正進行及未來要進行的計畫關係甚密. 01/08 00:52
40F：→ bobju:只是google名氣已大,它提這名詞出來,各家廠商順便搭順風車也 01/08 00:54
41F：→ bobju:順便幫google抬轎,形成一股'潮流'. 01/08 00:55
42F：→ ledia:一艘船要航行 1000 次才能把貨物運完, 請 1000 條船能讓你 01/08 01:11
43F：→ ledia:一次搞定 01/08 01:11
44F：→ ledia:有這麼難嗎? 下次我去問問念國小的學生看看 ._. 01/08 01:11
45F：→ minstrelsy:你原本說的是時間 所以我拿時間來舉個例 01/08 12:44
46F：→ minstrelsy:然後又被扯到數量 有這麼難嗎? 01/08 12:44
47F：→ minstrelsy:量化的東西理論上是可以依數量變化而減少時間需求 01/08 12:45
48F：→ minstrelsy:但前提應該要是可以分割的吧 01/08 12:46
49F：→ minstrelsy:你要不要拿我提的問題去問小學生看看? 01/08 12:46
50F：→ kenzou:minstrelsy您的一千艘船渡大洋怎麼會是拿時間做例子？ 01/08 12:48
51F：→ kenzou:那叫量化。 01/08 12:48
52F：→ minstrelsy:我是指原po原本舉的例子 是以時間為單位 01/08 12:51
53F：→ minstrelsy:1台機器要花1個月 => 1艘船花1個月 01/08 12:52
54F：→ minstrelsy:1台機器花1000個月 => 1艘船花1000個月 01/08 12:52
55F：→ minstrelsy:1000台機器花1個月 => 1000艘船花1個月 01/08 12:53
56F：→ minstrelsy:只是想說 不是每個東西都可以這樣推論的 01/08 12:54
57F：→ ledia:你自己都知道機器可以, 船不行, 怎麼還拿出來講呢? XDDD 01/08 13:05
58F：→ ledia:乖~ 多想想再寫喔 01/08 13:05
59F：→ kenzou:您這充其量叫照樣造句，不是舉例。 (煙 01/08 18:42
60F：→ rofellosx:..... 01/08 21:09
61F：→ lwecloud:這邏輯... 01/08 22:04