※ 引述《haryewkun (Har)》之銘言： : ※ 引述《reader (讀者)》之銘言： : : 如果 Yahoo 的估計量是正確的, 20G 的網頁，光是檢查有沒有更新，大約就要 : : 花上 10TB 左右的流量，更新的總資料量則和時間有關。 : : 若要一周檢查一次，更新率為 1%, 平均網頁大小為 50KB, 則總共的資料量為 : : (20G * 0.01 * 50KB + 10TB) / 50MB = 400K sec, 一周有 600K sec 以上。 : : 所以理論上，只要一台好機器就可能在一周內爬完全球網頁。只是若要收斂到 : : 這個地步，需要較長的時間。我就不去計算了。 : 有兩個小小的問題。 : 如果要在一個星期內，檢查兩百億個網頁有沒有更新，這台機器，同一個時間 : 內，要處理多少個 TCP/IP connection？ 20G / (86400 * 7) 約等於 33000. 所以每秒鐘似乎得處理三、四萬個連線。 不過實際上的數字會遠小於此數，因為一個連線就可以檢查該機器所有的 網頁，而大部分的網頁都存在少數網站上，通常還是高效能網站。所以， 只要好好運用 Keep-Alive, 連線數量並不是問題。 當然慢速網站的拖累會是一個麻煩，那就是工程上的取捨和技巧了。 : 第二個問題就是，只用一台電腦，能夠處理及儲存 20billion條資料，而且平 : 均每條資料都有 50K 的長度嗎？（總資料量是 20G*50K = 1000 TB) : 我的意思是，就算你用硬碟陣列，一台硬碟 500GB，你也需要差不多兩千台的 : 硬碟吧？ 這種資料處理基本上不需要回頭讀取，所以可以使用其他機器或外接設備來 儲存資料，例如磁帶櫃。 例如目前銷量很好的 Sun StorageTek SL8500, 一台就可以儲存 10EB 的資料。 要儲存全球網頁根本不是問題。 所以，一個全球服務的大型網站系統需要很多機器，高速反應更是考驗工程 設計品質，但是一個搜尋全球網頁的系統，反而不需要很多機器。 註: 1EB = 1000 PB, 1PB = 1000 TB --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.222.173.30