作者iduhc (菠蘿麵包)
看板Cloud
標題[問題] 有關Hadoop的上傳
時間Wed Mar 23 10:40:14 2011
因為沒實際用過Hadoop,所以請問一下
我們將一檔案上傳到一個hadoop伺服器上,他是如何儲存這個檔案？
假設我們有3個node而當我們上傳至其中一個伺服器時Hadoop會自動做切分
分散到這3個node上嗎？然後可用name Node追蹤資料位置？
Hadoop並不允許使用者指定檔案在切分段後所擺放的節點?
以上謝謝回答~~~
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.116.130.168
1F：推 gmoz:先SURVEY HDFS 03/23 18:53
2F：推 losehole:記得64MB一個trunk~存到最後一個會記錄用了多少動態存取 03/23 21:55
3F：→ gmoz:好奇原po想要做什麼XD 03/23 22:07
4F：→ gmoz:因為使用HDFS很簡單 只要上傳下載就對了 背後hadoop都幫你弄 03/23 22:07
5F：→ iduhc:想對有儲存資料的node做平行上傳和下載 03/23 22:36
6F：→ iduhc:這樣看來大概下載才能夠追蹤到資料,做平行下載 03/23 22:37
7F：→ iduhc:上傳的話就不知怎麼辦了 03/23 22:38
8F：推 gmoz:HDFS也是open source吧 翻翻看吧XDDDDDDDDDDDD 03/23 22:52
9F：→ iduhc:好像真的沒有提供類似的API 03/23 22:56
11F：→ gmoz:問問JAZZ大 03/23 22:57
12F：→ iduhc:保險起見問一下好了 03/23 23:01