作者laptop (空中飞熊)
站内Storage_Zone
标题大型网站淘宝网的储存架构
时间Wed Sep 8 12:19:54 2010
原文请看这
http://storage.it168.com/a2010/0829/1096/000001096373.shtml
http://www.taobao.com/ 淘宝网排位约在alexa 15名上下
2006 时 淘宝网所需空间容量 约为200TB ,平均都是20K bytes 左右图片档
大量小档案对於多机共用的 Cluster Storage Disk I/O会是不小挑战
再加上每年2~3 倍在成长... 原有的顶级Netapp 也无法兼具系统效能与成长性.
(像"有名"当初买了Sun StorageTek ...其实整体规划不是好架构)
因此Taobao 便自行研发Cluster Storage system
名为:TFS (Taobao File System)
同类型opensources 专案还有 hdfs
http://hadoop.apache.org/hdfs/
分散式储存架构 等於将DATA 用普通Server 多台分散存放
Taobao 目前约有600台一般 x86 Server .1800TB 空间
并没有额外买昂贵Storage Server做主力储存
TFS file block 在别台Server 都有多一份备份 本身不太依赖Raid做安全备份
我是有点怀疑这样占用空间会怎样..2倍?
TFS 原理请看link
不过 Sources code近期会公开..到时就可更了解其架构
参考资料
1.
http://doulexiang.com/redirect.php?tid=220&goto=lastpost&sid=P7T37S
2.
Taobao CDN 架构
http://storage.it168.com/a2010/0829/1096/000001096374.shtml
※ 编辑: laptop 来自: 219.91.90.240 (09/08 12:34)
1F:→ chang0206 :哇呜,自己开发File System,真是大工程 09/08 15:34