图文版：http://baqua45.blogspot.tw/2012/06/hadoop-xen-performanc-issue.html 这几天我在Facebook - Taiwan Hadoop User Group 抛砖引玉贴了 "要使用大象，真的得 养头大象吗？为何不使用AWS EMR"的文章，意外引起热烈的讨论，把许多潜水的高手和同 好都吸了出来~XD (你自己不是也都在潜水)，因为大家都有遇到虚拟化效能的问题。 一般来说，要养Hadoop (或是大型分散式系统)，如果不是用实体机器来养 (除非你像 google一样有钱，不然一定养不多，也养不起)，不然通常就是用虚拟化的技术来玩。 如果只是玩玩和测试安装与练习写写程式，那可能还没什麽大碍，但是一到要玩到真实案 例，甚至要上Production 就会遇到许多效能瓶颈的问题需要去解决。像在 Taiwan Hadoop User Group 的讨论串里， James 大大就有提到：如果同样都是 100TB 的 terasort 好了, 如果把一个实体的hadoop cluster搬到AWS，要多多少个 node 才能有 相同的效能 ? 老实说，目前我们也还没有玩到这麽大的资料量，所以还真的没对於这麽大量的资料做过 benckmark，希望将来我们系统长到那麽大，有机会分享这些数据给大家知道~XD 回到效能问题，第一步可能要先引自Jazz大的名言：学控制的人都会知道『先能量测，才 有办法控制』，Jazz大建议安装 Ganglia 跟 Munin来观察，我们是装OpenNms，总之要先 确认Performace是出在哪里： Host Dom0? CPU ? Memory ? Disk I/O ? Network I/O ? 第二步，就是要确认你的虚拟化环境与设备： 你Server 的等级 你目前是使用哪一版的Xen?( 3.x、4.x) 你是使用PV 还是HVM? 你是使用怎样的deivce当domU's disk?( file: ? tap:aio:? phy:?) 因为公司内部和专案开发都是使用Xen，所以之前倒是有为了效能问题去找了一堆资料， 整理如下： VM 尽量不要使用 SWAP (不过这还有争议) RAID10 array is recommended 使用PV (半虚拟化)效能较好，或使用Xen PVHVM drivers for Linux HVM guests 尽量直接使用 block device (without file system). 如果还是要用File System 请参考这篇 Filesystem performance on Xen 不过好像也没啥特别的，大家应该都知道了，如果有其他作法，欢迎大家留言讨论~:P --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 60.250.108.16