图文版： http://baqua45.blogspot.tw/2012/06/now-you-can-use-hbase-on-amazon-emr.html 要使用大象，真的得养头大象吗？为何不使用AWS EMR Amazon 在6/12宣布Amaozn EMR (Elastic MapReduce) 增加支援HBase的功能[1]，对於一 般开发者来说真是一大福音，因为可以减少要自己养大象的痛苦，套句现在企业经营节省 成本的一句名言：要喝牛奶，真的要养头牛吗？同样的想要使用MapReduce 一定要自己养 一群大象嘛？更让人心烦的是大象一点都不好养，因为更精确的来说大象其实是个航空母 舰战斗群，是由许多战舰组合而成： Master HDFS - NameNode Hbase - Master Hadoop - JobTracker Slave HDFS - DataNode Hbase - Region Server Hadoop - TaskTracker OA&M Zookeeper 所以必须要管理、调教许多台机器(Instance)，而且在有限的机器(资源)下，还得测试怎 样的配置是最好的，真的是得花很多心思，事先都得规划好，下图是我们在开发一个 SaaS model的Private Cloud 案子，为了让方便调度，以及资源利用最大化，我们在三台 刀锋等级机器，搭配Xen的虚拟化技术，开了许多vm (instance)，每个instance 都有着 不同的角色。 也正因位在开发案子遇到这样问题，我们在开发MeshCloud时，才会加入群组管理 (Server Template)与图像化监控的概念。对照上图，如果变成下面的显示方式，会不会 比较好理解和管理呢？ 以敏捷式开发团队来说，有一个很重要的概念就是DevOps ： 它的出现是由於软体行业日益清晰地认识到：为了按时交付软体产品和服务，开发和 运营工作必须紧密合作[2] Dev带表开发人员，Ops带表营运人员或是MIS，为了要达到敏捷式的快速迭代交付，一定 要Dev与Ops密切合作，甚至有时候你本身就必须具备这两种能力，这也垫高使用Hadoop来 开发的门槛。 现在有了Amazon EMR 也算是一种解套方案，你不用自己去管理那麽多台机器，不用去调 教Hadoop，你就只要专注在如何利用MapReduce [3]处理你的大量资料就好。 不过如果还是希望自己调教大象，或者是需要管理与监控各种不同类型的主机？ 那现在就赶快来注 MeshCloud(https://meshcloud.meshmit.com) 吧！！ (现在还在免费测试期内唷~XD) Reference: [1] Apache HBase on Amazon EMR - Real-time Access to Your Big Data [2] Wiki - DevOps [3] Amazon Elastic MapReduce Documentation --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 114.36.126.8