Amazon 提供的作为Amazon Web服务(AWS)一部分就是弹性MapReduce(EMR)
如何使用弹性MapReduce
- AWS 账号
- Amazon S3数据桶
确保其所有的Amazon EC2实例、键对、安全组和EMR工作流都在同一个区域以避免跨区域的数据传输消耗。
管理自有EMR hive 集群
- 控制台
- 命令行交互
- EMR API
EMR Hive 上的Thrift Server
- 0.5X 10000
- 0.7.x 10001
- v0.7.1 10002
EMR上的实例组
- 管理者实例组
master: namenode、jobtracker、hive、mysql(存储hive元数据信息) - 核心实例组
slave:datanode、tasktracker - 任务实例组
执行tasktracker
网友评论