第2章 Google云计算原理与应用
Google云计算技术包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby、分布式结构化数据表Bigtable、分布式存储系统Megastore、分布式监控系统Dapper、海量数据的交互式分析工具Dremel，以及内存大数据分析系统PowerDrill等。
Google文件系统GFS
系统架构
GFS将整个系统的节点分为三类角色：Client、Master和Chunk Server。
client是GFS提供给应用程序的访问接口，它是一组专门接口，不遵循POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。
master是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责整个文件系统的管理，是GFS文件系统中的“大脑”。
chunk server负责具体的存储工作。数据以文件的形式存储在chunk server上。
GFS的特点：采用中心服务器模式、不缓存数据、在用户态下实现、只提供专用接口。
容错机制
1.Master容错
Master上保存了GFS文件系统的三种元数据。
1）命名空间（Name Space），也就是整个文件系统的目录结构
2）Chunk 与文件名的映射表
3）Chunk副本的位置信息，每一个Chunk默认有三个副本
2.Chunk Server容错
GFS采用副本的方式实现Chunk Server的容错。每一个chunk有多个存储副本（默认为三个），分部存储在不同的chunk server上。
系统管理技术
1.大规模集群安装技术；2.故障检测技术；3.节点动态加入技术；4.节能技术
网友评论