Google云计算技术
主要内容
•Google的“云”在哪里？•Google云计算应用场景•Google云计算的技术框架•Google云计算的关键技术
Google的“云”在哪里？
•云计算是一个新概念
–于07年第3季度被提出，是并行计算、分布式计算和网格计算等技术的混合演进，
–经过商业包装的概念
•为分布式存储和分布式计算找到了盈利模式
–提出以来发展迅速，Google、Amazon、Microsoft等公司都提出了自己的云计算方案
•为什么Google需要“云”？
–系统规模对系统设计的重要性
–Google提供的服务：海量信息＋海量用户，如何又好
又快地提供服务？
Google的“云”在哪里？
•Google的“云”无所不在
–Google Earth、Gmail……
–Google Docs，Google Wave……
–云计算技术是Google大部分应用的基础设施–没有“云计算”，就没有Google的创新服务
Google云计算应用场景
•Google的云计算梦想
–应用向互联网迁移
–数据向互联网迁移
–计算能力向互联网迁移
–存储空间向互联网迁移
“浏览器＝操作系统”
Google Chrome
Google云计算应用场景
•Google云计算应用的分类
–总体上，云计算可以分为IaaS、PaaS和SaaS三种类型
Google云计算应用场景
•Google云计算应用的分类
–目前，Google云计算应用可以归于SaaS和PaaS两类
SaaS Google Docs Google Maps
Gmail Google Calendar Google Wave
……
PaaS
Google App Engine
——Google Docs
•Google在线文档
–创建在线的Word和Excel，支持主要的文档编辑功能
——Google Docs
•Google在线文档
–在线创建演示文档（PPT），并支持在线演示
——Google Docs
•Google在线文档
–支持实时协作（多人同时编辑）
–使用丰富的在线模板，快速构建文档
–支持移动设备访问和编辑
–与其他产品集成，如Gmail等
——Google Maps •Google提供的电子地图服务
——Google Maps
•Google提供的电子地图服务
–提供全球详尽的矢量电子地图
–不仅仅是地图
•街景
•地形
•交通流量
•卫星图片
–不仅仅是地图
•商业信息
•导航
–支持移动设备访问，对外提供服务
——Gmail
•Google提供的电子邮件服务–超大附件、海量存储空间
——Google Calendar •Google提供的日程安排工具
——Google Wave
•Google的信息分享、协作、发布平台
–一个创新和整合的平台
–整合了Gmail、即时通讯、文字处理、在线协作（游戏）等功能
——App Engine
•隶属于PaaS的Google云计算
–属于部署在云端的应用执行环境
–支持Python和Java两种语言
–通过SDK提供Google的各种服务，如图形、MAIL和数据存储等
–用户可快速、廉价（可免费使用限定的流量和存储）
地部署自己开发的应用（如创新的网站、游戏等）
Google云计算应用场景•上述应用的特点
–应用（功能实现）在云端
–存储在云端
–计算在云端
Google云计算的技术架构
•Google的云计算应用均依赖于四个基础组件–文件存储，Google File System，GFS
–并行数据处理MapReduce
–分布式锁Chubby
–结构化数据表BigTable
Google云计算应用
MapReduce BigTable
GFS Chubb
y
——GFS
•Google文件系统的假设与目标
–硬件出错是正常而非异常
•系统应当由大量廉价、易损的硬件组成
•必须保持文件系统整体的可靠性
–主要负载是流数据读写
•主要用于程序处理批量数据，而非与用户的交互或随机读写
•数据写主要是“追加写”，“插入写”非常少
–需要存储大尺寸的文件
•存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千
上万的大尺寸文件
——GFS
•GFS的架构
•如何存储大文件？
•节点分为Client、Master和Chunk Server三类
——GFS
•GFS的架构
–Master：管理节点，逻辑上唯一（物理上多个），保
存系统元数据，负责整个文件系统的管理，是GFS的“大脑”
——GFS
•GFS的架构
–Chunk Server：负责具体的存储工作
•GFS可以包含多个Chunk Server，其数目决定了GFS的存储规模
•GFS将文件分块存储，块大小默认为64M，每隔块均具有唯一索
引号（index）
