数据中心标准化 构建 方案

21
Oracle端到端I/O性能数据采样
22
数据中心标准化
提高存储系统的自主管理能力
• 存储系统拓扑结构发现和健康状况管理 • 应用到磁盘的端到端的管理 • 存储容量管理、使用分析和优化 • 存储容量分布和趋势分析 • 优化存储资源和存储系统运维 • 闲置存储回收，提升存储利用率
数据中心标准化
23
27
提高存储和数据管理效率
－－动态存储分级
• 现有系统问题
– 缺乏对新、旧，高、低端存储的管理手 段
– 缺乏让不同存储价值最大化的手段 – 没有有效的存储整合技术
• 优化方案
– 采用动态存储分级管理 – 对混合存储环境（不同访问协议如FC、
iSCSI之间，不同档次如SSD 、 FC、 SATA，不同性能如高端、低端之间）进 行存储服务质量管理 – 提供不同级别SLA的存储服务 – 基于存储设备属性和数据属性进行划分 – 动态地迁移数据
– 物理设备和逻辑层面上的统一 – 掌控逻辑资源利用率 – 掌控数据类型和存储位置
18
理解现有的存储环境： 3. 端到端可视性管理可视化的存储管理和服务
• 需求
– 从应用到磁盘的视图管理 – 实体间的依赖性 – 数据间的关联性
数据中心标准化
• 好处
– 掌握物理与逻辑视图间的关系 – 识别闲置存储
19
数据中心标准化
7
存储管理和优化的最佳实践
数据中心标准化
8
IT基础架构平台化
应用系统整合 （解耦化）
Iຫໍສະໝຸດ Baidu基础架构规范化
统一应用管理 统一存储管理 统一数据保护
表示 业务 数据 主机 存储 网络
数据中心标准化
表示 业务 数据 主机 存储 网络
表示 业务 数据 主机 存储 网络
表示 业务 数据 主机 存储 网络
MirrorDisk -UX
TrueCopy MirrorView
DoubleTake RepliStor
PPRC
ShadowImage
SRDF
SNDR
Data Replication Manager
MPxIO MPIO HDLM PowerPath SecurePath
用到的软件
50123401234567890+
高端磁盘 FC 73GB HDDs Plenty of NVRAM 15,000 RPM RAID 1+0
Volume B
低端磁盘 SATA 250GB HDDs Some NVRAM 7,200 RPM RAID 5
28
不同存储间的文件迁移和管理
－－动态存储分级
• 新文件根据属性自动去它该去的地方
数据中心标准化
VERITAS Storage Foundation
VxFS File System
/
Volume A
-rw-r--r--
-rw-r--r--rw-r--r--
drwxr-xr-x drwxr-xr-x
drwxr-xr-x
-rw-r--r--rw-r--r--rw-r--r--rw-r--r--rw-r--r--rw-r--r--rw-r--r--rw-r--r--rwxr-xr-x -rwxr-xrwx
• 2003年成为IBM IGS容灾解决方案全球合作伙伴
• 2005年，IBM在P系列OEM Symantec HA管理软件(LINUX)
数据中心标准化
12
数据中心存储管理和优化
4 提供高可用存储环境 3 优化 系统运行维护 2 提升 存储资源使用效率 1 掌控 存储资源状况
数据中心标准化
13 13
– 根据业务需要合理配置硬件资源 – 优化业务系统对于存储空间的使用
数据中心标准化
AIX
HPUX Linux
Sol
VERTIAS Storage Foundation
EMC
3Par
HDS
HP
NetApp
Sun
IBM
25
在线、统一管理存储资源
• 将不同厂家，新旧或档次不同的存储整合到一起 • 统一管理存储资源 • 集中分配存储空间 • 分级管理和使用存储设备 • 在线、动态数据迁移
Application
• 提供存储资源
– 创建卷 – 增加，缩小卷的空间 – 挂接到不同主机
OS
物理磁盘/ LUNs 将多个物理磁盘对象整合成一个虚拟对象
数据中心标准化
• 日常维护与管理
– 为卷增加或移出磁盘 – 数据的复制、拷贝和迁移 – 镜像/分割
• 物理层管理
– LUN映射 – 冗余链路管理 – I/O负载均衡
业务支撑系统存储管理和优化
数据中心标准化
14
业务支撑系统存储管理和优化 －掌控资源
1 掌控 存储资源状况
数据中心标准化
15 15
复杂的环境需要端到端的管理能力
阵列 A
阵列
B
SAN
主机 1
主机 2
Application Application
应用 1
应用 2
100TB
10TB 阵列 A / B?
表示 业务 数据 主机 存储 网络
9
存储管理和优化的最佳实践
空间回收整合
IO分布
数据保护
符合业务需求的快速资源部署和服务提供
存储服务 内容
存储服 务内容
存储服务 内容
存储服 务内容
存储服 务内容
统一的存储管理和服务
硬件物理资源提供基本存储单元 $/GB
空间扩展
迁移
拷贝
快照
复制
存储分级
数据中心标准化
数据中心标准化
System Engineer
数据中心标准化
1
交流内容
1 当前数据中心的复杂性 2 数据中心存储管理和优化 3 总结：数据中心存储管理创新
数据中心标准化
2
当前数据中心的复杂性
数据中心标准化
3
管理层对业务支撑系统的要求 控制增长 提高效率 优化性能 拓展业务
数据中心标准化
4
经典存储管理的不足 －主机和存储系统的互相绑定
1 jsmith
1 jsmith 1 jsmith
4 jsmith 4 jsmith
3 jsmith
1 jsmith 1 jsmith 1 jsmith 1 jsmith 1 jsmith 1 jsmith 1 jsmith 1 jsmith 3 jsmith 2 jsmith
staff
staff staff
从应用到磁盘的端到端映射的存储管理
Oracle TableSpace
File 1 File 2
File 3
Vol A
Vol B
EMC D0 D1 D2 D3 Array X
D4 D5 D6 D7
EMC D0 D1 D2 D3 D4 Array Y
D5 D6 D7 D8 D9
• Oracle表空间分布在哪些磁盘 上？
90TB
80TB
10TB 阵列A / B?
阵列A / B? 10TB 主机1 / 2?
70TB
应用 1 / 2? 20TB 主机 1 / 2?
90TB
80TB
70TB
50TB
50TB 应用 1 / 2?
30TB 主机 1 / 2?
20TB
物理
端到端的 可视化管理
数据中心标准化
逻辑 LUN
占用
分配
使用
staff staff
staff
staff staff staff staff staff staff staff staff staff staff
910
3308 1841
512 512
512
1499 1663 2046 2071 426 685 1006 1842 550 781
Jul 4 17:09 save_vxprint
– 目前全系列OEM Symantec文件系统，JFS=VERITAS File System
• 2000年 Microsoft在Windows平台开始使用Symantec卷管理软件
(Microsoft Logical Disk Manager)
– 目前在Windows企业平台的占有率为100%
• 2001年与Oracle合作开发出ODM API
Jul 4 15:15 config.log Jul 4 12:01 user_rank
Mar 24 11:37MD5-1.7 Mar 24 11:37MIME-Base64-2.12
Mar 24 11:37patches_and_modules
Jan 17 14:13 test_script Jan 17 14:13 prtdiag Jan 17 14:13 nohup.out Jan 17 14:13 extract_config.ksh Jan 17 14:13 wrapper_script Jan 17 14:13 file_cleaner_1 Jan 17 14:13 note_fcn Jan 17 14:13 ckpt_timer Jan 10 19:49 pearl_dir Jan 7 15:50 testftp
10
存储管理和优化的核心技术 －VERTIAS Storage Foundation
数据中心标准化
11
Symantec存储管理软件的历史
• 1989年接受SUN公司的委托开发了第一个版本的卷管理(logical volume
manager)
– 业内第一款真正意义上的企业级卷管理软件
• 2000年 HP在HP-UX 11.0开始OEM Symantec卷管理软件
计费数据库
营帐数据库
经分分析 数据库
客服数据库
数据中心标准化
26
减少数据冗余，提高应用性能 （CFS）
采集/2
CVM
详单/2
出帐/2
Cluster File System
CVM
CVM
计费/2
CVM
数据中心标准化
SAN
• 多个应用共享存储和数据 • 避免FTP和NAS带来的效率问题 • 均衡应用负载 • 性能随主机数量线性增长 • 系统高可用，没有单点故障
• 哪些文件在哪些盘上？ • 哪些磁盘做备份卷？ • 哪些卷是热点？ • 哪些卷很少使用？
数据中心标准化
20
Oracle存储的端到端拓扑视图
File Volume Plex
1 1
1 STD Vol 1
数据中心标准化
BC Vol 1
Paths
Raw Disks
LUNs
STD Vol 2
2
2 2
BC Vol 2
ip
ip
ip
ip
fc
fc
fc
fc
fc
fc
fc
fc
fc
fc
fc
fc
fc
SWITCH
SWITCH
后台存储资源
数据中心标准化
6
影响IT系统优化的两个根本因素：
2. 系统支撑软件环境的复杂性
ServiceGuard PolyServe Sun Cluster MSCS TrueCluster GeoSpan ClusterFrame HACMP
• 要求
– 阵列发现 – SAN架构发现 – 配置管理
数据中心标准化
• 好处
– 掌控物理容量 – 掌控物理资源利用率 – 资产状况报告
17
理解现有的存储环境： 2. 以业务系统和应用为轴心的分析
• 要求
– 卷和文件系统可视化管理 – 应用的可视化管理 – 文件级的分析 – 配置管理
数据中心标准化
• 好处
5
影响IT系统优化的二个根本因素：
1. 规模和变化带来的管理复杂性
UUsSeErRAA PpPpL lICicAaT ItOioN Sns
应用系统
VxFS VxVM DMP OS DRIVERS
1 文件系统/数据库 2 逻辑卷管理 3 存储链路管理 4 磁盘驱动管理
Kernel
HBA
HBA
5 存储拓扑管理
• 根据设定的条件，文件自动迁移到指定的存储中
/sales
/current
/forecast
/one_fs
/financial
/2010
/2009
/development
/new_app
/history
Tier3
(RAID5)
数据中心标准化
Tier1 (Mirrored x 3)
Tier2 (Mirrored x 2)
SVC LVM ASM DLM LDM SVM EVM SDS
JFS2 ReiserFS GPFS UFS SAM FS QFS Ext3 ZFS SAN-FS JFS OCFS QFS
SAN Copy SnapShot SnapView Snap InstantImage FlashCopy
ShadowCopy TimeFinder
数据中心存储管理和优化 －提升效率
2 提升 存储资源使用效率 1 掌控 存储资源状况
数据中心标准化
24 24
建立互联互通的存储环境
• 建立开放的存储管理平台，最大限 度屏蔽硬件技术差异
• 摆脱硬件限制，提升系统扩展能力 和客户自主选择能力
• 提高主机到存储的访问性能和可靠 性
• 使存储资源得到充分利用 • 降低硬件设备投资
VE阵R列ITAS Storage Foundation…解决主这机些问题.
不 无知 法道 掌存 握有 用储 主多率的 机少？/分存应配储用情？对况存存储储在的哪使里用？情如况何提高存储利知不道知主道机阵的列存的储分利配用情率况
ILM策略
数据分类 数据存储策略 + 数据迁移 分级存储架构
16
掌控现有的存储环境： 1. 汇总及分析软硬件和网络环境