学位论文原创性声明
本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。
作者签名：
年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本学位论文属于1、保密囗，在年解密后适用本授权书
2、不保密囗。
（请在以上相应方框内打“√”）
作者签名：年月日
导师签名：年月日
本科生毕业设计（论文）任务书
学生姓名：专业班级：通信0906班
指导教师：许建霞工作单位：信息工程学院
设计(论文)题目:云环境下存储技术的研究
设计（论文）主要内容：
云计算主要是利用现有的各种资源，使用虚拟化等多种技术，构建由大量计算机组成的称之为“云”的资源池，它具有强大的资源控制和监督管理能力，能够根据用户的不同需求来动态切割和分配计算资源，用户不需要去了解云的具体构成，只需要定制需求就可以获得云计算交付的服务。云存储伴随云计算而产生，与传统的专用存储相比，云存储增加了资源利用率，其独特的按使用付费和弹性扩展的方式提供计算资源具有显著的优势，它将成为未来最值得期待推广和应用的技术之一。论文的主要内容包括了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；对比多家云存储厂商的架构技术和标准接口，了解其架构的特点，最后用CloudSim软件对云计算系统进行仿真。
要求完成的主要任务:
1. 查阅不少于15篇相关资料，其中英文文献不少于2篇。
2. 完成开题报告。
3. 了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；
4. 对比多家云存储厂商的架构技术和标准接口，了解其架构的特点。
5. 用CloudSim软件对云计算系统进行仿真。
6. 完成不少于20000字的论文的撰写并完成答辩的相关工作。
7. 在设计中完成不少于3张1~2#图纸的描绘。8. 完成毕业设计周志。
9. 完成不低于5000汉字（20000英文印刷符）的教师指定的相关文献的英译汉翻译。必读参考资料：
[1]晏强, 张晓锋, 丁蕊.云存储技术研究[J]. 上计算机与信息技术.2012. 第5期: 22-24.
[2] 成静静. 基于Hadoop的分布式云计算/云存储方案的研究与设计[J]. 数据通信, 2012, 第5期: 14-18.
[3] PENG Yong, ZHAO Wei, Secure cloud storage based on cryptographic techniques [J]. ScienceDirect 89(2009)174–180 October 2012, 19(Suppl. 2): 182–189.
[4] Josef Spillner, Johannes Müller, Alexander Schill.Creating optimal cloud storage systems.Future Generation Computer Systems 29 (2013) 1062–1072.
指导教师签名系主任签名
院长签名(章)
武汉理工大学
本科生毕业设计（论文）开题报告
1、目的及意义（含国内外的研究现状分析）
云存储是一个以数据存储和管理为核心的云计算系统，可以认为是以数据处理、数据运算为中心的系统，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统。云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。
云存储不是存储，而是服务。就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。
相比于传统的存储，云存储更容易扩容(包括带宽)，云存储采取的架构是并行扩容，容量不够了，只要采购新的存储服务器即可，容量立即增加，几乎是没有限制的。更易于管理，因为将大部分数据迁移到云存储上去后，所有的升级维护任务都是由云存储服务提供商来完成，云存储服务则可以很方便的在原有基础上扩展服务空间，满足需求。成本更低廉，就目前来说，企业在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴增而不断增加。
IDC研究表明，从2006年到2010年，全球信息总量将增长6倍以上，从161EB 增加到988EB(1EB=1024PB)。一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA（Serial Advanced Technology Attachment，串行高级技术附件，一种基于行业标准的串行硬件驱动器接口）硬盘。目前已知存储密度最高的磁盘阵列可以在4U空间（1U=4.45 cm）内提供高达42TB的存储容量，这在以前是根本无法想象的。最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB(压缩比为2∶1)。技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压缩等技术的引入，可以进一步提升存储空间的利用率。从性能方面看，FC磁盘阵列已经逐步过渡到4GB时代，而8GB FC又在向数据中心用户招手；万兆IP存储不再是纸上谈兵；在InfiniBand领域，已经有厂商推出了40GB InfiniBand适配器产品。
2、基本内容和技术方案
与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。
云存储系统的结构模型由4层组成，如图1所示：
图1
（1）存储层
存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
（2）基础管理层
是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。 CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储，使用和占用更少的空间，占用更低的传输带宽，从而对外提供更高效的服务。数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
（3）应用接口层
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如数据远程容
灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。
（4）访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同。
3 进度安排
第1-3周：查阅相关文献资料，明确研究内容，了解研究相关方向
第4周：开题报告的编写
第5-8周：完成各种实验方案资料的整理
第9-11周：完成原理和各种方案，并进行比较分析
第12周：研究云存储在数据存储的一些应用并进行仿真
第13-14周：毕业论文书写
第15-17周：完善毕业毕业设计论文，并答辩
4 指导教师意见
指导教师签名：
年月日
目录
摘要.................................................................................................................................................. I Abstract .......................................................................................................................................... II 1绪论. (1)
1.1云存储的兴起 (1)
1.2云存储的发展 (2)
2云存储的概念 (3)
2.1云存储的定义 (3)
2.2云存储与传统存储 (3)
2.3云存储与云计算 (4)
2.4云存储架构模型 (4)
3云存储的关键技术 (6)
3.1存储虚拟化技术 (6)
3.2分布式存储技术 (7)
3.3 数据备份技术 (8)
3.3.1传统的备份策略 (8)
3.3.2 副本数据布局 (8)
3.3.3 连续数据保护 (8)
3.4 数据缩减技术 (9)
3.4.1 自动精简配置 (9)
3.4.2 自动存储分层 (9)
3.4.3 重复数据删除 (10)
3.4.4 数据压缩 (10)
3.5存储安全技术 (11)
3.6 容错技术 (12)
4云存储的架构技术 (13)
4.1GFS系统架构 (13)
4.2GPFS架构 (15)
4.3HDFS架构 (16)
4.4Dynamo架构 (17)
5云计算仿真CloudSim (20)
5.1CloudSim环境配置 (20)
5.2程序流程图 (21)
5.3程序编写步骤 (22)
5.4仿真结果 (29)
6 总结及展望 (30)
6.1 本文工作总结 (30)
6.2研究工作展望 (30)
参考文献 (31)
致谢 (33)
摘要
云计算是当前研究与应用的热点问题。至今为止，Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。云存储作为云计算的底层服务，对上层服务提供重要的支持；同时，云存储可以有效的存储和管理海量数据，所以更是成为专家学者们关注的焦点。因此，云存储的研究不但紧跟发展的趋势，同时还具有较高的应用价值。
云存储是一种架构复杂的分布式文件系统，一是其建立在云计算系统的基础设施之上，这样的基础实施是基于廉价的或虚拟化了的不可信物理硬件；二是其必须支持超大节点规模和海量数据的高效存储，这对于系统架构和模块设计的关键技术提出了巨大的挑战。
本文讨论了云存储的发展背景，给出了云存储的定义，描述了云存储的特点，提出了云存储的架构模型，系统地阐述了云存储的关键技术，对比了GFS、GPFS、HDFS、Dynamo 架构的特点，并用CloudSim对云计算系统进行了仿真。
关键词：云存储，关键技术，架构模型，HDFS，CloudSim
Abstract
Cloud computing is a hot topic in recent research and applications．Up to now, Google、Microsoft、IBM、Amazon and some other famous cooperations have proposed their cloud computing application, and take cloud computing as one of the most important strategy in the future．Cloud storage is the lower layer of cloud computing system which supports the service of the other layers above it．Meanwhile，it is an effective way to store and manage heavy data．So it focused even more attentions from some researchers．Therefore, the research of cloud storage will not only keep up on trends, but also has a high application value.
Cloud storage is a distributed file system with complicated architecture．Firstly，it is implemented on top of the cloud computing infrastructure which is based on cheap，virtualized and unreliable physical hardware．Secondly，it should supports huge server scale，efficient heavy data storage．All of these challenge the key technologies of the system architecture and modules design．
This article discusses the background of the development of cloud storage, gives the definition of cloud storage,describes the characteristics of cloud storage, proposes the mode of cloud storage architecture,exposed the key technologies of cloud storage systematically, compared the features of GFS, GPFS, HDFS, Dynamo architecture , and simulated the cloud computing system with CloudSim.
Key Words:cloud storage,the key technologies,the mode of cloud storage architecture,HDFS,CloudSim
1绪论
近年来，随着云计算[1-2]和软件即时服务[3-5]的兴起，云存储成为信息存储领域的一个研究热点。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[6]。这是一种具有很大诱惑性的存储技术，云存储可以实现存储完全虚拟化，大大简化应用环节，节省客户建设成本，同时提供更强的存储和共享功能。云状存储中所有设备对使用者完全透明，任何地方任何被授权用户都可以通过一根接入线与云存储连接，进行空间与数据访问。用户无需关心存储设备型号、数量、网络结构、存储协议、应用接口等，应用简单透明。因此，云存储的研究不但紧跟发展的趋势，同时还具有较高的应用价值。
1.1云存储的兴起
迄今为止，人类对于计算机发展的需求所关心的共同问题都集中在如何进行高效的存储和存储如何促进计算的协作上。存储与之相关计算的发展历经了以下四个的阶段[7]：（1）集中式的应用和存储——客户机/服务器计算
在计算的初期，所有的应用软件、所有的数据和控制器都位于大型的电脑主机之上。用户必须连接到主机，获得适当的权限后才能访问数据。
（2）存储资源共享——对等计算
无须经由服务器，将一台计算机连接到另一台计算机，导致了P2P对等计算的发展。在P2P网络中没有主机，所有的通信不再经由主服务器，计算机平等运行，所有的数据分散存储到对等的节点上，提高了通信效率，易于进行数据的共享。
（3）存储与计算的分布式化
个人电脑能的计算和存储的资源很大一部分没有得到较好的利用，分布式计算能很好的利用这些资源。当一台计算用于某个分布式项目时，需要在机器上安装软件，它会利用空闲的时间进行数据的存储与运算并定期传送到分布式计算网络中与该项目中的其它计算合并结果。只要有足够的计算机参与，这种做法足以比拟更大的主机和超级计算机的处理能力，用户可以共享文件并同时在相同的文件上工作。
（4）云计算——瘦客户端下的计算与存储
随着手持设备的发展，云计算的产生使得在瘦客户端——没有多少计算力和存储空间的接入设备上，也能够进行海量数据的处理[8]。
更深入的来看存储技术的发展。由于单机存储方案无法满足数据拓展和协作性，而产生了分布式存储系统[10]。分布式存储系统是基于硬件的存储技术，由于其较大的成本和较差的灵活性而逐渐被大型企业放弃[9]。云存储是一种新的分布式存储模式，具有廉价、高可靠性和安全性的优点[7,9,11,12]，成为未来最值得期待推广和应用的技术之一。
1.2云存储的发展
云存储这个概念一经提出，就得到了众多厂商的支持和关注[13]。Amazon公司推出弹性块存储技术支持数据持久性存储；Google推出在线存储服务GDrive；内容分发网络服务提供商CDNetworks和云存储平台服务商Nirvanix结成战略伙伴关系，提供云存储和内容传送服务集成平台；EMC公司收购Berkeley Data Systems，取得该公司的Mozy在线服务软件，并开展SaaS业务；Microsoft公司推出Windows Azure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。
目前有近百种云存储系统。一些系统有明确的关注点，如存储网络电子邮件信息或者数字图片。其它一些用来存储所有形式的数字文件。一些云存储系统是小规模操作的，其它一些是超大集群的以至于物理设备能填满整个仓库。
尽管对于云存储来说有很多优势值得我们选择和研究，然而云存储仍面临着许多技术的难题，特别是安全性。图1.1是因特网数据中心关于云存储所做的调研[13]，可以看出安全、控制和性能等问题是关注的焦点。有效的控制和性能反映出用户对于云存储可用性的期待。目前云存储研究的热点仍集中在安全性、可用性、可靠性三个方面。云存储安全特别是用户数据的隐私问题，即服务商也不能得到用户的数据，至今没有较好的解决方案。
图1.1 云存储的关注调查
2云存储的概念
2.1云存储的定义
云存储是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，另一方面对外提供友好的接口，发布便捷的网络数据存储服务。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[12]。
云存储不是存储, 而是服务。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变[13]。
2.2云存储与传统存储
相比于传统的集中存储方式，云存储系统具有以下几点优势：
（1）更容易扩容(包括带宽)
云存储的扩容过程将变得简单：新设备仅需安装操作系统及云存储软件后，打开电源接上网络，云存储系统便能自动识别，自动把容量加入存储池中完成扩展。相比传统的存储扩容，云存储架构采用的是并行扩容方式，即当容量不够时，采购新的存储服务器即可，扩容环节无任何限制。
（2）更易于管理
在传统存储系统管理中，管理人员需要面对不同的存储设备不同的管理界面，要了解每个存储的使用状况，工作复杂而繁重，当传硬盘或是存储服务器损坏时，读写效率会降低，数据很可能丢失；而云存储没有这个困扰，硬盘坏掉，数据会自动迁移到别的硬盘，不需要立即更换硬盘，大大减轻了管理人员的工作负担。对云存储来说，管理人员只要在整体硬盘容量快用完时，按需采购服务器即可，通过一个统一管理界面监控每台存储服务器的使用状况，使得维护变得简单和易操作。
（3）成本更低廉
传统的存储系统对硬盘的要求近乎苛刻，必须同厂家、同容量、同型号，否则系统很容易出问题。面对升级换代较快的IT产业，硬盘在使用2～3年后很难找到同型号产品更换。而云存储没有这个问题，云存储系统中不同的硬盘可以一起工作，既可以实现原有硬件的利旧保护投入，又可以实现新技术、新设备的快速更新，合理搭配、可持续发展。且云存
储系统中所采用的存储及服务器设备均是性价比较高的设备。可实现长久合作关系下，设备商采购的稳定渠道，便于实现对成本及服务质量的控制。
（4）数据更安全，服务不中断
传统存储系统会因为硬件损坏而导致服务停止，虽然可以设计全冗余的环境，但成本相对太高且工作复杂。云存储系统则不同，它可通过将文件和数据保存在不同的存储节点，避免了单一硬件损坏带来的数据不可用。云存储系统知道文件存放的位置，在硬件发生损坏时，云存储系统会自动将读写指令导向存放在另一台存储服务器上的文件，保持服务的继续。另外，传统存储系统在升级时，往往需要把旧的存储设备文件备份出来后，停机换上新的存储设备，这通常会导致服务的短暂停止。云存储并不单独依赖一台存储服务器，因此存储服务器硬件的更新、升级并不会影响存储服务的提供，系统会将旧存储服务器上的文件迁移到别的存储服务器，等新的存储服务器上线后，文件会再迁移回来。
2.3云存储与云计算
从整体来看，云计算系统可以认为是以数据处理、数据运算为中心的系统。云计算的设计方向是将在不同地域的各种计算资源，通过虚拟化方式统一到庞大的计算资源“云”系统中来。云系统统一调配、协调、处理来自不同客户的运算需求，通过云系统计算后对外输出运算结果。云计算的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务功能。
云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。由此可以理解，云存储是云计算系统的延伸，是配置了大容量存储空间的云计算系统，可以说云存储是云计算服务的一种，即SaaS[13](storage as a service，存储即服务)，甚至可以说，利用云计算系统来建立存储系统，此时的云存储概念相当于一个云计算服务，它往往称之为“存储云”。如亚马逊的S3服务，我们可以利用它来建立另外一个存储系统，S3服务本身就是云服务，所以这样的系统可以称为云存储。
2.4云存储架构模型
云存储系统的结构模型由4层组成，如图2.1所示。
（1）存储层
存储层是云存储最基础的部分。数量庞大的云存储设备分布在不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接。各存储设备上都安装有统一的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、集中管理、多链路冗余管理以及硬件设备的
状态监控和维护升级等。
（2）基础管理层
基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。应用接口层通过集群系统、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。云存储系统通过集群文件操作系统实现后端存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结果的反馈。可利用CDN 内容分发系统、P2P数据传输技术和数据压缩技术等保证云存储中的数据可以更有效地存储，使用和占用更少的空间以及更低的传输带宽，从而对外提供更高效的服务。数据加密技术实现了数据存储和传输过程中的安全性。数据备份和容灾技术可保证云存储中的数据多份保存不会丢失，保证云存储数据自身的安全和稳定。
（3）应用接口层
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。任何一个授权用户通过网络接入、用户认证和权限管理接口的方式来登入云存储系统，都可以享受云存储服务。
（4）访问层
云存储运营单位不同，提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同，比如个人空间租赁服务、运营商空间租赁服务、数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。
图2.1云存储架构模型
3云存储的关键技术
3.1存储虚拟化技术
通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率。总体来说，存储虚拟化技术可概括为基于主机虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术。
用表格的方式对三种存储虚拟化技术的技术优点与缺点、适应场景等进行了分析对比，结果如下：
表3.1存储虚拟化技术对比
实现层面主机网络设备
优点
支持异构的存储系统；不需要额外
的硬件支持，便于部署。不占用主机资源；技术成熟
度高，容易实施。
架构合理，不占用主机资
源；数据管理功能丰富,技
术成熟度高。
缺点占用主机资源，降低应用性能；存
在越权访问的数据安全隐患；主机
数量越多，管理成本越高。
消耗存储控制器资源；存储
设备兼容性需要严格验证；
原有的磁盘阵列的高级存储
功能将不能使用。
受制于存储控制器接口资
源，虚拟化能力较弱；异构
厂家存储设备的高级存储
功能将不能使用。
主要用途使服务器的存储空间可以跨越多个
异构磁盘阵列，常用于在不同磁盘
阵列之间做镜像保护。
异构存储系统整合和统一数
据管理（灾备）
异构存储系统整合和统一
数据管理（灾备）
适用场景主机采用SF卷管理，需要新接多台
存储设备；存储系统中包含异构阵
列设备；业务持续能力与数据吞吐
要求较高。
系统包括不同品牌和型号的
主机和存储设备；对数据无
缝迁移及数据格式转换有较
高时间性保证。
系统中包括自带虚拟化功
能的高端存储设备与若干
需要利旧的中低端存储。
不适用场
景主机数量大，采用SF会涉及高昂的
费用；待迁入系统数据量过大，如
果只能采用存储级迁移方式，数据
格式转换将耗费大量时间和人力。
对业务持续性能力和稳定性
要求苛刻。
需要新购机头时，费用较
高；存在更高端的存储设
备。
（1）基于主机的虚拟化
其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件将磁盘上的物理块号映射成逻辑卷号，并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间（逻辑块）实现存储虚拟化的控制和管理。
（2）基于存储设备虚拟化
该技术依赖于提供相关功能的存储设备的阵列控制器模块，常见于高端存储设备，其主要应用针对异构的SAN存储构架。
（3）基于存储网络虚拟化
该的技术的核心是在存储区域网中增加虚拟化引擎实现存储资源的集中管理，其具体实施一般是通过具有虚拟化支持能力的路由器或交换机实现。存储网络虚拟化又可以分为带内虚拟化与带外虚拟化两类，二者主要的区别在于：带内虚拟化使用同一数据通道传送存储数据和控制信号，而带外虚拟化使用不同的通道传送数据和命令信息。
3.2分布式存储技术
分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个存储设备上。先进的分布式存储系统必须具备以下特性：高性能、高可靠性、高可扩展性、透明性以及自治性。目前比较流行的分布式存储技术为：分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储。
（1）分布式块存储
块存储就是服务器直接通过读写存储空间中的一个或一段地址来存取数据。由于采用直接读写磁盘空间来访问数据，相对于其他数据读取方式，块存储的读取效率最高，一些大型数据库应用只能运行在块存储设备上。分布式块存储系统目前以标准的Intel/Linux硬件组件作为基本存储单元，组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同工作，构成大型网格存储，网格内采用分布式算法管理存储资源。
（2）分布式文件系统存储
文件存储系统可提供通用的文件访问接口，如POSIX等，实现文件与目录操作、文件访问、文件访问控制等功能。目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种方式。
（3）分布式对象存储
对象存储引入对象元数据来描述对象特征，对象元数据具有丰富的语义，支持数据的并发读写，一般不支持数据的随机写操作。对象存储技术相对成熟，对底层硬件要求不高，存储系统可靠性和容错通过软件实现，同时其访问接口简单，适合处理海量、小数据的非结构化数据，如：邮箱、网盘、相册、音频视频存储等。
（4）分布式表存储
表结构存储是一种结构化数据存储，与传统数据库相比，它提供的表空间访问功能受限，但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同时提供高并发的数据访问性能和可伸缩的存储和计算架构。提供表存储的云存储系统有两类接口访问方式：一类是标准的SQL数据库接口，一类是Map-reduce的数据库应用处理接口。前者目前以开源技术为主，尚未有成熟的商业软件，后者已有商业软件和成功的商业应用案例。
3.3 数据备份技术
3.3.1传统的备份策略
典型的用户备份流程是这样的：每天都要在凌晨进行一次增量备份，然后每周末凌晨进行全备份。采用这种方法，一旦出现了数据灾难，用户可以恢复到某天（注意是以天为单位的）的数据，因此在最坏的情况下，可能丢失整整一天的数据。
该备份策略在备份的数据量很大的情况下，备份时间窗口很大，需要繁忙的业务系统停机很长时间才能做到。因此，为了确保数据的更高安全性，用户必须对在线系统实行在线实时复制，尽可能多地采用快照等磁盘管理技术维持数据的高可用性，这样势必需要增加很大一部分投资。
3.3.2 副本数据布局
该方法通过集中式的存储目录来定位数据对象的存储位置。这种方法可以利用存储目录中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，这样可大大提高系统的数据可靠性。然而，它存在以下两个缺陷：
（1）随着存储目录的增长，查找数据对象所需的开销也会越来越大；
（2）为提高数据对象的定位速度，一般情况下都会将存储目录存放在服务器内存中，对于PB级的云存储系统来说，文件的数量可能达到上亿级，这导致存储目录将会占用上百GB的内存。因此，当数据对象数量达到上亿级别时，基于集中式存储目录的数据放置方法在存储开销和数据定位的时间开销上都是难以接受的，此外，还会大大限制系统的扩展性。
3.3.3 连续数据保护
连续数据保护是一种连续捕获和保存数据变化，并将变化后的数据独立于初始数据进行保存的方法，可以实现过去任意一个时间点的数据恢复。连续数据保护系统可能基于块、文件或应用，并且为数量无限的可变恢复点提供精细的可恢复对象。连续数据保护可以提供更快的数据检索、更强的数据保护和更高的业务连续性能力，而与传统的备份解决方案相比，连续数据保护的总体成本和复杂性都要低。
连续数据保护解决方案应当具备以下几个基本特性：数据的改变受到连续的捕获和跟踪；所有的数据改变都存储在一个与主存储地点不同的独立地点中；恢复点目标是任意的，而且不需要在实际恢复之前事先定义。
尽管一些厂商推出了连续数据保护产品，然而从它们的功能上分析，还做不到真正连续的数据保护，比如有的产品备份时间间隔为一小时，那么在这一小时内仍然存在数据丢失的风险，因此，严格地讲，它们还不是完全意义上的连续数据保护产品，目前我们只能称之为类似连续数据保护产品。
3.4 数据缩减技术
数据量的急剧增长为存储技术提出了新的问题和要——怎样低成本高效快速地解决无限增长的信息的存储和计算。通过云存储技术不仅解决了存储中的高安全性、可靠性、可扩展、易管理等存储的基本要求，同时也利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程度上节约企业存储成本，提高效率。
3.4.1 自动精简配置
该技术是利用虚拟化方法减少物理存储空间的分配，通过“欺骗”操作系统，造成的好像存储空间有足够大，而实际物理存储空间并没有那么大，会减少已分配但未使用的存储容量的浪费，在分配存储空间时，按需分配，最大限度提升存储空间利用率，利用率超90％。利用自动精简配置技术，用户不需要了解存储空间分配的细节，能帮助用户在不降低性能的情况下，大幅度提高存储空间利用效率；需求变化时，无需更改存储容量设置，通过虚拟化技术集成存储，减少超量配置，降低总功耗。这项技术已经成为选择存储系统的关键标准之一。
随着自动精简配置的存储越来越多，物理存储的耗尽成为自动精简配置环境中经常出现的风险，因此，告警、通知和存储分析成为必要的功能。
3.4.2 自动存储分层
在过去，数据移动主要依靠手工操作，由管理员来判断数据访问压力，迁移的时候只能一个整卷一起迁移。自动存储分层技术的特点则是其分层的自动化和智能化。一个磁盘阵列能够把活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层上，以限制存储的花费总量。数据从一层迁移到另一层的粒度越精细，使用的昂贵存储的效率就越高。自动存储分层的重要性随着固态存储在当前磁盘阵列中的采用而提升，并随着云存储的来临而补充内部部署的存储。自动存储分层使用户数据保留在合适的存储层级，而不需要用户定义的策略，因此减少了存储需求的总量并实质上减少了成本，提升了性能。
3.4.3 重复数据删除
该技术通过删除集中重复的数据，只保留其中一份，从而消除冗余数据，可以将数据缩减到原来的2%~5%。按照消重的粒度重复数据删除技术可以分为文件级和数据块级。该技术计算数据指纹，具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统中就只对应一个逻辑表示。由于大幅度减少了物理存储空间的信息量，进而减少传输过程中的网络带宽、节约设备成本、降低能耗。
3.4.4 数据压缩
数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着目前CPU处理能力的大幅提高，应用实时压缩技术来节省数据占用空间成为现实，这项新技术就是最新研发出的在线压缩，它与传统压缩技术不同，当数据在首次写入时即被压缩，以帮助系统控制大量数据在主存中杂乱无章地存储的情形，特别是多任务工作时更加明显。该技术还可以在数据写入到存储系统前压缩数据，进一步提高了存储系统中的磁盘和缓存的性能和效率。压缩算法分为无损压缩和有损压缩。相对于有损压缩来说，无损压缩的占用空间大，压缩比不高，但是它有效地保存了原始信息，没有任何信号丢失。但是随着限制无损格式的种种因素逐渐被消除，使得无损压缩格式具有广阔的应用前景。
数据压缩中使用的LZ77算法，主要由2部分构成，滑窗（Sliding Window）和自适应编码（Adaptive Coding）。压缩处理时，在滑窗中查找与待处理数据相同的块，并用该块在滑窗中的偏移值及块长度替代待处理数据，从而实现压缩编码。如果滑窗中没有与待处理数据块相同的字段，或偏移值及长度数据超过被替代数据块的长度，则不进行替代处理。该算法的实现非常简洁，处理比较简单，能够适应各种高速应用。数据压缩的应用可以显著降低待处理和存储的数据量，一般情况下可实现2:1～3:1的压缩比。
图3.1 LZ77算法示意图
压缩和去重是互补性的技术，提供去重的厂商通常也提供压缩。而对于虚拟服务器卷、电子邮件附件、文件和备份环境来说，去重通常更加有效，压缩对于随机数据效果更好，像数据库。换句话说，在数据重复性比较高的地方，去重比压缩有效。
3.5存储安全技术
可扩展和高性能的存储安全技术，是推动云存储最根本的保证，已经成为当前网络存储领域的研究热点。云存储应用中的存储安全包括认证服务、数据加密存储、安全管理、安全日志和审计。
（1）认证服务：访问控制服务实现用户身份认证、授权，防止非法访问和越权访问。主要功能包括：用户只能对经管理员或文件所有者授权的许可文件进行被许可的操作；管理员只能进行必要的管理操作，如用户管理、数据备份、热点对象迁移，而不能访问用户加密了的私有数据。
（2）加密存储：是对指定的目录和文件进行加密后保存，实现敏感数据存储和传送过程中的机密性保护。
（3）安全管理：主要功能是用户信息和权限的维护，如用户帐户注册和注销等，授权用户、紧急情况下对用户权限回收等。
（4）安全日志和审计：是记录用户和系统与安全相关的主要活动事件，为系统管理员监控系统和活动用户提供必要的审计信息。
随着存储系统和存储设备越来越网络化，存储系统在保证敏感数据机密性的同时，必须提供相应的加密数据共享技术。必须研究适用于网络存储系统的加密存储技术，提供端到端加密存储技术及密钥长期存储和共享机制，以确保用户数据的机密性和隐私性，提高密钥存储的安全性、分发的高效性及加密策略的灵活性。在海量的加密信息存储中，加密检索是实现信息共享的主要手段，是加密存储中必须解决的问题之一。加密检索技术有线性搜索算法、基于关键词的公钥加密搜索、安全索引、引入相关排序的加密搜索算法。
（1）线性搜索算法
首先用对称加密算法对明文信息加密，对于每个关键词对应的密文信息，生成一串长度小于密文信息长度的伪随机序列，并生成一由伪随机序列及密文信息确定的校验序列，伪随机序列的长度与检验序列长度之和等于密文信息的长度，伪随机序列及检验序列对密文信息再次加密。在搜索过程中，用户提交明文信息对应的密文信息序列。在服务器端，密文信息序列被线性的同每一段序列模2加。如果得到的结果满足校验关系，那么说明密文信息序列出现，否则，说明密文信息不存在。
线性搜索方法是一次一密的加密信息检索算法，因此有极强的抵抗统计分析的能力。但其有一个致命的缺点，即逐次匹配密文信息，这使得这种检索方法在大数据集的情况下难以应用。
（2）基于关键词的公钥加密搜索算法[14]
由Boneh等人提出的，其目的是可以在用户端存储、计算资源不足的情况下，通过访问远端数据库获取数据信息。此算法首先生成公钥、私钥，然后对存储的明文关键词用公钥进行加密，生成可搜索的密文信息。此算法可以解决两方面的问题：第一，存储、计算资源分布的不对称性，即用户的计算存储能力不能实时满足其需求；第二，用户在移动情
况下对存储、检索数据的需求，比如Email服务等。
（3）安全索引[15]
由Park等人提出，其机制是每次加密所用的密钥是事先生成的一组逆Hash序列，加密后的索引被放入布隆过滤器中。当检索的时候，首先用逆Hash序列密钥生成多个陷门，然后进行布隆检测。对返回的密文文档解密即可得到所需检索的文档。针对有新用户加入、旧用户退出的多用户加密信息检索，这是一种解决方法。但其存在的缺陷是需要生成大量的密钥序列，随着检索次数的增加，每多进行一次检索，其计算复杂度均线性增加。这在实际应用中很难被接受。
（4）引入相关排序的加密搜索算法[16]
Swaminathan等人提出了保护隐私的排序搜索算法。在这一算法中，每一文档中关键词的词频都被保序加密算法加密。提交查询给服务器端后，首先计算检索出含有关键词密文的加密文档；然后对用保序算法加密的词频对应的密文信息进行排序处理；最后把评价值高的加密文档返回给用户，由用户对其进行解密。
这一种方法可以在给定多个可能相关文档的情况下对加密文档进行排序，进而把最可能相关的文档返回给用户。但这一种算法首先不适用于一个查询包含多个查询词的情况，其次算法只利用了文档中的词频信息，无法利用词的逆文档频率，进而向量空间模型无法直接应用。
3.6 容错技术
数据容错技术一般都是通过增加数据冗余来实现的。冗余提高了容错性，但是也增加了存储资源的消耗。因此，在保证系统容错性的同时，要尽可能地提高存储资源的利用率，以降低成本。目前,常用的容错技术主要有基于复制(replication)的容错技术和基于纠删码(erasure code)的容错技术两种。
（1）基于复制的容错技术
该技术对一个数据对象创建多个相同的数据副本,并把得到的多个副本散布到不同的存储节点上。当若干数据对象失效以后，可以通过访问其他有效的副本获取数据。基于复制的容错技术简单直观，易于实现和部署，但是存储空间开销很大；当数据失效以后，只需要从其他副本下载同样大小的数据即可进行修复。
（2）基于纠删码的容错技术
该技术源于信道传输的编码技术，因为能够容忍多个数据帧的丢失，被引入到分布存储领域，使得基于纠删码的容错技术成为能够容忍多个数据块同时失效的、最常用的基于编码的容错技术。基于编码的容错技术通过对多个数据对象进行编码产生编码数据对象，能够把多个数据块的信息融合到较少的冗余信息中，因此能够有效地节省存储空间，但是对数据的读写操作要分别进行编码和解码操作，需要一些计算开销；当数据失效以后，需要下载的数据量一般远大于失效数据大小,修复成本较高。
1一级视频云存储系统设计 1.1一级网络视频云存储概述 本项目采用华为网络视频云存储VCN3000设计一级视频云存储子系统.采取分布式直接存储，集中管理的方式，针对摄像头视频存储硬件采用针对视频存储优化的网络视频存储和磁盘阵列，所有的存储设备部署在各辖区运营商机房(六个),前端摄像头采用标准的H.264编码RTP流，直写到网络视频存储中。 华为网络视频云存储VCN3000采用由管理平台、IP网络,通过虚拟化、云结构化和高精确视频直接存储模式。运用负载均衡、对象存储等技术，结合视频、图片数据特点，面向应用，满足视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。 华为网络视频云存储VCN3000系统使用存储虚拟化技术针对海量存储应用需求，为用户提供透明存储构架、高可扩展性的云管理存储服务。在云管理存储系统中将信令与业务承载码流相分离，云管理服务器只处理控制信令而不处理视频数据，实时视频数据直接写入到云管理存储物理存储节点，无需中间环节。 视频云管理存储管理软件在市局监控中心以集群方式进行部署，实现全市所有监控点和所有云管理存储物理设备的统一管理。 视频云管理存储系统中，IPC直写存储设备，采用云管理方案解决云管理存储管理单节点失效问题，利用负载均衡技术充分利用各存储节点的性能。云管理存储系统采用统一接口与视频管理平台对接，降低平台维护和用户管理复杂度。 华为网络视频云存储VCN3000支持基于GB/T28181标准实现与各级标准平台（符合GB/T28181规范的标准平台）间的互联互通，平台之间通过信令安全路由网关进行信令对接，在信令的控制下媒体通过媒体服务器互联。该体系构架可以支持上下级级联、平级级联以及监控报警专网与公安网的互联。
云计算技术及在日常生活中 的应用 学院：能源学院 班级：采矿工程专业1303班 姓名：田超超 学号：1303020327 联系方式：
摘要 云计算技术在生活中的应用越来越广泛，我们也许有一天会突然发现，越来越多的生活习惯已经被悄悄的改变了。在线办公软件，可能人们还没发现，自从云计算技术出现以后，办公室的概念已经很模糊了。不管是谷歌的apps还是微软推出的sharepoint，都可以在任何一个有互联网的地方同步办公所需要的办公文件。即使同事之间的团队协作也可以通过上述基于云计算技术的服务来实现，而不用像传统的那样必须在同样一个办公室里才能够完成合作。在将来，随着移动设备的发展以及云计算技术在移动设备上的应用,办公室的概念将会逐渐消失；云存储、电子日历、电子邮件、地图导航 在没有gps的时代，每到一个地方，我们都需要一个新的当地地图。以前经常可见路人拿着地图问路的情景。而现在，我们只需要一部手机，就可以拥有一张全世界的地图。甚至还能够得到地图上得不到的信息,アプリケ?ション?想化，例如交通路况，天气状况等等。正是基于云计算技术的gps带给了我们这一切。地图，路况这些复杂的信息，并不需要预先装在我们的手机中，而是储存在服务提供商的“云”中，我们只需在手机上按一个键，就可以很快的找到我们所要找的地方。 不用再下载音乐、减肥健身以及理财、电子商务、搜索引擎、ipad。大大改变了我们的生活。事实上，ipad并没有应用什么云计算的技术，但它却成为了云计算最好的终端设备。它的便携性，良好的网络支持，以及广泛的软件应用无一不是云计算技术今后的发展方向。ipad正变的和手机一样，成为人们所离不开的产品之一。ipad正在悄无声息的将云计算技术带进我们生活的每一个角落。 关键字：物联网、云安全、云存储. 引言：以下五个方面塑造了我们的云计算工作，解释了云计算将对人类生活 产生的影响：云计算创造机遇和责任：为任何有想法连接全球用户的人提供机遇，同时随时随地为个人隐私提供责任保障。云计算通过了解个人的努力方向，提供符合意愿的信息和应用，从而帮助人们学习、决策、采取行动。通过最便捷、最有成效的方式建立连接，云计算将加强社会交往和专业交流。云计算将催生更智能的设备，以完美精确到人们身在何处、在做什么。最后，云计算将推动服务器技术的进步，反过来促进云计算自身的改善革新。 正文： 一．三大应用 1.云物联 物联网
不定项选择题 1.云计算的产生是哪些因素共同促进的结果？ A.需求推动 B.技术进步 C.商业模式转变 D.行业变革 2.IT基础架构经历了下面哪几个时代： A.分布式计算 B.大型机时代 C.PC时代 D.云计算时代 3.云计算的演进经历了哪几个阶段： A.并行计算 B.分布式计算 C.网格计算 D.云计算 4.云计算的关键特征有哪些： A.按需自助服务 B.与位置无关的资源池 C.按使用付费 D.快速弹性 5.某用户从云服务提供商租用虚拟机进行日常使用，外出旅游时把虚拟机归还给云服务提供商，这体现了云计算的哪个关键特征： A.按需自助服务 B.与位置无关的资源池 C.按使用付费 D.快速弹性 6.从商业视角来看，云计算与下面哪种事物比较相像？ A.加油站 B.自来水管 C.信息电厂 D.水库 7.云计算的部署模式有哪些？ A.公有云 B.私有云 C.政务云
8.某公司自己搭建了桌面云环境供员工办公使用，属于哪种云计算部署模式？ A.公有云 B.私有云 C.政务云 D.混合云 9.电子商务网站平台，平时业务流量比较均衡，数据处理在其公司自身构建的云环境上；当节假日来临，流量增大，从云服务提供商租用资源进行处理。该电商属于哪种云计算部署模式？ A.公有云 B.私有云 C.政务云 D.混合云 10.某公司搭建云计算服务平台，提供虚拟机资源供有需要的用户购买使用，此公司属于哪种云计算部署模式？： A.公有云 B.私有云 C.政务云 D.混合云 11.云计算的商业模式有哪些？ A.IaaS B.PaaS C.SaaS D.DaaS 12.某公司提供多种资源给客户使用，下面哪些形式属于IaaS？ A.网络存储服务 B.应用系统 C.开发平台 D.裸虚拟化 13.某公司构建IT系统时，使用虚拟化平台把服务器抽象组合为多个虚拟服务器使用，提高资源利用率，降低企业投资成本。该公司的云计算使用属于哪种流派： A.大分小 B.小聚大 C.一虚多 D.多合一 14.下面哪些技术属于云计算技术体系： A.虚拟化技术
? 3.1 云存储的概念 ? 3.2 云存储技术简介 ? 3.3 云存储技术的应用及其面临的问题
网盘是提供文件寄存和文件上下载服务的网站，它们大部分是类似FTP的网络服务，加入简易的上下载功能。。用户可以把网盘看成一个放在网络上的硬盘或U盘，所以任何人都可以在任何时间、任何地点通过互联网来访问文件，只要你连接到因特网，你就可以管理、编辑网盘里的文件。 云存储是一种网络在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，托管公司营运大型的数据中心，需要数据存储托管的人，则通过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池的方式提供，客户便可自行使用此存储资源池来存放文件或对象。 网盘云存储
网盘只是一个应用 云存储
云存储的结构模型 云存储简易结构 存储节点（Storage Node）负责存放文件，控制节点（Control Node）则作为文件索引，并负责监控存储节点间容量及负载的均衡，这两个部分合起来便组成一个云存储。 NFS、 HTTP、 FTP、 WebDav 等是应用端，左上角的 Mgmt Console 负责管理云存储中的存储节点，一般为一台个人计算机。
云存储的结构模型 云存储结构模型
云存储的结构模型 存储层 存储层是云存储最基础的部分。存储设备可以是光纤通道存储设备、 NAS 和 iSCSI 等 IP 存储设备， 也可以是 SCSI 或 SAS 等 DAS 存储设备。 基础管理层 基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。 应用接口层 应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务，如视频监控应用平台、 IPTV 和视频点播应用平台、网络硬盘引用平台、远程数据备份应用平台等。 访问层 任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。 云存储运营单位不同，云存储提供的访问类型和访问手段也不同。主要有服务模式、HW模式和SW模式。
视频监控系统整合云存储方案 2016年11月
目录 一、前言 (3) 1.1物联网与视频监控 (3) 1.2项目运用背景 (5) 二、云计算和云存储 (7) 2.1云计算的概念 (7) 2.2云存储的概念和技术优势 (7) 三、云存储产品介绍 (9) 3.1云存储核心产品 (9) 3.2架构 (9) 3.3 优势及特点 (10) 四、现有存储与云存储对比 (11) 4.1现有存储系统结构 (11) 4.2云存储结构 (12) 4.3两种存储方式详细比较 (13) 五、基于云的云存储解决方案 (15) 5.1方案背景及概述 (15) 5.2方案拓扑图 (17) 5.3功能特色 (17) 六、云存储其它运用 (18)
一、前言 1.1物联网与视频监控 当前，物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监控技术是物联网技术的重要组成部分，是感知安防的主要手段。视频监控也是应用历史相对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景下，现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络，使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。 视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和 智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的视频监控系统———智慧化、语义化、情报化的语义视频监控系统。 视频监控应用和技术的瓶颈 视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。粗略估算，"十一五"期间全国各地投入到视频监控系统建设的资金约为数十亿元。视频监控系统无论在数目还是在建设资金的规模上都非常庞大。 目前视频监控系统应用中存在一些突出问题： 1.缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。 2.视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出，跨系统的语言不统一造成信息成为一个个的孤岛，限制了大情报、大信息系统的建设及应用。 3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制，不得不对视频数据进行大量压缩，不仅造成图像模糊的问题，而且视频压缩时固定压缩比的方式不够灵活，不得不占用大量的存储空间及传输带宽。
2016年安徽省高等职业院校技能大赛（高职组） “云计算技术与应用”项目赛项规程 一、赛项名称 云计算技术与应用 二、竞赛目的 “云计算技术与应用”赛项紧密结合我国云计算产业发展战略规划和云计算技术发展方向，贯彻国务院《关于促进云计算创新发展培育信息产业新业态的意见》中人才措施要求，通过引入云计算平台、云存储和大数据挖掘分析等云应用场景，全面考察高职学生云计算技术基础、云计算平台规划设计、云平台搭建、虚拟桌面、大数据挖掘分析和云存储等多种云应用部署、运维和开发方面的前沿知识、技能、职业素养和团队协作能力。促进职业院校信息类相关专业课程改革，推动院校、科研院所与企业联合培养云计算人才，加强学校教育与产业发展的有效衔接。 三、竞赛方式与内容 （一）竞赛方式 1.比赛以团队方式进行，每校限报一支参赛队，每个参赛队由3名选手组成，其中队长1名，选手须为同校在籍高职高专学生，性别和年级不限，每个参赛队可配指导教师2名。参赛选手在报名获得确认后，原则上不再更换，允许队员缺席比赛。不允许更换新的指导教师。 2.比赛时间为4个小时，参赛队员必须在规定时间内完成比赛内容并提交相关文档。 3.裁判组对参赛队的操作规范、现场表现和提交的竞赛成果依据赛项评分标准进行评价评分。
（二）竞赛内容 根据业务需求和实际的工程应用环境，实现云计算平台架构的规划设计，完成云计算网络、服务器、存储服务器的互联和配置，完成云计算基础架构平台、云计算开发服务平台、云计算软件服务等平台软件的部署、配置和管理，通过云平台实现虚拟桌面、大数据分析、云存储等各类云应用部署、运维和开发，撰写开发与工程文档。 考核内容包括： 1.在理解命题给出的云计算应用系统需求的基础上，设计、构建并维护一个安全、可靠的云计算服务平台。 2.根据云平台设计方案来配置、调试云平台网络，确保网络能正常运行。 3.根据云平台设计方案配置、调试云计算管理服务器和节点服务器的CentOS Linux（或REDHAT EL）操作系统。 4.在安装了CentOS Linux（或REDHAT EL）系统的云计算服务器上配置ftp、http、samba等服务。 5.基于yum、rpm，构建云平台软件安装包本地资源仓库。 6.安装配置数据库mysql服务端、客户端。 7.安装安全框架组件身份认证系统。 8.云平台用户账号、各类服务密码、网络地址、iptables安全配置管理。 9.安装配置基础架构云服务平台。 10.安装配置云存储、模板、监控等基础架构平台的扩展服务。 11安装配置大数据Hadoop平台。 12.安装配置开发服务云平台。 13.基于开发服务云平台，安装配置常用企业云应用。 14.基于云存储服务，开发云存储Web应用和Android移动客户端。 15.提交符合规范的工程技术文档，如：系统结构图、系统设计文档、功能
IBM云存储技术【转】 09年，IBM宣布推出了云计算领域最新存储战略计划，这个被称为“企业级智能云存储”的应用是一种基于私有云的存储和归档技术，旨在为企业客户提供应用程序方面的支持。这种云存储主要是通过存储虚拟化来实现的。这跟EMC等厂商提供给客户现有的低成本云存储应用环境，对二级或三级数据副本或在开发利用和测试环境中存储应用是有区别的。IBM的云存储是基于IBM存储虚拟化配合了各种存储设备来实现的一体化解决方案 IBM云计算解决方案是 IBM 云计算中心经过多年的探索和实践开发出来的先进的基础架构管理平台。该方案结合了业界最新技术，充分体现云计算理念，已在 IBM 内部成功运行多年，并在全球范围内有众多客户案例。 该解决方案可以对企业现有的基础架构进行整合，通过虚拟化技术和自动化技术，构建企业自己拥有的云计算中心，实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，从而帮助企业实现云计算理念。 IBM云计算解决方案由以下部分构成： ?需要纳入云计算中心的软硬件资源。硬件可以包括 x86 或 Power的机器、存储服务器、交换机和路由器等网络设备。软件可以包括各种 操作系统、中间件、数据库及应用，如 Aix、Linux、DB2、WebSphere、 Lotus、Rational 等。 ?云计算管理软件及IBM Tivoli管理软件。云计算管理软件由IBM云计算中心开发，专门用于提供云计算服务。 ?云计算咨询服务、部署服务及客户化服务。云计算解决方案可以按照客户的特定需求和应用场景进行二次开发，使云计算管理平台与客户 已有软件硬件进行整合。
云计算云存储技术论文-云存储技术及其 应用 摘要:云存储将大量不同类型的存储设备通过软件集合起来协同工作，共同对外提供数据存储服务。云存储服务对传统存储技术在数据安全性、可靠性、易管理性等方面提出新的挑战。文章基于云存储平台架构的4个层次：将多存储设备互连起来的数据存储层、为多服务提供公共支撑技术的数据管理层、支持多存储应用的数据服务层以及面向多用户的访问层展开研究，并以一种云存储典型应用——云备份(B-Cloud)为例，探讨云备份的软件架构、应用特点及研究要点。 关键字:云存储；服务；云备份 英文摘要:In order to provide data storage services, cloud storage employs software to interconnect and facilitate collaboration between different types of storage devices. Compared to traditional storage methods, cloud storage poses new challenges in data security,
reliability, and management. This paper introduces four layers of cloud storage architecture: data storage layer connecting multiple storage components, data management layer providing common supporting technology for multiple services, data service layer sustaining multiple storage applications, and user access layer. It then examines a typical cloud storage application—backup cloud (B-Cloud)—and discusses its software architecture, characteristics, and main research questions. 英文关键字:cloud storage; service; backup cloud 基金项目：国家高技术研究发展(“863”)计划(2009AA01A402) 近年来，随着云计算[1-2]和软件即服务(SaaS)[3-5]的兴起，云存储成为信息存储领域的一个研究热点。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、
关于云存储系统的六大技术分析 随着监控领域的飞速发展，新技术的诞生也是接踵而至，云存储是人们最为乐道的高新技术产品。它具有如下几大主要的技术。 云存储系统具有如下特点：数据安全，超强的可扩展性，按照使用收费，可跨不同应用，自动切换故障，易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。云存储是在云计算概念上延伸和发展出来的一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。 与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。云存储系统具有如下特点：数据安全，超强的可扩展性，按照使用收费，可跨不同应用，自动切换故障，易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。 云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。根据云存储的特点及其应用领域，主要的云存储技术涉及到存储虚拟化，分布式文件系统，集群存储，存储集中管理，异质平台协同，自动分级存储等方面，当然还有重复数据删除、数据压缩等技术。 存储虚拟化存储虚拟化（StorageVirtualizaTIon）最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或服务的。 存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供
云计算技术的产生、概念、原理、应用和前景 赛迪网：2006年谷歌推出了“GoogieOl计划”，并正式提出云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM 等公司都宣布了自己的“云计划”云安全、云存储、内部云、外部云、公共云、私有云……一堆让人眼花 缭乱的概念在不断冲击人们的神经。那么到底什么是云计算技术呢？对云计算技术的产生、概念、原理、应用和前景又在哪里？ 、云计算思想的产生 传统模式下，企业建立一套IT 系统不仅仅需要购买硬件等基础设施，还有买软件的许可证，需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说，计算机等硬件和软件本身并非他们真正需要的，它们仅仅是完成工作、提供效率的工具而已。对个人来说，我们想正常使用电脑需要安装许多软件，而许多软件是收费的，对不经常使用该软件的用户来说购买是非常不划算的。可不可以有这样的服务，能够提供我们需要的所有软件供我们租用？这样我们只需要在用时付少量“租金，即可“租用，到这些软件服务，为我们节省许多购买软硬件的资金。我们每天都要用电，但我们不是每家自备发电机，它由电厂集中提供；我们每天都要用自来水，但我们不是每家都有井，它由自来水厂集中提供。这种模式极大得节约了资源，方便了我们的生活。面对计算机给我们带来的困扰，我们可不可以像使用水和电一样使用计算机资源？这些想法最终导致了云计算的产生。 中国云计算网https://www.doczj.com/doc/9a9522595.html,/ 云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众，使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下，用户的计算机会变的十分简单，或许不大的内存、不需要硬盘和各种应用软件，就可以满足我们的需求，因为用户的计算机除了通过浏览器给“云，发送指令和接受数据外基本上什么都不用做便可以使用云 服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主
学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。 作者签名： 年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于1、保密囗，在年解密后适用本授权书 2、不保密囗。 （请在以上相应方框内打“√”） 作者签名：年月日 导师签名：年月日
本科生毕业设计（论文）任务书 学生姓名：专业班级：通信0906班 指导教师：许建霞工作单位：信息工程学院 设计(论文)题目:云环境下存储技术的研究 设计（论文）主要内容： 云计算主要是利用现有的各种资源，使用虚拟化等多种技术，构建由大量计算机组成的称之为“云”的资源池，它具有强大的资源控制和监督管理能力，能够根据用户的不同需求来动态切割和分配计算资源，用户不需要去了解云的具体构成，只需要定制需求就可以获得云计算交付的服务。云存储伴随云计算而产生，与传统的专用存储相比，云存储增加了资源利用率，其独特的按使用付费和弹性扩展的方式提供计算资源具有显著的优势，它将成为未来最值得期待推广和应用的技术之一。论文的主要内容包括了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究；对比多家云存储厂商的架构技术和标准接口，了解其架构的特点，最后用CloudSim软件对云计算系统进行仿真。 要求完成的主要任务: 1. 查阅不少于15篇相关资料，其中英文文献不少于2篇。 2. 完成开题报告。 3. 了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和研究； 4. 对比多家云存储厂商的架构技术和标准接口，了解其架构的特点。 5. 用CloudSim软件对云计算系统进行仿真。 6. 完成不少于20000字的论文的撰写并完成答辩的相关工作。 7. 在设计中完成不少于3张1~2#图纸的描绘。8. 完成毕业设计周志。 9. 完成不低于5000汉字（20000英文印刷符）的教师指定的相关文献的英译汉翻译。必读参考资料： [1]晏强, 张晓锋, 丁蕊.云存储技术研究[J]. 上计算机与信息技术.2012. 第5期: 22-24. [2] 成静静. 基于Hadoop的分布式云计算/云存储方案的研究与设计[J]. 数据通信, 2012, 第5期: 14-18. [3] PENG Yong, ZHAO Wei, Secure cloud storage based on cryptographic techniques [J]. ScienceDirect 89(2009)174–180 October 2012, 19(Suppl. 2): 182–189. [4] Josef Spillner, Johannes Müller, Alexander Schill.Creating optimal cloud storage systems.Future Generation Computer Systems 29 (2013) 1062–1072. 指导教师签名系主任签名 院长签名(章)
大数据时代的云存储技术 【摘要】本文首先介绍了大数据时代介绍及云存储概念，其次探讨了云存储分类及优势，最后探究了云存储的结构模型及两大框架，并且提出了云存储发展需要注意的问题。 【关键词】大数据；时代；云存储；技术 一、前言 随着我国信息技术领域的不断发展，我国的网络行业的发展迅速，并且取得了相应的成就。云存储技术的发展，使大数据的存储成为可能，使人们的生活更加便捷，各行业得到更好的发展，我们应该更多地了解云存储，使云存储为人类做贡献。 二、大数据时代介绍及云存储概念 1、大数据时代介绍 大数据到底有多大?一组名为/互联网上一天的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.65亿张DVD；发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量)；发出的社区帖子达200万个(相当于5时代6杂志770年的文字量)；卖的手机为37.8万台，高于全球每天出生的婴儿数量37.1万。 2、云存储概念 云存储是在云计算概念上延伸出来的一个新概念，它是指通过集群应用、网格技术或分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。让云存储成为企业私有云，使得企业能够将资源切换到需要的应用上，根据需求访问备份的数据。它将备份服务器，备份软件、存储设备集合在一起，形成云存储。 三、云存储分类及优势 1、云存储分类 按照服务对象可以把云存储分类如下： (1) 公共云存储。公共云存储可以以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的，公共云存储可以划出一部分来用作私有云存储。
UCloud云存储技术方案
随着无人驾驶、机器人送餐等人工智能（AI）应用逐渐进入大众生活，再加上资本热潮的助推，AI的发展备受瞩目。然而，要真正实现AI从概念到落地，还必须具备足够的数据、足够的计算能力和足够的行业应用三个条件，而云计算恰好能满足这些要求。 当下，AI正与云计算进行深度融合，未来会变得更加智能，但在智能化的背后是对海量数据存储的刚性需求。据不完全统计，单是一辆无人驾驶汽车每秒产生的数据容量就在1G左右，相当于每秒发送20万封纯文本电子邮件或上传100张高清数码照片。因此，没有大容量和超稳定的存储系统，这一切都将无从谈起。无存储，不智能。为了更加清晰的了解云存储技术的实现过程，UCloud存储研发部将对云存储——对象存储（UFile）技术进行深度解析。 对象存储UFile概念 对象存储（UFile）是为互联网应用提供非结构化文件存储的服务；相对于传统硬盘存储，UFile具有存储无上限、支持高并发访问、成本更低等优势；解决业务架构的文件存储问题，有效降低海量文件的存储成本，支持热点数据的高并发访问，提升终端用户访问体验。 单地域UFile存储架构六大集群
1）ULB(UCloud Load Balancer) 实现外网的对接及接入层的负载均衡与容灾处理，该模块通过定期向接入层模块端口发送心跳以检测接入层模块的可用性，发现异常模块及时进行剔除； 2）接入层提供文件访问服务，该模块为无状态设计，因此可以平行扩容及缩容； 3）索引层保存文件对象的元数据信息，包括对象名称、对象大小、创建时间、存储位置等； 4）存储层是实际存储文件数据的模块集群，主要实现文件数据的多份分布及高可靠存储； 5）数据处理层主要实现UFile图片及数据处理，包括图片的实时裁剪、缩放、旋转、水印、格式转换、信息获取等操作，客户还可以使用自己的通用计算镜像对数据进行处理； 6）名字服务主要实现索引层及数据处理层模块的容灾剔除，以上3个集群的模块会定期在名字服务注册自身服务，当其中有部分模块因机器异常或者网络中断导致无法提供服务时，名字服务会将该机器从名字中剔除，并且通知接入层，从而实现后台模块的容灾剔除。 重点设计解析UFile索引层设计
云存储介绍 作者：Tiger@中国云计算论坛 Email：binboth@https://www.doczj.com/doc/9a9522595.html, QQ号: 1036479498
云存储（Cloud Storage）这个概念一经提出，就得到了众多厂商的支持和关注。如：Amazon推出的Elastic Compute Cloud（EC2：弹性计算云）云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和著名的云存储平台服务商Nirvanix发布了一项新的合作，并宣布结成战略伙伴关系，以提供业界目前唯一的云存储和内容传送服务集成平台。微软推出了提供网络移动硬盘服务的Windows Live SkyDrive Beta测试版。EMC加入道里可信基础架构项目，致力于云计算环境下关于信任和可靠度保证的全球研究协作。IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。 云存储变得越来越热，大家众说纷“云”，而且各有各的说法，各有各的观点，那么到底什么是云存储？ 一、什么是云存储 云存储在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。 云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。 为了让云存储的定义更加清晰明了一些，与企业IT专家常打交道的行业分析师重新整理了一下云存储的定义，概括出了云存储具有如下特点：（1）超强的可扩展性；（2）不受具体地理位置所限；（3）基于商业组件；（4）按照使用收费，如每G收15美分；（5）可跨不同应用。
云存储技术及其运用综述 摘要云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。 云存储服务对传统存储技术在数据安全性、可靠性、易管理性等方面提出新的挑战。 文章基于云存储平台架构的4个层次将多存储设备互连起来的数据存储层、为多服务提供公共支撑技术的数据管理层、支持多存储应用的数据服务层以及面向多用户的访问层展开研究,并以一种云存储典型应用——云备份-为例,探讨云备份的软件架构、应用特点及研究要点。 [关键词]云存储;服务;云备份近年来,随着云计算[1-2]和软件即服务[3-5]的兴起,云存储成为信息存储领域的一个研究热点。 与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[6]。 云存储提供的是存储服务,存储服务通过网络将本地数据存放在存储服务提供商提供的在线存储空间。 需要存储服务的用户不再需要建立自己的数据中心,只需向申请存储服务,从而避免了存储平台的重复建设,节约了昂贵的软硬件基础设施投资。 云存储这个概念一经提出,就得到了众多厂商的支持和关注。 公司推出弹性块存储技术支持数据持久性存储;推出在线存储服务;内容分发网络服务提供商和云存储平台服务商结成战略伙伴关系,
提供云存储和内容传送服务集成平台;公司收购,取得该公司的在线服务软件,并开展业务;公司推出,并在美国各地建立庞大的数据中心;也将云计算标准作为全球备份中心扩展方案的一部分。 2009年12月,因特网数据中心发布的2010年和电信行业十大预测中指出云计算将扩张并走向成熟,会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联系起来的服务。 1云存储技术云存储系统与传统存储系统相比,具有如下不同第一,从功能需求来看,云存储系统面向多种类型的网络在线存储服务,而传统存储系统则面向如高性能计算、事务处理等应用;第二,从性能需求来看,云存储服务首先需要考虑的是数据的安全、可靠、效率等指标,而且由于用户规模大、服务范围广、网络环境复杂多变等特点,实现高质量的云存储服务必将面临更大的技术挑战;第三,从数据管理来看,云存储系统不仅要提供类似于的传统文件访问,还要能够支持海量数据管理并提供公共服务支撑功能,以方便云存储系统后台数据的维护。 基于上述特点,云存储平台整体架构可划分为4个层次,自底向上依次是数据存储层、数据管理层、数据服务层以及用户访问层。 云存储平台整体架构如图1所示。 1数据存储层云存储系统对外提供多种不同的存储服务,各种服务的数据统一存放在云存储系统中,形成一个海量数据池。 从大多数网络服务后台数据组织方式来看,传统基于单服务器的数据组织难以满足广域网多用户条件下的吞吐性能和存储容量需求
基于云技术的存储方案 大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。 传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。 基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。 尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P随处可见，智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市，大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。 目前市场上的存储架构如下：
（1）基于嵌入式架构的存储系统 节点NVR架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房，存储容量相对较小，用户体验度、系统功能集成度要求较高。在市场应用层面，超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。 （2）基于X86架构的存储系统 平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。 此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。对于IPSAN而言，虽然在ISCSI环节数据并发读写传输速率有所消耗，但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点，仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发读写对千兆网络交换提出了较大的挑战，但应用FCSAN构建相对独立的存储子系统，可以有效解决上述问题。 面对视频监控系统大文件、随机读写的特点，平台SAN架构系统不同存储单元之间的数据共享冗余方面还有待提高;从高性能服务器转发视频数据到存储空间的策略，从系统架构而言也增加了隐患故障点、ISCSI带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端数据较少。上述问题催生了平台NVR架构解决方案。 该方案在系统架构上省去了存储服务器，消除了上文提到的性能瓶颈和单点故障隐患。大幅度提高存储系统的写入和检索速度;同时也彻底消除了传统文件
龙源期刊网 https://www.doczj.com/doc/9a9522595.html, 浅谈云存储技术及其应用 作者：万娟 来源：《科学与财富》2015年第31期 摘要：云存储是将各种不同类型的存储设备通过软件联合起来协同工作，共同对外提供 数据存储服务。云存储服务相比于传统存储技术在数据安全性、可靠性、易管理性，调取速度等方面具有更大的优势。本文着重于云存储平台架构的4个层次：数据存储层、数据管理层、数据服务层以及用户访问层，并以最接近人们生活的云备份为例来研究和探讨。 关键词：云存储，信息安全，服务，云备份 1云存储技术介绍 云存储和传统存储方式相比，具有如下优势：第一，从功能上来看，云存储系统是很多种类型的网络在线存储服务的集合，而传统存储系统则面向硬件如高性能计算、大容量硬盘等硬件；第二，从性能上来看，云存储服务需要考虑的首要指标是数据的安全性、可靠性、效率性等，而且由于用户量多、服务范围大、网络环境复杂多变等特点，这都对高质量的云存储服务提出了更大的技术要求；第三，从数据管理上来看，云存储系统既要提供传统文件访问请求，还要提供支持大量数据管理和公共服务支撑等要求，以方便厂家对云存储系统后台数据的维护。 云存储系统平台主要可分为4个层次：数据存储层、数据管理层、数据服务层以及用户访问层[1]。 （1）数据存储层 数据存储层是云存储最基础的部分，它由各种各样的硬件存储设备和网络设备组成。同时还有一个存储管理系统，负责对硬件设备的集中管理，状态监控和维护升级等。云存储系统可以对外提供很多种存储服务，各种类型的数据统一放在存储系统中，形成一个海量数据池。从网络服务后台数据组织方式来看，传统的单服务器的数据组织难以满足多用户的同时访问；基于P2P的数据结构需要庞大的节点数量和复杂编码算法来支持和保证数据的可靠性。因此，基于多元化存储服务器的数据存储方法能够更好满足不同地理区域的用户的需求。在用户规模较大时，构建分布式数据中心能够为不同地理区域的用户提供更好的服务质量。 （2）数据管理层 数据管理层是云存储最为核心的部分，也是最复杂的部分。该管理层采用的一般都是集群管理和分布式存储的方式，在满足可扩展性的同时，也满足了用户对可用性及性能的需求，它还负责对数据进行加密、备份及冗余等任务。云存储系统架构中的数据管理层可以为它的上一层提供不同服务间统一的管理视图。还可以通过用户管理、安全管理、副本管理及策略管理等
云存储 发展现状总结
云存储技术的发展现状总结 起初，云存储作为在存储领域兴起的一种新技术，将复杂的存储架构和组织管理封装在系统内部，而对上层系统提供统一、灵活、安全的“云存储服务”，由此将存储建设从系统建设上升到服务建设，对于存储的关注也达到空前的高度。然而随着需求的不断加深，以及对“服务”定义的多元化，云存储技术也如落入平静湖面的石子，激荡出一层又一层的波澜。 一、云存储的现状与创新 在安防行业中，存储的存在形式较为多样，传统如DVR/NVR、SAN、NAS等。各种存储方案的存在均满足于安防行业特定场景变化的需要和受力于市场作用的结果。云存储技术作为存储技术中的一项重大革新，在安防行业中的多项场景应用中填补了空白，同时随着技术创新的不断深化，在传统建设领域上的应用上也出现的云存储的身影。 在满足小型视频监控的需求时，用户通常会倾向于DVR或者NVR，当规模再大一些时会使用SAN或者NAS存储方案。而随着规模的不断加大，庞大存储系统的整合、资源利用率的提升、存储服务获取和管理的便利性等方面传统存储方式的弊端也非常明显，而云存储的产品化应用无疑是行业中的亮点。 随着云存储技术的发展创新，以及对多种用户场景的兼顾和调整。云存储的创新方向有以下3个方面： 1、云存储安防化发展与创新; 2、云存储小型化发展与创新; 3、云存储安防民用化的发展与创新。 不同发展方向指向不同用户场景需要，云存储技术无论如何演进，以用户为中心的理念从未改变。 二、云存储安防化发展与创新 虽然明确运用云存储技术作为主流存储技术应用于安防行业的共识并未改变，然而通用云存储在具体业务使用时却忽视了与安防行业的整合。因此迫切需要通过云存储技术与安防具体业务进行整合、优化、创新可提升整体业务的耦合度，优化存储流程，降低环节消耗。具体云存储安防化的思路下可以从以下几个方案进行优化。
1 云存储概况 1．1云存储的定义 云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。 云存储的两个层面 云存储的两个层面是作为云计算支撑的存储计算，主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAID、CDP、快照、备份与容灾)等技术领域，如图8-30所示，
和云安全技术一样，云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术，才能取得最佳效果，例如，对应不同需求，有时应该使用数据库技术但有时却应该使用LDAP技术，有些性能要求高的系统不能使用SAN或NAS，需直接使用基于RPC或Socket技术的并发文件系统，有些应用使用SAN成本太高等，这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS和 VMWare vShpere 4技术打造的存储系统，对上述两种云存储技术和应用都有促进作用。 由于业内没有统一的标准，各厂商的技术发展路线也不尽相同，因此相对于云计算，云存储概念存在更多的多义和模糊现象。结合云存储技术发展背景及主流厂商的技术方向，可以得出如下定义：云存储不是指某一个具体的设备，而是