数据分析处理需求分类
1 事务型处理
在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点:
一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。
二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列;
三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。
四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成；
五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术.
在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。
在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑.
事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析
数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等．
数据统计分析特点包括以下几点:
一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现．
三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计；
传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。
另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。
3 数据挖掘
数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
数据挖掘主要过程就是:根据分析挖掘目标,从数据库中把数据提取出来,然后经过ＥＴL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统得数据挖掘软件,一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。
数据挖掘得计算复杂度与灵活度远远超过前两类需求。一就是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算,衍生变量多变导致数据预处理计算复杂性；二就是很多数据挖掘算法本身就比较复杂,计算量就很大，特别就是大量机器学习算法,都就是迭代计算,需要通过多次迭代来求最优解，例如K-ｍeans聚类算法、ＰａｇeRaｎk算法等。
因此总体来讲，数据分析挖掘得特点就是：
１、数据挖掘得整个计算更复杂，一般就是由多个步骤组成计算流,多个计算步骤之间存在数据交换，也就就是会产生大量中间结果，难以用一条sｑl语句来表达.
2、计算应该能够非常灵活表达,很多需要利用高级语言编程实现。
二大数据背景下事务型处理系统相关技术
在goｏglｅ、ｆacｅbook、tａobaｏ等大互联网公司出现之后，这些公司注册与在线用户数量都非长大,因此该公司交易系统需要解决“海量数据＋高并发+数据一致性+高可用性”得问题。
为了解决该问题,从目前资料来瞧,其实没有一个通用得解决方案,各大公司都会根据自己业务特点定制开发相应得系统,但就是常用得思路主要包括以下几点: (1)数据库分片，结合业务与数据特点将数据分布在多台机器上.
(2）利用缓存等机制,尽量利用内存，解决高并发时遇到得随机IO效率问题。
（3）结合数据复制等技术实现读写分离,以及提高系统可用性．
（4）大量采用异步处理机制,对应高并发冲击。
（５）根据实际业务需求,尽量避免分布式事务。
1相关系统介绍
1) 阿里CORBＡＲ系统
阿里COＢAR系统就是一个基于ＭYSＱL数据库得分布式数据库系统,属于基于分布式数据库中间件得分布式数据库系统。该系统就是前身就是陈思儒开发得“变形虫＂系统（以前调研过),由于陈思儒离开阿里去了盛大,阿里当心“变形虫"稳定性等问题,重新开发该项目。
该系统主要采用数据库分片思路,实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可,因此相对真正并行数据库集群(例如TeraData等),此类系统提供操作没有也不需要提供一些复杂跨库处理,因此该系统存在以下限制:
（1)不支持跨库得ｊoin、分页、排序、子查询.
（2)insｅrt等变更语句必须包括拆分字段等。
（3）应该不支持跨机事务(以前变形虫不支持)。
说白了此类系统不具备并行计算能力，基本上相当于数据库路由器!
另外此类系统得在实际应用得关键问题就是,根据什么对数据进行切分，因为切分不好会导致分布式得事务问题。
2）阿里OceａnBａse系统
该系统也就是淘宝为了解决高并发、大数据环境下事务型处理而定制开发得一个系统。该系统主要思路与特点如下:
