大数据可视化数据治理技术解决方案

7、夯实运营基础，打造大数据综合运营能力
中国大数据未来五年发展趋势
产业规模
中国大数据产业规模年均增长率将超过50% 大数据产业包括应用市场、基础设施和软件市场
政策制度
建立数据标准和税务标准体系 政府与企业成立大数据相关部门
数据开放
2017年底形成政府跨部门数据资源共享共用格局 2018年底前建成国家政府数据统一开放平台，实
48%
53%
59%
53%
60%
56%
50%
40%
30%
20%
10%
116 172 264 420 643 1000 0%
2015 2016E 2017E 2018E 2019E 2020E
注：数据不包含基础设施部分 数据出处：工信部研究院
政府通过大数据实现管理创新，释放经济价值
大数据时代政府要领跑，需通过广泛采集数据、综合处理数据，实现公共服务的技术创新、管理创新和模 式创新，这是大数据时代的必然选择。
• 在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言；
案例二 • 聘请了20多名书评家和编辑组成的团队，在网页上创立“亚马 逊的声音”向客户推荐新书，写书评； • 通过客户的购买历史，寻找客户的相似性，对客户分群进行产 品推荐，推荐的总是与以往购买的相似或略有区别； • 通过大量的数据分析，找出书籍之间的关联关系，即“itemto-item”,时亚马逊发生了天翻地覆的变化。 • AMAZON销售额的三分之一来自于“item-to-item”的推荐系统 。 • AMAZON最终放弃了在线书评，书评团队被解散。
2015年我国大数据市场规模达116亿元，预计未来五 年50%高速增长
社会
法制法规逐步完善
已出台《电信和互联网用户个人信息保护规定》，但 仍存在诸多问题
技术
技术是基石，加大Hadoop、Spark投入
大数大据数应据用应仍用处仍于处初于级初技级术技阶术段阶段
来自百度文库
1,200
70%
1,000 800 600 400 200 0
的创新管理模式
“七步走”解决政府面临的大数据痛点
数据 分散
数据 保密
管理 机制
信息烟囱
1、设立专管机构，完善管理体系
利益 割据
技术标准 不统一
安全保障
2、整合数据孤岛，统一数据标准 3、构建数据汇聚体系，打通数据整合通道 4、设计数据存储策略，提升数据存储效率 5、打造完整数据治理体系 6、制订开放共享策略，促进数据融合安全发展
现公共数据资源合理适度向社会开放
大数据 远景
成为重要战略资源
大数据将成为企业、社会和国家层面重要的战略 资源
与云计算深度融合
云计算为大数据提供弹性可扩展的基础设施支 撑环境以及数据服务的高效模式
数据隐私标准建立
出台信息公开与个人隐私相关法规 明确数据隐私的标准和条例出台，保障数据安全
大数据综述
数据处理思维转变
数据关系力求明确清晰
少量的样本数据
乐于接受数据的纷繁复 杂
全量数据
探求难以捉摸的因果关系
要求数据精确无误
传统数据分析思维
数据处理思维转变
转而关注事物的关联关系
数据的精确不是那么重要了
大数据分析思维
案例一
• 谷歌翻译系统为了训练其系统，收集其能找到的所有翻译； • 谷歌收集了上万亿页的语料库，包括质量参差不齐的文档； • 上万亿的语料库，相当于950亿句英语； • 相对而言，谷歌的翻译质量还是最好的； • 谷歌翻译之所以更好，不是因为它拥有一个更好的算法机制，而是增 加了各种各样的数据，包括有错误的数据；
2020年，中国的数据总量将占全球数据总量比例的 20%，成为世界第一数据资源大国和全球数据中心。
2020年，中国大数据市场规模将达1000亿元
政策
国家级大数据战略陆续发布
十八届五中全会提出实施“国家大数据战略”，国务院发布《促 进大数据发展行动计划》、《大数据“十三五”规划》
市场
大数据市场规模50%高速增长
管
创新目标
理
供给侧改革
创
新型城镇化
简政放权
新
创新 举措
管理体制创新-碎片化到网格化管理 管理方法创新-数据开放，共享 管理模式创新-动态管理 管理方式创新-数据应用体系 科学决策-决策方式
1
三
步2
走
政府数据体系建设： 自有数据+外部数据
政府数据应用： 内部应用+外部应用
逐步建立服务政府，
3 提升效率，科学决策
随需服务：云计算使IT系统具备可扩展、可兼容性和可伸缩特性，使 IT系统能够快速使用和满足不断变化的电子政务应用系统的建设要求
国家大数据战略核心内容
加快建设数字中国
加快完善数字基础设施，推进数据资源整合和开放共享， 保障数据安全，加快建设数字中国，更好服务我国经济社 会发展和人民生活改善。
助力产业转型升级
资源共享：云计算能够使政府各部构门能够更好地共享信息化基础资
源，从而改变电子政务基 础设施使用率低、资源需求分散、系统重 复建设严重等问题
创新模式：云计算带来的建设和服务模式能够帮助政府机构将有限 的资源投入在核心任务和专业流程当中，市政府信息化工作重点从
资产管理转向服务管理
降低成本：利用云基础设施可以快速实施新新项目，从而节约时间 并降低部署成本，提高政府运行效率，更快响应公众需求
目录 Contents
第一章 建设背景&需求分析
1、国家大数据战略
2、大数据综述
第二章 大数据可视化平台建设
第三章 大数据平台数据治理方法
第四章 大数据质量管理平台
1 建设背景及需求分析
中国大数据发展战略
十三五信息化：云计算+网络+大数据+安全
云计算在放大资源支撑能力、创新的建设和服务模式等 方面的特点，使它成为新型电子政务建设的基础技术架
深化大数据在各行业的创新应用，探索与传统产业协同发展新业态新模式，加快完善大数据产业链。加快海量数据采集、存储、清洗、分析发掘、可视化、安全与隐 私保护等领域关键技术攻关。促进大数据软硬件产品发展。完善大数据产业公共服务支撑体系和生态体系，加强标准体系和质量技术基础建设。
中国大数据正处于高速发展的窗口期，国家政策大力支持
把大数据作为基础性战略资源，全面实施促进大数据发展 行动，加快推动数据资源共享开放和开发应用，助力产业 转型升级和社会治理创新。
全面推进重点领域大数据高效采集、有效整合，深化政府数据和社会数据关联分析、融合利用，提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。依 托政府数据统一共享交换平台，加快推进跨部门数据资源共享共用。加快建设国家政府数据统一开放平台，推动政府信息系统和公共数据互联开放共享。制定政府数据共 享开放目录，依法推进数据资源向社会开放。统筹布局建设国家大数据平台、数据中心等基础设施。研究制定数据开放、保护等法律法规，制定政府信息资源管理办法。