大数据中心建设方案
- 格式:doc
- 大小:2.29 MB
- 文档页数:17
大数据中心建设方案
一、项目背景
“十三五”期间,随着我国现代信息技术的蓬勃发展,信息化建
设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用
等技术为核心的“新IT ”浪潮风起云涌,信息化应用进入一个“新
常态”。*** (某政府部门)为积极应对“互联网+”和大数据时代的
机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。
大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平
台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发
展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。
二、建设目标
大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政
务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发
1
展。
1、制定统一信息资源管理规范,拓宽数据获取渠道,整合业务
信息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。
2、梳理各相关系统数据资源的关联性,编制数据资源目录,建
立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。
3、在大数据分析监测基础上,为政府把握经济发展趋势、预见
经济发展潜在问题、辅助经济决策提供基础支撑。
三、建设原则
大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省
经济持续健康发展。
1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段性任务,科学规划建设项目。先期完成
大数据平台的整体架构建设,后期分步完成业务系统的整合及相互间数据共享问题。
2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息标准资源库和数据规范,逐步消灭“信息孤岛”,加快推进数据资源整合,建设共享共用的大数据中心,实现业务协同。
3、突出重点、注重实效。以用户为中心,以需求为导向,以服务为目的,突出重点,注重实效,加强平台可用性和易用性。
4、深化应用、创新驱动。深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。
四、建设方案
为了保证项目的顺利进行和建设目标的可行性,我们采取如下几种建设方案。
1、数据采集方案。
我们统一信息资源标准规范,建立多维度数据库,拓宽数据来源,通过不同的方式汇聚数据,增强分析力度,提高监测预警
的准确性和时效性。
1、预留接口,支持其它系统各种数据的上传导入处理。将
现存有关经济运行业务系统中的历史数据和时效数据,通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来,在本平台上复用。
2、支持外接数据的上传导入处理。可以将企业单位或定点
监测机构的数据通过同样的方式采集起来,在本平台上复用。
3、支持非结构化数据,即搜索引擎数据、社交媒体数据、
地理空间数据和音视频数据等等。
2、数据分析方案。
大数据之大并不是难点所在,其真正难以对付的挑战来自于数据类型多样、要求及时响应和数据的不确定性,而我们所面临的也正是如此。
我们采用批量数据处理系统,借助于深度学习、知识计算和可视化等大数据分析技术,通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。
3、业务整合方案。
在对社会发展相关业务子系统充分调研基础上,结合项目需求,可对其进行整合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。
1、整合处理。将原有数据通过上传或导入方式进行采集,
原有功能模块整合到本平台中,合二为一,完美的将数据汇聚起来。缺点是耗时较长。
2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本
平台中,作为子系统单独存在。缺点在于数据共享难以实现。
五、建设内容
1、宏观经济监测预测及可视化平台
政府信息化的最终目标是提高政府的决策水平,其中经济决策是核心内容。为了提高宏观调控决策水平,我们必须从依靠传
统统计数据向依靠互联网非统计数据转变,从监测预测宏观经济
总量向监测预测宏观经济先行指标转变,从中长期监测预测向实
时监测预测转变。
宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资源,建设以“容量大、形式多、分类细、响应快”为目标的宏观经济监测预测数据库,构建基于互联网数据的宏观经济非统计指标监测预测应用平台。
围绕重点产业活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、外贸订单变化趋势等方面,构建大数据宏观经济先行指标和现时预测指标库,研究能客观、准确反映我省宏观经济运行状况的指标体系,编制“山东指数”。
在健全完善监测预警数据库的基础上,充分运用大数据技术
和理念,加强数据挖掘力度,强化定量分析,建立宏观经济分析
系列模型,切实提高预测分析的前瞻性、准确性和可靠性。
积极拓宽信息发布渠道,建立可视化平台,采用Unity3D 引擎,三维界面高度仿真,所见即所得。平台针对多源易构的海量
数据,通过数据处理、存储管理、可视化交互分析等技术,实现
图形化数据查询、可视化关联分析、证据链和情报线索发掘等功
能。利用预测信号灯系统,形象地刻画出宏观经济总体运行状况,分析经济波动原因,及时了解各地区经济发展的不平衡性,准确
判断和测定经济景气循环运行状态,提高宏观经济决策水平。
2、企业信用监测预警服务平台
企业信用危机不仅给社会带来严重危害,也是关系到企业自
身生死存亡的重大事件,它是中国企业乃至中国市场经济发展的
巨大障碍。因此,建立企业信用危机的预警机制和管理机制,对
企业信用危机进行有效的预警及管理是十分重要的。
企业信用监测预警服务平台,全面整合社会信用监管信息和
社会公众反映信息,通过整理归类与加工,将这些信用危机信息
转化为可以量化的指标体系,按照失信行为的严重程度和影响范