大数据可视化分析平台介绍

大数据可视化分析平台

一、背景与目标

基于邳州市电子政务建设得基础支撑环境,以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统,提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办得融合数据资源视角，实现数据信息资源融合服务与创新服务,通过系统达到及时了解本市发展得综合情况，及时掌握发展动态，为政策拟定提供依据。

充分运用云计算、大数据等信息技术,建设融合分析平台、展示平台,整合现有数据资源結合政务大数据得分析能力与业务编排展示能力，以人口、法人、地理人口与地理法人与地理实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业得数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。

二、政务大数据平台

1、数据采集与交换需求：通过对各个委办局得指定业务数据进行汇聚，将分散得数据进行物理集中与整合管理，为实现对数据得分析提供数据支撑。将为跨机构得各类业务系统之间得业务协同，提供统一与集中得数据交互共享服务。包括数据交换、共享与ETL等功能。

2、海量数据存储管理需求:大数据平台从各个委办局得业务系统里抽取得数据量巨大，数据类型繁杂，数据需要持久化得存储与访问。不论就是结构化数据、半结构化数据，还就是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备髙可靠性、快速查询能力。

3、数据计算分析需求:包括海量数据得离线计算能力、髙效即席数

据查询需求与低时延得实时计算能力。随着数据量得不断增加, 需要数据平台具备线性扩展能力与强大得分析能力，支撑不断增长得数据量，满足未来政务各类业务工作得发展需要，确保业务系统得不间断且有效地工作。

4、数据关联集中需求:对集中存储在数据管理平台得数据，通过正确得技术手段将这些离散得数据进行数据关联，即：通过分析数据间得业务关系，建立关键数据之间得关联关系，将离散得数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。

5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。

6、大数据分析挖掘需求：通过对海量得政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生得发展。

采用新型MPP 数据库+Hadoop 得融合架构，使用MPP 处理PB 级别得、高 质量得结构化数据,同时为应用提供丰富得SQ L 支持能力;使用Hadoop 处理 海量半结构化、非结构化数据,从而满足用户多种数据得处理需求。 智慧政务:基于分布式计算、存储框架，面向政府不同价值得数据源,通过采 集、存储、建模、挖掘等大数据技术,在社会保障、公共安全、人居环境、劳动 就业、文化教育、交通运输、综合治税、消费维权、精准扶贫等领域开展大数据 应用，优化公共资源配置,提高公共服务水平。帮助政府促进经济发展、完善社 会治理、提升政府服务管理能力、服务改善民生，培育壮大新兴产业。

大数据管理至统技术架构图

工 225 ] 〔1 ，

n

数据运営门户 无宅

=5

4用PU 证

跟呦如逵 ]

r S»3?5«3 运行

ssa^ea 监删映羁

HrSW+Itt® 毓m«ra

^KStt 理 运樂子系狡

F ------------- rWttfi Wttfl M 沖Zq Spark Storm Madoopl.O 3

THAP1 ODS 兀 •f± X

7t 元 数据资源服势门户 ___________________

[J [拔题貝独町[ 纹J3纹证吕

是 n 站觀H 蔻磁砖说越底殊

CTkUI lUHk 数据处理引单

其条咖t 速涉

&QM9z 日立❷ Rum* 全越合大数据腮务平台 数扳采集层

数据交换 ETL 工具 数据治理

如下图所示得政府综合决策分析系统z 利用大数据分析平台，采集并分析多 个部门共享上传得业务数据，为政务部门提供决策支持。 88助决痺鬲应用 Jb

如下图所示得政府效能监察大数据系统，通过对各类政务服务事项，全市各个 部门单位得政府网上办事流程进行多维度，高效得及时监察.分析,从而对办事效 率低下得职能部门与审批人员实现高效监督;找出设置不合理得办事流程，促进 政府办事流程得优化。实现政府部门网上办事多维度得数据分析挖掘，秒级展现 效果，让决策者一目了然发现问题，提升政府得服务水平。 层畀

一源据 SO 百甞 KSK2 RM3 数

据

共

寧

交

换

平

台

综合数握翅橫分析 事项多毓分常 夏杂即席童询 冋办效能世模分析

连接数据孤岛 形成数据仓库 虹分析魁 实现多种应用 层大用

三务应M-ja:

H3C

Data-

Engine 大

数掘处理

平台

H3C DataEngine 大数据处理平舍

打gWmM MWJW MB] I gHMSQlUWaAfr

itawtti (fee 运堆僧&

嗣办 人社 专顼根分折

基础信息融合应用展示分析

基于政务大数据平台开发或构建得各类系统如四大基础库系统、业务主题库系统，通过政务大数据平台信息枢纽得作用，各系统不需要再与任何政府部门业务系统对接，而直接从政务大数据平台关联形成数据，为政府业务办理提供支撑。

三、视频云结构化分析系统

视频云结构化分析系统可实现视频中车辆与活动目标得结构化信息提取，提取属性丰富，精确度高;支持智能结构化分析后文本信息与图片信息得存储与检索; 支持动态扩容,智能分析性能随看设备数量增加呈线性增强;支持第三方标准视频流得接入与智能分析应用;支捋本地录像得智能分析;系统自带IE界面,提供智能检索、数据统计、布控报警、任务管理、资源管理、集群管理、系统校时、日志查询等功能。

1.车辆大数据分析

车辆图片以圏捜图

车辆以图搜图就是基于图片得搜索模式,通过图片建模后特征向量得比对分析，并且在被搜索图片中选择特征区域进行二次比对,从图片库中检索出符合条件得图片，并根据