大数据导论 第11章 数据科学与数据科学家

12
11.2
数据分析生命周期模型
11.2 数据分析生命周期模型
数据分析生命周期模型（Data Analytics Lifecycle）是一个用于分析型项目的流 程框架。
通常很多问题看上去相当复杂难解，但是一个定义良好的流程能够帮助数据科学
家将复杂的问题分解成更容易处理的小步骤。使用一个好的流程去进行分析是极 其重要的，因为它既有助于实现全面且可重复实施的分析方法，又可以让数据科
11.1 什么是数据科学
商业智能的典型技术和数据类型包括：
标准和满足特定需求的报表、信息面板、警报、查询及细节； 结构化数据、传统数据源、易操作的数据集。
数据科学可以简单地理解为预测分析和数据挖掘，是统计分析和机器学习技术的 结合，用于获取数据中的推断和洞察力。相关方法包括回归分析、关联规则（比
势，而是要大家一起研究，融合跨界研究，数据才会产生财富。
7
11.1
什么是数据科学
11.1 什么是数据科学
每当提及“数据科学”（data science，图11-2），人们总会联想到另一个含义相 近的名词一一“商业智能”（Business Intelligence，BI）。商业智能致力于使用
一组统一的衡量标准来评估企业过去的绩效指标，并用于后续的业务规划。这包
括建立关键绩效指标（Key Performance Indicator，KPI），用于表示评估业务 的最基本的衡量标准。测量尺度和关键绩效指标通常都是在联机分析处理模式
（OLAP schema）中定义，使得商业智能报表的内容能够基于已定义的衡量标准。
9
11.1 什么是数据科学
图11-2 数据科学
10
对于大数据研究的难点，很多人把数据公开列在第一位。对于政府部门的难点在于 公开的尺度，另外是否有能力把数据用好。而指望商业公司拿出数据，不现实，因 为这些数据的获得是商业公司的投入。 另外，大数据人才也是一个重要问题。现在的问题是既对行业熟悉，又能融合创新
的顶类人才稀少。现在要让企业和研究者明白一点，数据不是在谁手中，谁就有优
创建并文档化一个流程将有助于展示项目的分析结果的严谨性。当我们谈及发现 的结果时，这将能为项目提供额外的可信度。这个流程还使我们能够去教别人如
何使用这些方法和分析，以使得它是可以在下个季度、下一年或者被新的员工重
复使用的。
15
11.2 数据分析生命周期模型
与着眼于获取关键绩效指标或者实现信息面板功能的项目相比，数据科学项目还 是会有些相似的步骤。例如，对于任何新的项目，还会有“探索发现阶段”，只
问题体系尚不明朗，数据科学自身的发展尚未wenku.baidu.com体系。
第三是跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重 大趋势。大数据技术发展的目标是应用落地，因此大数据研究不能仅仅局限于计算 技术本身。
5
【导读案例】智能大数据分析成热点
大数据将与物联网、移动互联、云计算、社会计算等热点技术领域相互交叉融合， 产生很多综合性应用。近年来计算机和信息技术发展的趋势是，前端更前伸，后端 更强大。物联网与移动计算加强了与物理世界和人的融合，大数据和云计算加强了 后端的数据存储管理和计算能力。今后，这几个热点技术领域将相互交叉融合，产
果的商业价值相对较低；而数据科学更着眼于新数据和对未来的预测，其商业价
值相对更高。但是，它们并不存在一个明确的划分，只是各有偏重而己。 大数据需要数据科学，数据科学要做到的不仅是存储和管理，而是预测式的分析
（比如如果这样做，会发生什么）。数据学科是统计学的论证，真正利用到统计
学的力量。只有这样才能够从数据中获得经验和未来方向的指导。但是，数据科 学并非简单的统计学，需要新的应用、新的平台和新的数据观，而不仅是现有的 传统的基础架构与软件平台。
如市场购物篮分析）、优化技术和仿真（比如蒙特卡罗仿真用于构建场景结果）。
数据科学的典型技术和数据类型包括：
优化模型、预测模型、预报、统计分析；
结构化/非结构化数据、多种类型数据源、超大数据集。
11
11.1 什么是数据科学
商业智能和数据科学都是企业所需要的，用于应对不断出现的各种商业挑战。商 业智能和数据科学有不同的定位和范畴，商业智能更关注于过去的旧数据，其结
3
【导读案例】智能大数据分析成热点
图11-1 数据科学
4
【导读案例】智能大数据分析成热点
曾经对2015年大数据发展做过预测，共有10个方面。首先就是结合智能计算的大数 据分析成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他 相关技术结合，成为大数据分析领域的热点。 第二点是数据科学将带动多学科融合，但是数据科学作为新兴的学科，其学科基础
第 11 章 数据科学与数据科学家
目录
1 什么是数据科学 2 数据分析生命周期模型 3 数据科学家
4 数据科学的重要技能
5 【延伸阅读】基于技能的改善数据科学实践的方法 6 【实验与思考】了解数据科学，熟悉数据科学家
2
【导读案例】智能大数据分析成热点
2012年，“大数据”一词开始大热，几年来，已经在商业、工业、交通、医疗、社 会管理等多方面有了应用，如今，已经少有人讲重要性，更多是应用、技术以及最 底层的算法。
学家把必要的精力尽早地放在那些可以掌握问题重点的步骤中。
14
11.2 数据分析生命周期模型
人们经常不愿意花太多的时间去做大量的计划、调研或者问题解构等工作，而是 急于开始收集和分析数据。这样做很可能出现的结果是：项目成员在中途发现正
在尝试解决的问题和项目发起人的目的截然不同或者与之前沟通的结果不一样。
生很多综合性应用。
此外，十大趋势还包括：大数据多样化处理模式与软硬件基础设施逐步夯实；大数 据的安全和隐私问题持续令人担忧；新的计算模式将取得突破；各种可视化技术和 工具提升大数据分析；大数据技术课程体系建设和人才培养是需要高度关注的问题； 开源系统将成为大数据领域的主流技术和系统选择。
6
【导读案例】智能大数据分析成热点
是侧重点不大一样。不同的是，数据科学项目更偏重于那些缺乏良好结构化的方
法和问题，有些流程会有不同，也会增加些新的步骤。比方说，对于一个商业智 能项目，由于不会用到分类模型，建立训练数据集是不需要的。但是对于一个数