当前位置：文档之家 › 大数据导论-第3章[23页]

大数据导论-第3章[23页]

  • 格式：pptx
  • 大小：2.97 MB
  • 文档页数：23

下载文档原格式

  / 23

合集下载

大数据导论 第3章 大数据采集与预处理

大数据导论 第3章 大数据采集与预处理

数
据
原始数据（有噪声、数据质量差），不能直接用于数据分析，有结构
裸 数
但不统一。
据
23 . 1 认数 识 据 h a d o o p
第三二章 大数据生采态集系与统预处理
(3)从价值角度，把数据分为：线上数据（热数据，流动数据）和线下数 据（冷数据、静态数据），线上数据比线下数据更有价值。
23 . 1 认数 识 据 h a d o o p
第三章 大数据采集与预处理
3.1 数据 3.2 数据采集 3.3 数据清洗 3.4 数据变换 3.5 网络爬虫
3.2 数据采集
第三章 大数据采集与预处理
3.2.1 数据采集分类
(1)按采集频率分：静态数据采集、低频数据采集、高频数据采集。
历史数据 人事档案
借阅信息 就业信息
静态数据
股票交易 日志
23 . 1 认数 识 据 h a d o o p
第三二章 大数据生采态集系与统预处理
度量是计算用的量化数值，而维度是描述事物的各种属性信息。 虽然度量都是数值，但是数值不一定是度量，比如订单ID是数值， 但它不是度量而是维度，像时间、文本类的数据都是维度。 注意： (1)维度和度量是可以转换的。比如要看“年龄”的平均数，这里的“年 龄”就是度量，要看19岁用户的订单情况，这里的“年龄”就是维度。对于 一个数据项而言，到底它是维度还是度量，是根据用户的需求而定的。 (2)维度可以衍生出新的维度和度量，比如用“地区”维度衍生出一个 大区维度，“北京”、“天津”都对应“华北大区”，或者用“年龄”维度衍生出 一个年龄范围维度，20到29岁=“青年人”，30到39岁=“中年人”，40到49 岁=“资深中年人”。再比如上述的平均年龄，就是用“年龄”维度衍生出一 个度量。 (3)度量也可以衍生出新的维度和度量，比如用“订单金额”度量衍生 出一个金额范围维度，100元以下对应“小额订单”，500元以上对应“大额 订单”等等。再比如用“收入”度量和“成本”度量相减，可以得到一个“利润” 度量。

数据科学与大数据技术导论-第3章-大数据与云计算

数据科学与大数据技术导论-第3章-大数据与云计算

3.2.4 云平台技术
谷歌云平台
谷歌云平台主要由网络系统、硬件系统、软件 系统和应用服务组成。
网络系统：包括了内部网络与外部网络。 硬件系统：包括服务器、整合服务器的服务器 机架和连接服务器机架的数据中心。 软件系统：包括每个服务器的单机操作系统和 底层软件系统，底层软件系统有文件系统等。 应用服务：主要包括内部使用的软件开发工具、 PAAS平台服务和SAAS服务。
· 扩展安全性能 · 控制成本 · 引入新技术
3.1.4 云计算的分类
差异点
合同形式 标准化程度 建设模式 盈利模式
周期 云服务商成本
运营模式 用户关注点 客户群体
公有云
租用制（产品化程度不明显） 高，自服务，定制化少
投入成本设计建设机房，提供客户租用 后续收取租用费用（单个订单收费较低）
5-10年后规模效应盈利 高昂（需建设机房） 规模化服务、长期运营回收成本 价格敏感，使用便捷 中小型传统企业、互联网企业及个人
03
单用户单处理机模式
多个用户可通过分 时技术共享单处理机的 资源，这种计算方式也 被称为集中式计算。
03
分布式计算模式
3.1.1 云计算的概念
云计算的定义
狭义的云计算：服务提供商通过分布式 计算和虚拟化技术建立数据中心或超级计算 机，为用户提供数据存储、科学计算等服务。
广义的云计算：服务提供商通过建立网 络服务器集群，向不同类型的客户提供在线 软件使用、数据存储、硬件借租等服务。
3.1.1 云计算的概念
云计算的优势
云计算大大消 减了企业信息化的 成本投入，按需付 费降低了信息化投 资，使企业重心转 向业务，提高工作 效率和企业的利润。
对企业
对个人

数据科学导论教学课件(共8章)-第3章大数据生态系统

数据科学导论教学课件(共8章)-第3章大数据生态系统

记录
心的传输网络。
汇集
预处理
转换
数据需要我们根据业务模型与应用
需求进行筛选，之后通过传具主要是前端的各类数据
2
采集装置。
原始数据存在着多种可用性不强的
问题，比如缺失值、异常值等问题，
需要在处理之前进行必要的预处理。
从该阶段开始，数据信息进入数据
4
中心，为应对实时海量数据，需要
An Example of OpenMP
#include <stdio.h> #include <stdlib.h> #include <omp.h>
int main(int argc, char* argv[]) { // 编译原语 # pragma omp parallel for for(int i = 0; i < 10; ++i)
5
分析
底层处理上，数据以二进制信息的 形式参与，而模拟形式更适合人类 理解。该阶段便将分析结果以图表 形式展现出来，形象且直观。可视 化工作的运行依赖计算、存储与网 络资源，依赖可跨平台使用的专用 软件。
展现
它主要利用前期数据进行有监督或
无监督学习器的训练与优化，以让
数据“说话”，为后续工作提供智
慧支持。此阶段需综合运用计算资
数据科学 导论
Chapter 3
大数据生态系统
目录
CONTENTS
01 数据生态 02 并行与分布式处理 03 Hadoop, Spark, Storm
数据生态（数据是生命）
鉴于其海量、多样、高速与价值稀疏性，如何有效发现隐藏在数据背后的知识，或者“让数据说话”，是这个时代的 鲜明主题。把数据比作生命，我们可以根据其衍生、传播、转储、运行、展现与回收等不同阶段，兼顾数据特征与业务要求， 分别研发处理工具，对其进行有多级反馈的流水处理。该系统内含多个模块，模块间相互影响、彼此制约，在平衡中完成数 据治理，可谓大数据生态系统。

大数据导论 第3章 数据获取与处理

大数据导论 第3章 数据获取与处理
总结以上填充缺失值的方法可见：方法3)~6)填充的值都有可能不正确。但与其他方法相比，方法6) 是最常用和最可靠的填充缺失值的方法，它使用已有数据的大部分信息来预测缺失值。
赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）； 3. 原始数据中存在的问题：不完整，缺少属性值或仅仅包含聚集数据；
含噪声，包含错误或存在偏离期望的离群值；不一致，用于商品分类的 部门编码存在差异。
16
1. 数据存在的问题
1. 数据收集工具可能错误，数据记录中很多人为的或计算 机导致的的错误。
3.1大数据获取手段
目录
获取手段
爬虫技术
基本流程
爬虫策略
1. 数据获取手段
1. 通过传感器自动采集 2. 数据交易平台购买 3.利用网络爬虫爬取网页上的数据
3
2. 爬虫技术概念
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的 URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直 到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题 无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品 有：Oracle、Sql Server等。
7
3.网络爬虫的基本工作流程
（1）首先选取一部分精心挑选的种子URL； （2）将这些URL放入待抓取URL队列； （3）从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来，存储进 已下载网页库中。此外，将这些URL放进已抓取URL队列。 （4）分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循环。

大数据导论PPT全套完整教学课件2024新版

大数据导论PPT全套完整教学课件2024新版

NoSQL数据库
如HBase、Cassandra等，适用 于海量数据的存储和访问，支持 高并发读写和灵活的数据模型。
云存储服务
如Amazon S3、阿里云OSS等， 提供弹性扩展、按需付费的在线 存储服务。
分布式计算技术
1 2 3
MapReduce编程模型
将大规模数据处理任务拆成若干个可以在集群 中并行执行的小任务，实现数据的分布式处理。
数据质量定义及维度
阐述数据质量的定义，从准确性、完 整性、一致性、时效性等多个维度评
价数据质量。
数据质量评价标准
数据质量提升策略
介绍业界通用的数据质量评价标准， 如信息质量评估框架（IQAF）等。
探讨数据清洗、数据整合、数据变换 等数据质量提升策略及实施方法。
未来发展趋势预测及挑战应对
大数据与人工智能融合
政府信息公开与透明化建设
政府数据开放共享
通过大数据平台实现政府各部门间数据共享，提高政府决策效率和 透明度。
政策效果评估
利用大数据分析技术对政策实施效果进行实时监测和评估，为政策 调整提供依据。
舆情分析与应对
运用大数据技术对社会舆论进行实时监测和分析，帮助政府及时了 解民意，提高应对突发事件的反应速度。
ABCD
物联网技术体系
感知层、网络层、应用层
物联网在大数据中的应用案例
智能交通、智能家居、智能医疗等
边缘计算与雾计算在大数据中的作用
边缘计算概述
边缘计算的定义、特点、应用场景
雾计算概述
雾计算的定义、特点、与云计算的区别和联系
边缘计算与雾计算在大数据中的作用
降低数据传输延迟、提高数据处理效率、增强数据安全性
物理资源层、虚拟化层、平台管理层 、应用服务层

《大数据导论》复习资料

《大数据导论》复习资料

《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录：第1章大数据概述（1）大数据的概念（2）大数据的特征（3）大数据的数据类型（4）大数据的技术（5）大数据的应用第2章大数据采集与预处理（1）大数据采集（2）大数据预处理概述（3）数据清洗（4）数据集成（5）数据变换（6）数据规约第3章大数据存储（1）大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述（5）云存储技术（6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台（5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2）大数据分析的类型及架构（3）大数据挖掘（4）大数据关联分析（5）大数据分类（6）大数据聚类（7）大数据分析工具第6章大数据可视化（1）大数据可视化概述（2）大数据可视化方法（3）大数据可视化工具第7章社交大数据（1）社交大数据（2）国内社交网络大数据的应用（3）国外社交网络大数据的应用第8章交通大数据（1）交通大数据概述（2）交通监测应用（3）预测人类移动行为应用第9章医疗大数据（1）医疗大数据简介（2）临床决策分析应用（3）医疗数据系统分析第10章大数据的挑战与发展趋势（1）大数据发展面临的挑战（2）大数据的发展趋势一、客观部分：（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB.HBaseC.CassandraD.DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节：3.7附1.1.1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外，NewSQL数据库。

大数据导论智慧树知到答案2024年商丘工学院

大数据导论智慧树知到答案2024年商丘工学院

大数据导论商丘工学院智慧树知到答案2024年第一章测试1.大数据的前沿技术是（）。

A:数据定义B:数据结构.C:数据处理D:数据分析答案:D2.大数据赖以生存的土壤是（）。

A:互联网B:前沿技术C:物联网D:网络信息答案:A3.第三次信息化浪潮的标志是哪些技术的兴起？( )A:云计算B:大数据C:个人计算机D:物联网答案:ABD4.以下是大数据存储面临的挑战的选项是( )。

A:数据问题B:管理问题C:应用问题D:系统问题答案:BCD5.信息科技为大数据时代提供哪些技术支撑？( )A:网络带宽不断增加B:CPU 处理能力大幅提升C:存储设备容量不断增加D:数据量不断增大答案:ABC6.大数据产业指的是什么（）。

A:一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合B:提供分布式计算、数据挖掘、统计分析等服务的各类企业C:提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业D:提供数据分享平台、数据分析平台、数据租售平台等服务的企业答案:A7.万维网之父是 ( )。

A:蒂姆●伯纳斯-李B:彼得●德鲁克C:舍恩伯格D:斯科特布朗答案:A8.以下哪一项不属于大数据的特征（）。

A:数据价值密度高B:单位处理数据的速度高C:数据类型复杂D:数据量大答案:A9.大数据存储的特点与挑战有( )。

A:成本问题B:容量问题C:安全问题D:延迟问题答案:ABCD10.大数据可以帮助发现规律，大数据可以帮助解释现象，大数据可以帮助预测未来。

（）A:对 B:错答案:A第二章测试1.大数据的最显著特征是( )。

A:数据类型多样B:数据价值密度高C:数据处理速度快D:数据规模大答案:D2.下列不属于 Google云计算平台技术架构的是（）。

A:结构化数据表 BigTableB:分布式锁 ChubbyC:并行数据处理 MapReduceD:弹性云计算 EC2答案:D3.物联网的全球发展形势可能提前推动人类进入“智能时代”，也称（）。

大数据导论-教学大纲-大数据导论-张凯-清华大学出版社

大数据导论-教学大纲-大数据导论-张凯-清华大学出版社
授课方式:
主要以老师课堂授课为主，辅助少量的学生提问和讨论。
教学内容安排和要求:
第1章 专业学习要求
教学目的与要求：
通过本章学习，要求学生达到：了解数据科学与大数据技术本科专业基本情况，专业定位，课程体系，知识点要求，学习方法，本专业的基本能力要求、创新能力要求和工程素质要求。
第2章 学科概述
教学目的与要求：
基本内容简介
主要包括：数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。
基本要求:
了解数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。通过学习，掌握以上相关课程中的一些基本概念，理解其相关技术和方法的基本原理。
教学目的与要求：
通过本章学习，要求学生达到：掌握程序的概念，计算机语言，软件的概念；掌握操作系统的基本功能，了解不同的操作系统；了解软件工程的基本概念，软件开发方法和软件开发工具；了解知识工程和数据工程的概念和区别，知识管理与数据管理的概念和区别，以及知件的概念。
第6章 数据采集与存储
教学目的与要求：
通过本章学习，要求学生达到：了解数据采集的概念、数据前期处理、数据传送方式、数据清洗和ETL技术；掌握数据结构几种基本类型，了解离散数学中的一些基本概念。掌握数据库的概念、关系数据库，范式等，了解联邦数据库和数据仓库的概念。
第7章 数据统计与分析
教学目的与要求：

大数据导论-思维、技术与应用 第3章 大数据预处理

大数据导论-思维、技术与应用 第3章 大数据预处理

数据削减
数据消减技术的主要目的就是用于帮助从原有巨大数据集中获得一个精 简的数据集，并使这一精简数据集保持原有数据集的完整性。数据削减 的主要策略有以下几种： 1. 数据立方合计：这类合计操作主要用于构造数据立方（数据仓库操
作）。 2. 维数消减：主要用于检测和消除无关、弱相关、或冗余的属性或维
（数据仓库中属性）。 3. 数据压缩：利用编码技术压缩数据集的大小。
数据集成处理
1. 模式集成（Schema Integration）问题 就是如何使来自多个数据源的现实世界的实体相互匹配，这其中就涉及 到实体识别问题。 例如： 如何确定一个数据库中的“custom_id”与另一个数据库中的 “custom_number”是否表示同一实体。 数据库与数据仓库的元数据可以帮助避免在模式集成时发生错误。
Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个
数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）
相同。
b in 中个 数
b in中个 数
等高bin
属性 值
等宽bin
属性 值
噪声数据处理
例如：
排序后价格：4,8,15,21,21,24,25,28,34
划分为等高度bin： —Bin1：4,8,15 —Bin2：21,21,24 —Bin3：25,28,34
例如：每天数据处理常常涉及数据集成操作销售额（数据）可以进行 合计操作以获得每月或每年的总额。
这一操作常用于构造数据立方或对数据进行多细度的分析。
数据转换处理
3. 数据泛化处理（Generalization）。所谓泛化处理就是用更抽象（更 高层次）的概念来取代低层次或数据层的数据对象。 例如：街道属性可以泛化到更高层次的概念，诸如：城市、国家。 对于数值型的属性也可以映射到更高层次概念 如年龄属性。如：年轻、中年和老年。

第三章 《大数据导论》大数据管理

第三章 《大数据导论》大数据管理
1989年，美国ANSI采纳在ANSI X3.135-1989报告中定义的关系数据 库管理系统的SQL标准语言，称为ANSI SQL 89，该标准替代ANSI X3.135-1986版本。
之后每隔一定时间ISO都会更新新版本的SQL标准，目前最新的版本 已经演进到2016。
02 结构化查询语言：SQL构成
新型数据管理与查询系统
2010年前后，美国谷歌公司为满足搜索业务的需求，推出了以分布式文件系统GFS （Google File System）、分布式计算框架MapReduce、列族数据库BigTable为代表的 新型数据管理与分布式计算技术。Doug Cutting领衔的技术社区研发了对应的开源版 本，在Apache开源社区推出，形成了Hadoop大数据技术生态，不断迭代发展出一系列 大数据时代的新型数据管理技术，例如面向内存计算的Spark大数据处理软件栈， MangoDB、Cassandra等各类型NoSQL数据库，Impala、SparkSQL等分布式数据查询技术 （Sql on Hadoop）。
数据管理的内涵 数据管理技术 数据管理技术是指对数据进行分类、编码、存储、索引和查询，是大数据 处理流程中的关键技术，负责数据从落地存储（写）到查询检索（读）的核心 系统。数据管理技术从最早人们使用文件管理数据，到数据库、数据仓库技术 的出现与成熟，再到大数据时代NoSQL等新型数据管理系统的涌现，一直是数 据领域研究和工程领域的热点。
属性域：生表
性别 年龄 图书证号 所在系
一个属性
S3001 张明 男 S3002 李静 女
22 B20050101 外语 21 B20050102 外语
一个元组
S4001 赵丽 女
21 B20050301 管理

大数据 第3章 数据采集与预处理

大数据 第3章 数据采集与预处理

互联网是大数据信息的主要来源，能够采集什么样的信息、 采集到多少信息及哪些类型的信息，直接影响着大数据应用功能 最终效果的发挥。信息数据采集需要考虑采集量、采集速度、采 集范围和采集类型，信息数据采集速度可以达到秒级甚至还能更 快；采集范围涉及微博、论坛、博客，新闻网、电商网站、分类 网站等各种网页；采集类型包括文本、数据、URL、图片、视频、 音频等。
3．物联网系统 物联网是新一代信息技术，其核心和基础 仍然是互联网，是在互联网基础上延伸和扩展 的网络，其用户端延伸和扩展到了任何物品与 物品之间，进行信息交换和通信，而其具体实 现是通过传感技术获取外界的物理、化学、生 物等数据信息。
4．科学实验系统 科学实验系统主要用于科学技术研究，可以由真实的实验产 生数据，也可以通过模拟方式获取仿真数据。 大数据的数据类型按来源可分为传统商业数据、互联网数据 与物联网数据。
物联网数据的主要特点如下。 （1）物联网中的数据量更大。 （2）物联网中的数据传输速率更高。 （3）物联网中的数据更加多样化。 （4）物联网对数据真实性的要求更高。
3.2 数据的采集方法
数据采集技术是数据科学的重要组成部分，已广泛应用于国 民经济和国防建设的各个领域，并且随着科学技术的发展，尤其 是计算机技术的发展和普及，数据采集技术具有更广泛的发展前 景。大数据的采集技术为大数据处理的关键技术之一。
大数据导论
第3章 数据采集与预处理
本章主要内容如下。 （1）大数据的来源。 （2）数据的采集方法。 （3）数据预处理流程。
3.1 大数据的来源
1．信息管理系统 企业内部使用的信息管理系统，包括办公自动化系统、业务 管理系统等。 信息管理系统主要通过用户输入和系统二次加工的方式产生 数据，其产生的数据大多数为结构化数据，通常存储在数据库中。

大数据导论(通识课版)-第3章-大数据技术(2020年春季学期)

大数据导论(通识课版)-第3章-大数据技术(2020年春季学期)

3.2.4 数据清洗
2.数据清洗的内容
整例删除 变量删除
适合关键变量缺失，或者含有无效值或缺失值的样本比重很 小的情况
如果某一变量的无效值和缺失值很多，而且该变量对于所研 究的问题不是特别重要，则可以考虑将该变量删除
成对删除
成对删除是用一个特殊码代表无效值和缺失值，同时保留数 据集中的全部变量和样本
数据清洗
数据转换操作
企业业务系统数据
3.2.4 数据清洗
数据清洗是指将大量原始数据中的“脏”数据 “洗掉”，它是发现并纠正数据文件中可识别 的错误的最后一道程序，包括检查数据一致性， 处理无效值和缺失值等。比如，在构建数据仓 库时，由于数据仓库中的数据是面向某一主题 的数据的集合，这些数据从多个业务系统中抽 取而来，而且包含历史数据，这样就避免不了 有的数据是错误数据、有的数据相互之间有冲 突，这些错误的或有冲突的数据显然是我们不 想要的，称为“脏数据”。我们要按照一定的规则 把“脏数据”给“洗掉”，这就是“数据清洗”
3.3.1 传统的数据存储和管理技术
数据库一般存储在线交易数据
数据库
数据库是面向事务的设计 数据仓库是面向主题设计的
数据仓库
数据仓库存储的一般是历史数据
3.3.1 传统的数据存储和管理技术
4数.并据行的数概据念库
并行数据库是指那些在无共享的体系结构中进行数据操作的数据库系统
这些系统大部分采用了关系数据模型并且支持SQL语句查询，但为了 能够并行执行SQL的查询操作，系统中采用了两个关键技术：关系表 的水平划分和SQL查询的分区执行
3.2.3 数据采集的数据源
3. 日志文件 数据的概念
日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控 的流量管理、金融应用的股票记账和Web服务器记录的用户访问行为。通过对这些日志信息 进行采集，然后进行数据分析，就可以从公司业务平台日志数据中，挖掘得到具有潜在价值的 信息，为公司决策和公司后台服务器平台性能评估，提供可靠的数据保证。系统日志采集系统 做的事情就是，收集日志数据，提供离线和在线的实时分析使用。

大数据导论 第3章 大数据采集及预处理

大数据导论 第3章 大数据采集及预处理

3.1 大数据采集
第三章 大数据采集及预处理
常用的数据采集的方式
大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、 多种传感器端、网页端、移动APP应用数据抓取
02 数据导入
03 物联网传感设备自动信息采集
3.1 大数据采集
大数据采集的研究分类
(2) Broker Broker采取了多种不同的策略来提高对数据处 理的效率。
(3) Consumer consumer的作用是将日志信息加载到中央存储系 统上。
3.1 大数据采集
系统日志采集方法
第三章 大数据采集及预处理
高可用性、高可靠性、可扩展性是日志收集系 统所具有的基本特征。常用的日志系统有 Hadoop的Chukwa、Cloudera的Flume、 Facebook的Scrible和LinkedIn的Kafka这些 工具大部分采用分布式架构，来满足大规模日 志采集的需求
第三章 大数据采集及预处理
03
3.1 大数据采集
Scribe
Scribe为日志收集提供了一种容 错且可扩展的方案。Scribe可以 从不同数据源，不同机器上收 集日志，然后将它们存入一个 中央存储系统，便于进一步处 理。当采用HDFS作为中央系统 时，可以进一步使用Hadoop进 行处理数据，于是就有了 Scribe+HDFS+MapReduce方案。
第三章 大数据采集及预处理
常用日志系统的采集工具考数据类型
Chukwa
Apache 的开源项目 hadoop，被业界广泛认可，很多大型企业都有了各 自基于 hadoop 的应用和扩展。当 1000+ 以上个节点的 hadoop 集群变得 常见时， Apache 提出了用chukwa的方法来解决。

《大数据导论》复习资料

《大数据导论》复习资料

《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录:第1章大数据概述(1)大数据的概念(2)大数据的特征（3）大数据的数据类型(4）大数据的技术(5）大数据的应用第2章大数据采集与预处理(1）大数据采集(2）大数据预处理概述（3）数据清洗（4）数据集成(5）数据变换（6)数据规约第3章大数据存储（1)大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述(5）云存储技术(6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台(5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2)大数据分析的类型及架构（3)大数据挖掘（4)大数据关联分析（5)大数据分类（6）大数据聚类(7)大数据分析工具第6章大数据可视化（1）大数据可视化概述(2)大数据可视化方法(3）大数据可视化工具第7章社交大数据（1)社交大数据(2）国内社交网络大数据的应用（3)国外社交网络大数据的应用第8章交通大数据（1)交通大数据概述（2）交通监测应用（3)预测人类移动行为应用第9章医疗大数据(1）医疗大数据简介（2）临床决策分析应用(3）医疗数据系统分析第10章大数据的挑战与发展趋势（1)大数据发展面临的挑战(2)大数据的发展趋势一、客观部分:（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB。

HBaseC.CassandraD。

DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节:3.7附1.1。

1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外,NewSQL数据库。

36022大数据分析导论[173页]

36022大数据分析导论[173页]
其次，数据表现出结构化和非结构化并存的状态。在Facebook中 ，用户发送的文字信息往往是非结构化的，而图片视频信息由于 格式协议的存在，我们可以把他们看成半结构或是结构化的数据 。因此数据处理任务表现的更为复杂。
Facebook的例子可以看成互联网时代下大数据处理的重要案例。
其公司的首席分析师Ken Rudin曾提到：“大数据关系到公司的生 死存亡”。
14
第二章大数据基本概念
2.1.2现代数据处理案例
Facebook作为一个在近几年里积累了超过14亿全球用户的社交网 络平台储存了大量的数据。从上图关于Facebook每月活跃用户数 量增长历史中可以清楚发现，截止至2017年，Facebook每月的活 跃用户人数超过20亿，这就意味着每月将会有20亿的用户在其平 台上产生数据[1]，因此这也使得它成为数据处理的标志例子之一 。根据2015年社交媒体报告指出 ，在Facebook平台上平均每天有 100亿条消息被发布，45亿个“赞”被点击，超过5亿的照片视频 被上传。
3
第一章 大数据导论
3. 人工智能的目标
人工智能的研究目标可分为远期目标和近期目标。远期目标是要制造 智能机器。具体来讲，就是要使计算机具有看、听、说、写等感知和交 互功能，具有联想、推理、理解、学习等高级思维能力，还要有分析问 题、解决问题和发明创造的能力。简言之，也就是使计算机像人一样具 有自动发现规律和利用规律的能力，或者说具有自动获取知识和利用知 识的能力，从而扩展和延伸人的智能。 从目前的技术水平来看，要全面实现上述目标，还存在很多困难。人工 智能的近期目标是实现机器智能，即先部分地或某种程度地实现机器的 智能，从而使现有的计算机更灵活、更好用和更有用，成为人类的智能 化信息处理工具。

第3章 大数据的商业规则

第3章 大数据的商业规则

9
大数据导论
3.1 大数据的跨界年度
商业社交网站领英（LinkedIn） 则使用大数据为求职者和招聘单位之间建立关联。有 了领英，猎头公司就不再需要对潜在雇员进行意外访问。只需一个简单的搜索，他们 就可以找到潜在雇员，并与他们进行联系。同样，求职者也可以通过联系网站上的其 他人，将自己推销给潜在的负责招聘的经理。领英的首席执行官杰夫•韦纳曾谈到该网 站的未来发展及其经济图表——一个能实时识别“经济机会趋势”的全球经济数字图 表。实现该图表及其预测能力时所面临的挑战就是一个大数据问题。
6
大数据导论
【导读案例】大数据企业的缩影——谷歌
除了存储搜索结果中出现的网站链接外，谷歌还存储人们的所有搜索行为，这就使
谷歌能以惊人的洞察力掌握搜索行为的时间、内容以及它们是如何进行的。这些对
数据的洞察力意味着谷歌可以优化其广告，使之从网络流量中获益，这是其他公司 所不能企及的。另外，谷歌不仅可以追踪人的行为，还可以预测人们接下来会采取 怎样的行动。换句话说，在你行动之前，谷歌就已经知道你在寻找什么了。这种对 大量的人机数据进行捕捉、存储和分析，并根据这些数据做出预测的能力，就是我 们所说的大数据。
分析者预测，截至2015年，亚马逊营收将超过1 000亿美元，即将超过沃尔玛，成
为世界最大的零售商。如同谷歌一样，亚马逊也要处理海量数据，只不过它处理 的数据带有更强的电商倾向。每次，当消费者们在亚马逊网站上搜索想看的电视
节目或想买的产品时，亚马逊就会增加对该消费者的了解。基于消费者的搜索行
为和产品购买行为，亚马逊就可以知道接下来应该为消费者推荐什么产品。
3
大数据导论
【导读案例】大数据企业的缩影——谷歌
图3-1 Google（谷歌）总部
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据导论
3.1 大数据采集 3.2 数据预处理 3.3 ETL技术及其工具 【思考题】
3.1 大数据采集
3.1.1 大数据采集简介
1．大数据的来源
世上本没有数据，一切数据都是人为的产物。大数据主要来源于现实世界、人类记录和计算机生成三
个方面，如图3-1所示。
传统意义上的“数据”，是指“有根据的数字”，数字之所以产
集设备和应用软件。
数据采集的限制因素：资源有限。
数据采集的目标：有价值数据最大化，无价值数据最小化，和现实对象的偏差最小化。
数据采集的特殊要求：可靠性、时效性。
3．多源数据的采集方式
1）软件接口对接方式
2）开放数据库方式 3）基于底层数据交换的数据直接采集方式
4．影响数据采集准确性的原因
1）网络异常 2）统计口径不同
1．Apache Flume Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。Flume最初是由Cloudera的工程师设计用于合并 日志数据的系统，后来逐渐发展用于处理流数据事件。 2．Fluentd Fluentd是另一个开源的数据收集框架，如图3-10所示。Fluentd使用C/Ruby开发，使用JSON 文件来统一日志数据。它的可插拔架构支持各种不同种类和格式的数据源和数据输出。它同时提供了 高可靠性和很好的扩展性。Treasure Data对该产品提供支持和维护。
传感 ///
3．用于采集互联网信息的网络爬虫 网络爬虫（Web Spider）又称网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚 本。 4．群智感知技术 与传统感知技术依赖于专业人员和设备不同，群智感知技术将目光转向大量普通用户，利用其随身携带 的智能移动终端（智能手机、可穿戴设备等）形成大规模、随时随地且与人们日常生活密切相关的感知系统， 通过网络通信形成群智感知网络，从而实现感知任务分发与感知数据收集，完成大规模、复杂的社会感知任 务。在计算机科学领域，与群智感知相关的概念有群体计算、社群感知、众包等。 众包是协调一个群体（互联网上的一大群人）做“微工作”（每人做一点贡献）来解决软件或者单个人 难以解决的问题，通过一系列的机制和方法来指导和协调群体的行为，从而达到目的。 文本数据采集：包括广告、杂志、报纸、教材等。 图片数据采集：包括实体图片、人物图片、场景图片等。 语音视频数据采集：方言、特殊情景语音、视频等。 O2O/LBS数据采集：店铺信息、公交站牌、Wi-Fi等。 问卷调研：市场机会调研、广告效果调研、使用体验调研等。
生，是因为人类在实践中发现，仅仅用语言、文字和图形来描述这个
世界是不精确的，也是远远不够的。例如，有人问“姚明有多高”，
如果回答说“很高”“非常高”“最高”，别人听了，只能得到一个
抽象的印象，因为每个人对“很”“非常”有不同的理解，“最”也
是相对的，但如果回答说“2.26米”，就一清二楚。除了描述世界，
数据还是我们改造世界的重要工具。人类的一切生产、交换活动，可
图3-1 大数据的来源
以说都是以数据为基础展开的，例如度量衡、货币的背后都是数据， 它们的发明和出现，都极大地推动了人类文明的进步。
大数据导论
/// 4 ///
2．多源数据采集的目标及要求
数据采集（DAQ）又称数据获取，是指从真实世界对象中获得原始数据的过程。数据采集的过程要充分
大数据导论
/// 6 ///
3．Logstash Logstash是著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中的那个“L”。Logstash用 JRuby开发，所有运行时依赖JVM。 4．Chukwa Chukwa是Apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的 HDFS和MapReduce来构建（显而易见，它用Java实现），提供扩展性和可靠性。Chukwa同时提供对数据的 展示、分析和监视。 5．Scribe Scribe是Facebook开发的数据（日志）收集系统。 6．Splunk Splunk提供完整的数据采集、数据存储、数据分析和处理，以及数据展现的能力。Splunk是一个分布式 的机器数据平台。 Distributed Search负责数据的搜索和处理，提供搜索时的信息抽取。 Indexers负责数据的存储和索引。 Forwarders负责数据的收集、清洗、变形，并发送给Indexers。
考虑其产生主体的物理性质，同时要兼顾数据应用的特点。
数据采集的目的是为了测量电压、电流、温度、压力或声音等物理现象。基于PC的数据采集，通过模块
化硬件、应用软件和计算机的结合，进行测量。尽管数据采集系统根据不同的应用需求有不同的定义，但各个
系统采集、分析和显示信息的目的却都相同。数据采集系统整合了信号、传感器、激励器、信号调理、数据采
3）代码质量问题
4）无效请求
5．如何正确选择数据采集方式
1）全埋点与代码埋点
2）前端埋点与后端埋点
大数据导论
/// 5 ///
3.1.2 常用大数据采集工具
数据采集最传统的方式是企业自己采集生产系统产生的数据，除上述生产系统中的数据外，企 业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过 架设日志采集系统来保存这些数据，希望通过这些数据获取商业或社会价值。
大数据导论
/// 7 ///
3.1.3 常用的数据采集方法
1．用于采集物理世界信息的传感器 说到传感器，相信大家都不会陌生，比如微信的“摇一摇” 就用到了加速度传感器。 1）传感器的定义 传感器是一种物理设备或者生物器官，能够探测、感受外界 的信号、物理条件（如光、热、湿度）或化学组成（如烟雾）， 并将探知的信息传递给其他的设备或者器官。 2）传感器的种类 2．用于采集数字设备运行状态的日志文件 系统日志可记录系统中硬件、软件和系统问题的信息，同时 还可以监视系统中发生的事件。用户可以通过它来检查错误发生 的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括 系统日志、应用程序日志和安全日志。
第3 章
大数据的采集及预处理
任何完整的大数据平台一般包括以下几个部分： 数据采集、数据存储、数据处理、数据展现（可视化、 报表和监控）。其中，数据采集是所有数据系统必不 可少的。随着大数据越来越被重视，数据采集也变得 尤为突出，这给我们带来了许多挑战，第一个挑战就 是在大量的数据中收集需要的数据。数据源多种多样， 数据量大、变化快，如何保证数据采集的可靠性？如 何避免重复数据？如何保证数据的质量？