下载文档原格式
大数据技术原理与应用第六章课后作业黎狸1.试述云数据库的概念。
云数据库是部署和虚拟化在云计算环境中的数据库。
云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易，同时，也虚拟化了许多后端功能。
云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。
2.与传统的软件使用方式相比，云计算这种模式具有哪些明显的优势？①可直接购买云计算厂商的软件服务；②软件运行在云计算厂商服务器上，用户再有网络的地方就可以使用软件服务。
③零成本投入，按需付费，极其廉价；④维护零成本，由云计算厂商负责；⑤获得IT资源的速度:随时可用，购买服务后立即可用；⑥资源可拓展。
等3.云数据库有哪些特性？①动态可扩展②高可用性③较低的使用代价④易用性⑤高性能⑥免维护⑦安全4.试述云数据库的影响。
①云数据库可以满足大企业的海量数据存储需求。
②云数据库可以满足中小企业的低成本数据存储需求。
③云数据库可以满足企业动态变化的数据存储需求。
5.举例说明云数据库厂商及其代表性产品。
云数据库供应商主要分为三类。
①传统的数据库厂商，如Teradata、Oracle、IBM DB2和Microsoft SQL Server等。
②涉足数据库市场的云供应商，如Amazon、Google.Yahoo!、阿里、百度、腾讯等。
③新兴厂商，如IVertica.LongJump 和EnterpriseDB等。
6.试述Microsoft SQL Azure 的体系架构。
如下图所示，SQL Azure 的体系架构中包含了一个虚拟机簇，可以根据工作负载的变化,动态增加或减少虚拟机的数量。
每台虚拟机SQL Server VM ( Virtual Machine )安装了SQL Server2008数据库管理系统，以关系模型存储数据。
通常,-一个数据库会被分散存储到3~5台SQL ServerVM中。
大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
⑥运行在Linux平台上。
Hadoop是基于Java语言开发的，可以较好地运行在Linux平台上。
⑦支持多种编程语言。
Hadoop 上的应用程序也可以使用其他语言编写，如C++。
大数据第二章课后题答案黎狸1. 试述Hadoop 和谷歌的MapReduce 、GFS 等技术之间的关系。
Hadoop 是Apache 软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS ) 和MapReduce 。
②HDFS是对谷歌文件系统( Google File System, GFS ) 的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce 的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2. 试述Hadoop 具有哪些特性。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop 采用分布式存储和分布式处理两大核心技术，能够高效地处理PB 级数据。
③高可扩展性。
Hadoop 的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop 采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC 搭建Hadoop 运行环境。
⑥运行在Linux 平台上。
Hadoop 是基于Java 语言开发的，可以较好地运行在Linux 平台上。
《大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。
谷歌的MapReduce运行在分布式文件系统GFS 上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。
相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。
试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。
适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。
3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。
Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。
TaskTracker负责执行由JobTracker指派的任务。
4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。
Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。
林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2.试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3.试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6.试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
林子雨大数据技术原理与应用第二章课后题答案-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。
谷歌的MapReduce运行在分布式文件系统GFS上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。
相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。
试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。
适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。
3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。
Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。
TaskTracker负责执行由JobTracker指派的任务。
4.TaskTracker 出现故障会有什么影响?该故障是如何处理的?5.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。
Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。
第一章1.试述信息技术发展史上的3次信息化浪潮及具体容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
大数据技术原理与应用第四章课后作业黎狸1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。
HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。
2.请阐述HBase和BigTable的底层技术的对应关系。
3.请阐述HBase和传统关系数据库的区别。
4.HBase有哪些类型的访问接口？HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。
5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。
①行键标识行。
行键可以是任意字符串，行键保存为字节数组。
②列族。
HBase的基本的访问控制单元，需在表创建时就定义好。
③时间戳。
每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。
7.请举个实例来阐述HBase的概念视图和物理视图的不同。
8.试述HBase各功能组件及其作用。
①库函数：链接到每个客户端；②一个Master主服务器：主服务器Master主要负责表和Region的管理工作；③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和维护分配给自己的Region，并响应用户的读写请求9.请阐述HBase的数据分区机制。
每个行区间构成一个分区，被称为“Region”,分发到不同的Region服务器上。
10.HBase中的分区是如何定位的？通过构建的映射表的每个条目包含两项内容，一个是Regionde 标识符，另一个是Region服务器标识，这个条目就标识Region和Region服务器之间的对应关系，从而就可以知道某个Region被保存在哪个Region服务器中。
大数据第八章课后题答案——流数据黎狸1.试述流数据的概念。
数据密集型应用——流数据，即数据以大量、快速、时变的流形式持续到达。
以传感监测为例，在大气中放置PM2.5传感器实时监测大气中的PM2.5的浓度,监测数据会源源不断地实时传输回数据中心，监测系统对回传数据进行实时分析，预判空气质量变化趋势，如果空气质量在未来一段时间内会达到影响人体健康的程度，就启动应急响应机制。
2.试述流数据的特点。
①数据快速持续到达，潜在大小也许是无穷无尽的。
②数据来源众多，格式复杂。
③数据量大，但是不十分关注存储，一旦流数据中的某个元素经过处理，要么被丢弃，要么被归档存储。
④注重数据的整体价值，不过分关注个别数据。
⑤数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。
3.在流计算的理念中，数据的价值与时间具备怎样的关系?数据的价值随着时间的流逝而降低。
4.试述流计算的需求。
①高性能。
处理大数据的基本要求，如每秒处理几十万条数据。
②海量式。
支持TB级甚至是PB级的数据规模。
③实时性。
必须保证-一个较低的延迟时间，达到秒级别，甚至是毫秒级别。
④分布式。
支持大数据的基本架构,必须能够平滑扩展。
⑤易用性。
能够快速进行开发和部署。
⑥可靠性。
能可靠地处理流数据。
5.试述MapReduce框架为何不适合用于处理流数据。
（1）Hadoop设计的初衷是面向大规模数据的批量处理。
批量任务的处理方式，在时间延迟方面无法满足流计算的实时响应需求。
（2）将MapReduce的批量处理转为小批量处理，将输入数据切成小的片段，每隔一个周期启动一次MapReduce作业。
此方法存在如下问题：①切分成小的片段,虽然可以降低延迟，但是,也增加了任务处理的附加开销，而且还要处理片段之间的依赖关系，因为一个片段可能需要用到前一个片段的计算结果。
②需要对MapReduce进行改造以支持流式处理，Reduce阶段的结果不能直接输出，而是保存在内存中;这种做法会大大增加MapReduce框架的复杂度，导致系统难以维护和扩展;③降低了用户程序的可伸缩性，因为，用户必须要使用MapReduce接口来定义流式作业。
大数据第一章课后题黎狸1. 试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2. 试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3. 试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4. 试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5. 科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6. 试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7. 大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
大数据决策面向类型繁多的，非结构化的海量数据进行决策分析。
8. 举例说明大数据的具体应用。
汽车行业大数据和物联网技术无人汽车互联网行业分析客户行为，进行商品推介和有针对性的广告投放。
城市管理智能交通环保检测城市规划和智能安防生物医学流行病预测智慧医疗健康管理解读DNA个人生活分析个人生活行为习惯，提供周到的个性化服务9. 举例说明大数据的关键技术数据采集数据存储和管理数据处理分析数据安全与隐私保护10. 大数据产业包含哪些层面？IT基础设施层数据源层数据管理层数据分析层数据平台层数据应用层11. 定义并解释一下术语：云计算，物联网。
大数据第三章课后作业201708 2017152418 张明旭2.分布式文件系统是如何实现较高水平的扩展的？分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。
3.试述HDFS中的块和普通文件系统中的块的区别。
HDFS中的块比普通文件系统中的块大很多。
且在HDFS中如果一个文件小于数据块的大小，它并不占用整个数据存储块的空间。
4.试述HDFS中的名称节点和数据节点的具体功能。
名称节点：负责文件和目录的创建删除和重命名等，管理数据节点和文件块的映射关系。
数据节点：负责数据的存储和读取。
5.在分布式文件系统中，中心节点的设计至关重要，请阐述HDFS是如何减轻中心节点的负担的。
名称节点不参与数据的传输。
6.HDFS只设置唯一一个名称节点，在简化系统的同时也带来了一些明显的局限性，请阐述局限性具体表现在哪些方面。
1）命名空间的限制：名称节点是保存在内存中，因此名称节点能够容纳对象（文件，块）的个数受到内存空间大小的限制2）性能的瓶颈整个分布式文件系统的吞吐量受限于单个名称节点的吞吐量3）隔离问题由于集群中只有一个名称节点，只有一个命名空间，因此无法为不同应用程序进行隔离4）集群的可用性一旦唯一的名称节点发生故障，会导致整个集群不可用7.试述HDFS的冗余数据保存策略。
HDFS采用多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分不到不同的数据节点上。
8.数据复制主要是在数据写入和数据恢复的时候发生，HDFS数据复制是使用流水线复制的策略，请阐述该策略的细节。
这个文件首先被写入本地，被切分成若干个块，每个块向HDFS集群中名称节点发起写请求，名称节点会将各个数据节点的使用情况，选择一个数据节点列表返回给客户端，当第一个数据节点接收块的时候，写入本地，并且向第二数据节点发起连接请求，把自己的接收的块传给第二个数据节点，依次类推，列表中的对个数据节点形成一条数据复制的流水线。
大数据第三章课后作业201708 2017152418 张明旭2.分布式文件系统是如何实现较高水平的扩展的？分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。
3.试述HDFS中的块和普通文件系统中的块的区别。
HDFS中的块比普通文件系统中的块大很多。
且在HDFS中如果一个文件小于数据块的大小，它并不占用整个数据存储块的空间。
4.试述HDFS中的名称节点和数据节点的具体功能。
名称节点：负责文件和目录的创建删除和重命名等，管理数据节点和文件块的映射关系。
数据节点：负责数据的存储和读取。
5.在分布式文件系统中，中心节点的设计至关重要，请阐述HDFS是如何减轻中心节点的负担的。
名称节点不参与数据的传输。
6.HDFS只设置唯一一个名称节点，在简化系统的同时也带来了一些明显的局限性，请阐述局限性具体表现在哪些方面。
1）命名空间的限制：名称节点是保存在内存中，因此名称节点能够容纳对象（文件，块）的个数受到内存空间大小的限制2）性能的瓶颈整个分布式文件系统的吞吐量受限于单个名称节点的吞吐量3）隔离问题由于集群中只有一个名称节点，只有一个命名空间，因此无法为不同应用程序进行隔离4）集群的可用性一旦唯一的名称节点发生故障，会导致整个集群不可用7.试述HDFS的冗余数据保存策略。
HDFS采用多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分不到不同的数据节点上。
8.数据复制主要是在数据写入和数据恢复的时候发生，HDFS数据复制是使用流水线复制的策略，请阐述该策略的细节。
这个文件首先被写入本地，被切分成若干个块，每个块向HDFS集群中名称节点发起写请求，名称节点会将各个数据节点的使用情况，选择一个数据节点列表返回给客户端，当第一个数据节点接收块的时候，写入本地，并且向第二数据节点发起连接请求，把自己的接收的块传给第二个数据节点，依次类推，列表中的对个数据节点形成一条数据复制的流水线。
![大数据技术原理与应用 林子雨版 课后习题答案[精品文档]](https://img.taocdn.com/s1/m/c1b5d7cef90f76c661371a98.png)
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
大数据第八章课后题答案——流数据黎狸1.试述流数据的概念。
数据密集型应用——流数据，即数据以大量、快速、时变的流形式持续到达。
以传感监测为例，在大气中放置PM2.5传感器实时监测大气中的PM2.5的浓度,监测数据会源源不断地实时传输回数据中心，监测系统对回传数据进行实时分析，预判空气质量变化趋势，如果空气质量在未来一段时间内会达到影响人体健康的程度，就启动应急响应机制。
2.试述流数据的特点。
①数据快速持续到达，潜在大小也许是无穷无尽的。
②数据来源众多，格式复杂。
③数据量大，但是不十分关注存储，一旦流数据中的某个元素经过处理，要么被丢弃，要么被归档存储。
④注重数据的整体价值，不过分关注个别数据。
⑤数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。
3.在流计算的理念中，数据的价值与时间具备怎样的关系?数据的价值随着时间的流逝而降低。
4.试述流计算的需求。
①高性能。
处理大数据的基本要求，如每秒处理几十万条数据。
②海量式。
支持TB级甚至是PB级的数据规模。
③实时性。
必须保证-一个较低的延迟时间，达到秒级别，甚至是毫秒级别。
④分布式。
支持大数据的基本架构,必须能够平滑扩展。
⑤易用性。
能够快速进行开发和部署。
⑥可靠性。
能可靠地处理流数据。
5.试述MapReduce框架为何不适合用于处理流数据。
（1）Hadoop设计的初衷是面向大规模数据的批量处理。
批量任务的处理方式，在时间延迟方面无法满足流计算的实时响应需求。
（2）将MapReduce的批量处理转为小批量处理，将输入数据切成小的片段，每隔一个周期启动一次MapReduce作业。
此方法存在如下问题：①切分成小的片段,虽然可以降低延迟，但是,也增加了任务处理的附加开销，而且还要处理片段之间的依赖关系，因为一个片段可能需要用到前一个片段的计算结果。
②需要对MapReduce进行改造以支持流式处理，Reduce阶段的结果不能直接输出，而是保存在内存中;这种做法会大大增加MapReduce框架的复杂度，导致系统难以维护和扩展;③降低了用户程序的可伸缩性，因为，用户必须要使用MapReduce接口来定义流式作业。
大数据技术与原理第五章课后作业黎狸1. 如何准确理解NoSQL的含义？NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的一类统称，它采用的数据模型并非传统关系数据库的关系模型，而是类似键/值、列族、文档等非关系模型。
2. 试述关系数据库在哪些方面无法满足Web 2.0应用的需求。
主要表现在以下几个方面：（1）无法满足海量数据的管理需求（2）无法满足数据高并发的需求（3）无法满足高可扩展性和高可用性的需求3. 为什么说关系数据库的一些关键特性在Web 2.0时代成为“鸡肋”？（1）Web2.0网站系统通常不要求严格的数据库事务（2）Web2.0不要求严格的读写实时性（3）Web2.0通常不包含大量复杂的SQL查询4. 请比较NoSQL数据库和关系数据库的优缺点。
①关系数据库。
优点：以完善得关系理论代数作为基础，有严格得标准，支持事务ACID四性，高校查询，技术成熟，专业公司得技术支持；缺点：可扩展性较差、无法较好支持海量数据存储、数据模型过于死板、无法较好支持Web2.0应用、事务机制影响系统整体性能。
②NoSQL数据库。
优点：支持超大规模数据存储数据模型灵活支持Web2.0，具有强大得横向扩展能力缺点：缺乏数学理论基础，复杂查询性能不高。
不能实现事务强一致性，很难实现数据完整性，技术尚不成熟，缺乏专业的技术支持，维护较困难。
5. 试述NoSQL数据库的四大类型。
答：键值数据库、列族数据库、文档数据库和图数据库6. 试述键值数据库、列族数据库、文档数据库和图形数据库的适用场合和优缺点。
7. 试述CAP理论的具体含义。
C（Consistency）：一致性，是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的，或者说，所有节点在同一时间具有相同的数据A:（Availability）：可用性，是指快速获取数据，可以在确定的时间内返回操作结果，保证每个请求不管成功或者失败都有响应；P（Tolerance of Network Partition）：分区容忍性，是指当出现网络分区的情况时（即系统中的一部分节点无法和其他节点进行通信），分离的系统也能够正常运行，也就是说，系统中任意信息的丢失或失败不会影响系统的继续运作。
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林⼦⾬⼤数据技术原理及应⽤第七章课后题答案《⼤数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
⾕歌公司最先提出了分布式并⾏编程模型MapReduce, Hadoop MapReduce是它的开源实现。
⾕歌的MapReduce运⾏在分布式⽂件系统GFS 上，与⾕歌类似，HadoopMapReduce运⾏在分布式⽂件系统HDFS上。
相对⽽⾔，HadoopMapReduce 要⽐⾕歌MapReduce 的使⽤门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理⼤数据的有⼒⼯具，但不是每个任务都可以使⽤MapReduce来进⾏处理。
试述适合⽤MapReduce来处理的任务或者数据集需满⾜怎样的要求。
适合⽤MapReduce来处理的数据集，需要满⾜⼀个前提条件: 待处理的数据集可以分解成许多⼩的数据集，⽽且每⼀个⼩数据集都可以完全并⾏地进⾏处理。
3.MapReduce 模型采⽤Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采⽤了Master/Slave 架构，包括⼀个Master 和若⼲个Slave。
Master 上运⾏JobTracker,Slave 上运⾏TaskTrackero ⽤户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执⾏，并重新调度已经失败的任务。
TaskTracker负责执⾏由JobTracker指派的任务。
4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核⼼是Map函数和Reduce函数,试述这两个函数各⾃的输⼈、输出以及处理过程。
Map函数的输⼈是来⾃于分布式⽂件系统的⽂件块，这些⽂件块的格式是任意的，可以是⽂档，也可以是⼆进制格式。
大数据技术原理与应用第四章课后作业黎狸1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。
HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。
2.请阐述HBase和BigTable的底层技术的对应关系。
3.请阐述HBase和传统关系数据库的区别。
4.HBase有哪些类型的访问接口？HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。
5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。
①行键标识行。
行键可以是任意字符串，行键保存为字节数组。
②列族。
HBase的基本的访问控制单元，需在表创建时就定义好。
③时间戳。
每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。
7.请举个实例来阐述HBase的概念视图和物理视图的不同。
8.试述HBase各功能组件及其作用。
①库函数：链接到每个客户端；②一个Master主服务器：主服务器Master主要负责表和Region的管理工作；③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和维护分配给自己的Region，并响应用户的读写请求9.请阐述HBase的数据分区机制。
每个行区间构成一个分区，被称为“Region”,分发到不同的Region服务器上。
10.HBase中的分区是如何定位的？通过构建的映射表的每个条目包含两项内容，一个是Regionde 标识符，另一个是Region服务器标识，这个条目就标识Region和Region服务器之间的对应关系，从而就可以知道某个Region被保存在哪个Region服务器中。
【最新整理，下载后即可编辑】第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS 是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
2.试述Hadoop具有哪些特性。
答：高可靠性，高效性，高可扩展性，高容错性，成本低，运行在Linux平台，支持多种编程语言3.试述Hadoop在各个领域的应用情况。
答：2007年，雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadooop集群系统；Facebook主要将Hadoop平台用于日志处理，推荐系统和数据仓库等方面；百度主要使用Hadoop于日志的存储和统计、网页数据的分析和挖掘、商业分析、在线数据反馈、网页聚类等。
4.试述Hadoop的项目结构以及每个部分的具体功能。
答：Commeon是为Hadoop其他子项目提供支持的常用工具，主要包括文件系统、RPC和串行化库Avro是为Hadoop的子项目，用于数据序列化的系统，提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持续性数据的文件集、远程调用的功能和简单的动态语言集成功能。
HDFS是Hadoop项目的两个核心之一，它是针对谷歌文件系统的开源实现。
HBase是一个提高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库，一般采用HDFS作为其底层数据存储。
MapReduce是针对谷歌MapReduce的开源实现，用于大规模数据集的并行运算。
Zoookepper是针对谷歌Chubby的一个开源实现，是高效和可靠的协同工作系统，提供分布式锁之类的基本服务，用于构建分布式应用，减轻分布式应用程序所承担的协调任务。
Hive是一个基于Hadoop的数据仓库工具，可以用于对Hadoop 文件中的数据集进行数据整理、特殊查询和分布存储。
Pig是一种数据流语言和运行环境，适合于使用Hadoop和MapReducce平台上查询大型半结构化数据集。
Sqoop可以改进数据的互操作性，主要用来在H大哦哦哦配合关系数据库之间交换数据。
Chukwa是一个开源的、用于监控大型分布式系统的数据收集系统，可以将各种类型的数据收集成适合Hadoop处理的文件，并保存在HDFS中供Hadoop进行各种MapReduce操作。
第三章1．试述分布式文件系统设计的需求。
2．分布式文件系统是如何实现较高水平扩展的？分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)3．试述HDFS中的块和普通文件系统中的块的区别。
答：在传统的文件系统中，为了提高磁盘读写效率，一般以数据块为单位，恶如不是以字节为单位。
HDFS中的块，默认一个块大小为64MB，而HDFS中的文件会被拆分成多个块，每个块作为独立的单元进行存储。
HDFS在块的大小的设计上明显要大于普通文件系统。
4．试述HDFS中的名称节点和数据节点的具体功能。
答：名称节点负责管理分布式文件系统系统的命名空间，记录分布式文件系统中的每个文件中各个块所在的数据节点的位置信息；数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并向名称节点定期发送自己所存储的块的列表。
hadoop fs -ls <path> 显示<path>指定的文件的详细信息hadoop fs -cat <path> 将<path>指定的文件的内容输出到标准输出hadoop fs -mkdir <path> 创建<path>指定的文件夹hadoop fs -get [-ignorecrc] [-crc] <src><localdst> 复制<src>指定的文件到本地文件系统<localdst>指定的文件或文件夹。
-ignorecrc 选项复制CRC校验失败的文件。
使用-crc选项复制文件以及CRC 信息。
hadoop fs -put <localsrc><dst> 从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目标文件系统中。
也支持从标准输入(stdin)中读取输入写入目标文件系统。
hadoop fs -rmr <path> 删除<path>指定的文件夹及其的所有文件第四章1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。
答：HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。
2.请阐述HBase和BigTable的底层技术的对应关系答：3.请阐述HBase和传统关系数据库的区别答：4.HBase有哪些类型的访问接口？答：HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。
5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念(1)行键是唯一的，在一个表里只出现一次，否则就是在更新同一行，行键可以是任意的字节数组。
(2)列族需要在创建表的时候就定义好，数量也不宜过多。
列族名必须由可打印字符组成，创建表的时候不需要定义好列。
(3)时间戳，默认由系统指定，用户也可以显示设置。
使用不同的时间戳来区分不同的版本。
7.请举个实例来阐述HBase的概念视图和物理视图的不同HBase数据概念视图HBase数据物理视图在HBase的概念视图中，一个表可以视为一个稀疏、多维的映射关系。
在物理视图中，一个表会按照属于同一列族的数据保存在一起8.试述HBase各功能组建及其作用（1）库函数：链接到每个客户端；（2）一个Master主服务器：主服务器Master主要负责表和Region 的管理工作；（3）许多个Region服务器：Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求9.请阐述HBase的数据分区机制。
答：HBase采用分区存储，一个大的表会被分拆许多个Region，这些Region会被分发到不同的服务器上实现分布式存储。
10.HBase中的分区是如何定位的。
通过构建的映射表的每个条目包含两项内容，一个是Regionde 标识符，另一个是Region服务器标识，这个条目就标识Region 和Region服务器之间的对应关系，从而就可以知道某个Region 被保存在哪个Region服务器中。
11.试述HBase的三层结构中各层次的名称和作用。
12.请阐述HBase的三层结构下，客户端是如何访问到数据的。
答：首先访问Zookeeper，获取-ROOT表的位置信息，然后访问-Root-表，获得.MATA.表的信息，接着访问.MATA.表，找到所需的Region具体位于哪个Region服务器，最后才会到该Region服务器读取数据。
13.试述HBase系统基本架构以及每个组成部分的作用。
（1）客户端客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程（2）Zookeeper服务器Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master 的“单点失效”问题（3）Master主服务器Master主要负责表和Region的管理工作：管理用户对表的增加、删除、修改、查询等操作；实现不同Region服务器之间的负载均衡；在Region分裂或合并后，负责重新调整Region的分布；对发生故障失效的Region服务器上的Region进行迁移（4）Region服务器Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求14.请阐述Region服务器向HDFS文件系统中读写数据的基本原理Region服务器内部管理一系列Region对象和一个HLog文件，其中，HLog是磁盘上面的记录文件，它记录着所有的更新操作。
