第六章 机器学习(1)-_决策树学习

机器学习--决策树算法（ID3C4.5）在⽣活中，“树”这⼀模型有很⼴泛的应⽤，事实证明，它在机器学习分类和回归领域也有着深刻⽽⼴泛的影响。

在决策分析中，决策树可以明确直观的展现出决策结果和决策过程。

如名所⽰，它使⽤树状决策模型。

它不仅仅是在数据挖掘中⽤户获取特定⽬标解的策略，同时也被⼴泛的应⽤于机器学习。

如何使⽤树来表⽰算法为此，我们考虑使⽤泰坦尼克号数据集的⽰例，以预测乘客是否会⽣存。

下⾯的模型使⽤数据集中的3个特征/属性/列，即性别，年龄和SIBSP（配偶或⼉童的数量）。

这是⼀棵体现了⼈性光辉的决策树。

树的形状是⼀棵上下颠倒的决策树，叶⼦节点在下，根节点在上。

在图像中，⿊⾊中的粗体⽂本表⽰条件/内部节点，基于树分成分⽀/边缘。

不再分裂的分⽀结束是决策/叶⼦，在这种情况下，乘客是否被死亡或幸存，分别表⽰为红⾊和绿⾊⽂本。

虽然，⼀个真实的数据集将有很多功能，这只是⼀个更⼤的树中的部分分⽀，但你不能忽略这种算法的简单性。

该特征重要性是明确的，可以轻易查看决策关系。

该⽅法更常见于来⾃数据的学习决策树，并且在树上被称为分类树，因为⽬标是将乘客分类为幸存或死亡，上⾯所展⽰的决策树就是分类树。

回归树以相同的⽅式表⽰，例如⽤于预测房⼦价格的连续价值。

通常，决策树算法被称为CART或分类和回归树。

那么，算法⽣成的背后发⽣了什么呢？如何⽣成⼀个决策树取决于选择什么特征和在何种情况下进⾏分裂，以及在什么时候停⽌。

因为⼀棵树通常是随意⽣长的，你需要修剪它，让它看起来漂亮（研究如何⽣成决策树）。

ID3算法ID3算法⽣成决策树ID3算法（Iterative Dichotomiser 3）是决策树⽣成算法的⼀种，基于奥卡姆剃⼑原理(简约原则) 1。

是Ross Quinlan发明的⼀种决策树算法，这个算法的基础就是上⾯提到的奥卡姆剃⼑原理，越是⼩型的决策树越优于⼤的决策树，尽管如此，也不总是⽣成最⼩的树型结构，⽽是⼀个启发式算法。

了解机器学习中的随机森林算法和决策树模型一、介绍机器学习中的随机森林算法和决策树模型是常用的监督学习方法，被广泛应用于分类和回归问题。

本文将详细介绍这两个模型的原理以及它们在机器学习中的应用。

二、决策树模型1. 原理决策树是通过一系列的判断条件对数据进行分类或预测的模型。

其原理是基于对样本特征属性进行分割，直至得到能够完全分开不同类别的叶节点。

决策树模型具有易于理解、可解释性强等优点，适用于处理有离散特征和连续特征的数据集。

2. 构建过程决策树模型构建过程包括选择最佳划分属性、生成子节点以及递归构建子树等步骤。

通过计算划分属性的信息增益或其他指标，选择最佳属性作为当前节点的分裂条件。

然后将数据集按照该属性值进行划分，并递归地生成子节点，直到满足停止条件（如达到叶节点或深度限制）为止。

3. 应用领域决策树模型在多个领域都能得到广泛应用。

例如，在医学领域，可以利用决策树模型对患者的症状和各种检测指标进行分类，以辅助医生做出诊断决策。

在金融领域，可以通过构建决策树模型进行信用评分，帮助银行判断借款人的还款能力。

三、随机森林算法随机森林是一种基于集成学习思想的算法，它由多个决策树组成。

它通过对原始数据集进行有放回抽样（bootstrap）得到多个样本子集，并利用这些子集构建不同的决策树。

最后通过投票或平均等方式综合各决策树的结果来做出最终预测。

随机森林算法能够处理高维度数据和离群点，并且不容易过拟合。

2. 构建过程随机森林算法包括两个重要步骤：创建随机子集和构建决策树。

创建随机子集时，首先从原始数据集中进行有放回抽样得到训练集，然后再从每个特征子集中选择最佳划分属性。

构建决策树的过程与决策树模型相似，但在节点划分时只考虑随机子集中的一部分特征。

3. 应用领域随机森林算法被广泛用于文本分类、图像识别、推荐系统等领域。

在文本分类中，可以利用随机森林对文章或评论进行情感分析，帮助企业了解用户对其产品的态度。

在推荐系统中，可以利用随机森林对用户的历史行为进行分析，并给出个性化的推荐结果。

《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程⼀、决策树模型 决策树(decision tree)是⼀种常⽤的机器学习⽅法，是⼀种描述对实例进⾏分类的树形结构。

决策树是⼀种常⽤的机器学习⽅法，以⼆分类为例，假设现在我们要对是否买西⽠进⾏判断和决策，我们会问⼀些问题，根据回答，我们决断是买还是不买，或者还拿补丁主意，这时会继续问问题，直到可以确定为⽌。

决策树基于“树”结构进⾏决策： （1）内部结点：属性 （2）分⽀：属性值 （3）p叶结点：分类结果 学习过程：通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性） 预测过程：将测试⽰例从根结点开始，沿着划分属性所构成的“判定测试序列”下⾏，直到叶结点 学习的过程就是通过划分属性构建决策树的过程，预测过程就是将测试样本从根节点开始，沿着划分属性构成的“判定序列”下⾏，直到叶结点。

结构举例： 从代码⾓度来看，决策树其实可以看成是⼀堆if-else语句的集合，例如引例中的决策树完全可以看成是如下代码：if isRed:if isCold:if hasSeed:print("buy")else:print("don't buy")else:if isCheap:print("buy")else:print("don't buy")else:print("don't buy") 由决策树的根结点(root node)到叶结点(leaf node)的每⼀条路径构建⼀条规则：路径上内部结点的特征对应着规则的条件，⽽叶结点的类对应着规则的结论。

决策树的路径或其对应的if-then规则集合具有⼀个重要的性质：互斥并且完备。

这就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或⼀条规则所覆盖。

机器学习的常见模型机器学习任务中常见的⽅法有：决策树学习，关联规则学习，⼈⼯神经⽹络，深度学习，归纳逻辑设计，⽀持向量机，聚类，贝叶斯⽹络，强化学习，表⽰学习，相似度和度量学习，稀疏字典学习，遗传算法等。

⼀、决策树学习决策树学习就是根据数据的属性采⽤树状结构建⽴的⼀种决策模型，可以⽤此模型解决分类和回归问题。

常见的算法包括CART，ID3，C4.5等。

可以根据数据集来构建⼀颗决策树，他的重要任务就是根据数据中所蕴含的知识信息并提取出⼀系列的规则，这些规则就是树结构的创建过程。

决策树算法主要是指决策树进⾏创建中进⾏树分裂（划分数据集）的时候选取最优特征的算法，他的主要⽬的就是要选取⼀个特征能够将分开的数据集尽量的规整，也就是尽可能的纯。

最⼤的原则就是：将⽆序的数据变得更加有序。

常⽤的三个⽅法：信息增益增益⽐率基尼不纯度1、信息增益这⾥涉及到了信息论的⼀些概念：某个时间的信息量，信息熵，信息增益等。

a、某事件的信息量：这个事件发⽣的概率的负对数b、信息熵就是平均⽽⾔，⼀个事件发⽣得到的信息量⼤⼩，也就是信息量的期望值c、信息增益将⼀组数据集进⾏划分后，数据的信息熵会发⽣变化，我们可以通过使⽤信息熵的计算公式分别计算被划分的⼦数据集的信息熵并计算他们的平均值（期望值）来作为分割后的数据集的信息熵。

新的信息熵相⽐未划分数据的信息熵的减⼩值就是信息增益了。

假设我们将数据集D划分成k份D1，D2，...，Dk，则划分后的信息熵为：信息增益就是就两个信息熵的差值2、增益⽐率增益⽐率是信息增益⽅法的⼀种扩展，是为了克服信息增益带来的弱泛化的缺陷。

因为按照信息增益的选择，总是会倾向于选择分⽀多的属性，这样会使得每个⼦集的信息熵最⼩。

例如给每个数据添加独⼀⽆⼆的ID值特征，则按照这个ID值进⾏分类是获得信息增益最⼤的，这样每个⾃⼰中的信息熵都是0，但是这样的分类没有任何意义，没有任何泛化能⼒，类似于过拟合。

因此可以引⼊⼀个分裂信息找到⼀个更合适的衡量数据划分的标准，即增益⽐率。

机器学习人工智能的核心算法机器学习人工智能（Machine Learning Artificial Intelligence）是当今科技领域备受瞩目的前沿技术，其核心算法是支撑其实现智能化的重要基础。

在机器学习人工智能领域，有许多经典的核心算法被广泛应用于各种领域，为人类生活和工作带来了巨大的便利和改变。

本文将介绍几种机器学习人工智能的核心算法，包括监督学习、无监督学习、强化学习等，以及它们在实际应用中的具体情况。

一、监督学习监督学习是机器学习中最常见和基础的学习方式之一，其核心思想是通过已知输入和输出的训练数据，让机器学习算法学习出一个映射函数，从而能够对未知数据进行预测或分类。

监督学习的代表性算法包括决策树、支持向量机、神经网络等。

1. 决策树（Decision Tree）决策树是一种树形结构的分类器，通过一系列的规则对数据进行分类。

在构建决策树的过程中，算法会选择最优的特征进行分裂，直到达到停止条件为止。

决策树简单直观，易于理解和解释，被广泛应用于数据挖掘和模式识别领域。

2. 支持向量机（Support Vector Machine）支持向量机是一种二分类模型，其目标是找到一个最优的超平面，使得不同类别的样本能够被最大化地分开。

支持向量机在处理高维数据和非线性数据方面表现出色，被广泛应用于文本分类、图像识别等领域。

3. 神经网络（Neural Network）神经网络是一种模拟人脑神经元网络的机器学习模型，通过多层神经元之间的连接和权重来学习复杂的非线性关系。

深度神经网络（Deep Neural Network）在图像识别、语音识别等领域取得了巨大成功，成为当前人工智能领域的热门算法之一。

二、无监督学习无监督学习是一种在训练数据中没有标签信息的学习方式，其目标是从数据中发现隐藏的模式和结构。

无监督学习的代表性算法包括聚类、降维、关联规则挖掘等。

1. 聚类（Clustering）聚类是一种将数据集中的样本划分为若干个类别的无监督学习方法，目标是使同一类别内的样本相似度高，不同类别之间的相似度低。

[机器学习]-决策树-最简单的⼊门实战例⼦本⽂主要介绍决策树的基本概念和如最简单的⼊门实例第⼀部分--基本概念： 什么是决策树？ 我不打算搞⼀段标准的定义放在这⾥，我个⼈理解是建⽴⼀个树来帮助决策，下⾯以⼀个图说明⼀下（注：图是盗别⼈的） 这就是⼀个决策树，从图中可以⼀⽬了然的了解决策树的概念，上⾯的图中只有⼀个属性来决定这个⼈是男还是⼥，⼀个属性往往决定的结果并不准确，⽐如⼩孩都没有胡⼦，但是并不能认为⼩孩都是⼥孩，这显然不⾏，那怎么办？如果想相对准确判断，需要再增加属性，⽐如增加个喉结，如下图： 上图就是由两个属性来决定结果，那引出了⼀个重要的问题，是从胡⼦开始分，还是从喉结开始分呢？就是每个节点为什么是这样排序，就引出了信息熵的概念 什么是信息熵？ 简单来说信息熵，就是反映⼀个系统的混乱程度，越有序的系统，信息熵越⼩，反之越⼤，上⾯是⽤了胡⼦和喉结作为属性来判断⼀个⼈是男是⼥，但是这个系统的不确定性还是很⼤的，⽐如⼀个没有喉结⼜没有胡⼦的⼈，并不⼀定是⼥⼈，可能是⼩孩，那如果根据这个⼈有没有JJ，作为判断的依据，那不确定性就会很低，信息熵就会很⼩。

这⾥没有举个具体的数字计算，也没有贴公式，主要是编辑数学公式太⿇烦，其实公式就是信息的期望。

通过上⾯的介绍，就可以知道，可以通过计算信息熵来确定从哪个属性开始分，哪个属性作为根节点。

第⼆部分--代码： I.数据如下：（goatee 翻译胡⼦），只有四个样本，测试样本就⼀个，在代码中有 II.代码：# -*- coding: utf-8 -*-import pandas as pdfrom sklearn.feature_extraction import DictVectorizerfrom bel import LabelBinarizerfrom sklearn import treedef decision_tree():df = pd.read_excel('../data/K-NN/DecisionTree.xlsx') #要预测的值label_feature = df['sex'].valuesprint('label_feature:\n'+str(label_feature)) #属性df_feature = df['goatee']feature_list = []for i in df_feature.values:dt_dict = {}dt_dict['goatee'] = ifeature_list.append(dt_dict) #封装成需要的数据格式print('feature_list:\n' + str(feature_list))dcv = DictVectorizer() #将字典转化为数字dummyX = dcv.fit_transform(feature_list).toarray()print('dummyX:\n'+ str(dummyX))lb = LabelBinarizer()dummyY = lb.fit_transform(label_feature)# dummy = dcv.fit_transform(label_feature)print('dummyY:\n' + str(dummyY)) #使⽤信息熵的规则进⾏分类clf = tree.DecisionTreeClassifier(criterion='entropy')clf = clf.fit(dummyX,dummyY) #⽣成测试数据oneDummyX = dummyX[0]oneDummyX[0] = 0newDummyX = oneDummyXprint('feature_names'+str(dcv.get_feature_names()))print('newDummyX:\n'+str(newDummyX)) #使⽤测试数据进⾏预测prediction = clf.predict([newDummyX])print('prediction:\n'+str(prediction))if__name__ == '__main__':decision_tree()----------------------------------------------------------菇凉滑溜溜的马甲线-----------------------------------------------------#输出结果为：label_feature: ['man''woman''man''woman']feature_list： [{'goatee': 'yes'}, {'goatee': 'no'}, {'goatee': 'yes'}, {'goatee': 'no'}]dummyX: [[0. 1.] [1. 0.] [0. 1.] [1. 0.]]dummyY: [[0] [1] [0] [1]]feature_names: ['goatee=no', 'goatee=yes']newDummyX: [0. 1.]prediction: [0]。

决策树知识点总结1. 决策树算法原理决策树算法的核心思想是通过对特征进行逐步划分，将数据集划分为不同的子集，使得每个子集内的数据尽可能属于同一类别。

在划分过程中，算法会选择一个最优的特征进行划分，使得划分后的子集的纯度最大。

通常情况下，我们会选择信息增益或基尼指数作为划分标准，以找到最优的划分特征。

决策树算法的训练过程可以分为以下几步：（1）选择最优的划分特征：通过计算每个特征的信息增益或基尼指数，选择最优的划分特征。

（2）将数据集按照最优特征进行划分：根据最优特征的取值将数据集划分为不同的子集。

（3）递归的训练子树：对划分得到的每个子集进行递归的训练，直到满足停止条件为止。

这样就可以得到一棵完整的决策树，用于对新数据进行预测。

2. 常见的决策树算法目前比较常见的决策树算法包括ID3、C4.5、CART和CHAID等。

ID3（Iterative Dichotomiser 3）算法是一种基于信息增益进行特征选择的决策树算法。

该算法在每次划分时选择信息增益最大的特征进行划分，直到所有特征都被使用或者剩余数据集中的样本属于同一类别。

C4.5算法是ID3算法的改进版，它使用信息增益比进行特征选择，解决了ID3算法可能会选择取值较多的特征进行划分的问题。

CART（Classification And Regression Tree）算法可以用于分类和回归问题，它使用基尼指数进行特征选择，对分类问题得到的决策树是二叉树结构。

CHAID（Chi-squared Automatic Interaction Detection）算法是一种基于卡方检验进行特征选择的决策树算法，适用于分类问题。

3. 决策树的优缺点（1）优点：决策树算法易于理解和解释，生成的决策树可以直观地表示分类的过程和结果。

此外，决策树算法可以处理数值型和类别型的数据，对缺失值和异常值具有较好的鲁棒性。

另外，决策树算法可以自动选择特征，不需要人工选择。

决策树的工作原理决策树是一种常见的机器学习算法，它可以用于分类和回归问题。

它的工作原理是基于对数据特征进行分析和判断，然后生成一棵树状结构，用于预测未知数据的分类或数值。

决策树算法可以很好地解释和理解，因此在实际应用中得到了广泛的应用。

下面将详细介绍决策树的工作原理，包括如何构建决策树、如何进行分类和回归预测以及决策树的优缺点等方面。

一、决策树的构建原理1. 特征选择在构建决策树之前，首先需要选择最优的特征来进行划分。

特征选择的目标是通过选择对分类结果有最好分离作用的特征，从而使得决策树的分支更具有代表性。

在特征选择中通常会使用信息增益（ID3算法）、增益率（C4.5算法）、基尼指数（CART算法）等指标来评估特征的重要性。

2. 决策树的构建决策树的构建是通过递归地对数据集进行分裂，直到满足某种停止条件。

在每次分裂时，选择最优的特征来进行分裂，并创建相应的分支节点。

这样逐步生成一棵树，直到所有样本都被正确分类或者子节点中的样本数小于设定的阈值。

3. 剪枝处理决策树的构建可能会导致过拟合问题，为了避免过拟合，通常需要对构建好的决策树进行剪枝处理。

剪枝是通过压缩决策树的规模和深度，去除对整体分类准确性贡献不大的部分，从而提高决策树的泛化能力。

二、决策树的分类预测原理1. 决策树的分类过程在已构建好的决策树上，对未知样本进行分类预测时，从根节点开始，逐层根据特征的取值向下遍历树，直到达到叶子节点。

叶子节点的类别即为决策树对该样本的分类预测结果。

2. 决策树的优势决策树算法具有很高的可解释性，可以清晰直观地展现数据的特征和分类过程，易于理解。

决策树对特征的缺失值和异常值具有较好的鲁棒性，对数据的处理要求相对较低。

三、决策树的回归预测原理决策树不仅可以用于分类问题，也可以用于回归问题。

在回归问题中，决策树用于预测连续型的数值输出。

决策树的回归预测过程也是通过递归地在特征空间中进行划分，每次划分选择对预测结果具有最大程度分离作用的特征。

统计机器学习中的决策树统计机器学习是一种通过算法让机器从数据中学习规律并做出预测的方法。

其中决策树是一种常用的分类与回归算法，被广泛应用于各个领域中。

本文将深入探讨统计机器学习中的决策树。

一、决策树的基本原理决策树是一种由节点和边构成的有向树状结构，其中每个节点代表一个特征或属性，每个边代表一个判断或决策。

将样本从根节点开始到达叶节点的过程中，就可以得到该样本的分类或预测结果。

假如我们用决策树中的泰坦尼克号数据集作为例子。

该数据集包含了船员的各种属性和是否最终幸存的情况。

我们可以按照性别、舱位等特征来构建决策树：其中，每个节点代表一个特征，例如根节点代表性别特征。

每个分支代表该特征的一个可能取值，例如根节点有两个分支，分别代表性别为男或女。

每个叶节点代表一个分类结果，例如最后的Amout of people Died和Amount of people Survived的比例。

二、决策树的建立方法决策树的建立方法主要有3种，分别是ID3、C4.5和CART。

这里我们只讨论C4.5算法。

C4.5算法通过计算样本中不同特征的信息增益比来选择最佳分裂特征。

信息增益比计算公式为：其中，H(Y)表示样本的熵，H(Y|X)表示已知特征X的条件下样本的熵。

IV(X)表示特征X的固有值(split infomation)，即：其中，p(t)是某个特征X中第t个子集中样本的比例。

C4.5算法会在树的生长过程中对样本数比较少的子节点进行剪枝，以防止过拟合。

具体剪枝方法是用验证集的准确率来判断剪枝是否合适。

三、决策树的优点和缺点优点：1. 决策树易于理解和解释，对于离散数据处理效果较好2. 能够处理缺失值和异常值3. 计算复杂度较低，可处理大规模数据4. 对于非线性关系比较好的数据有较高的准确率缺点：1. 决策树容易过拟合，需要进行剪枝操作2. 对于连续数据处理效果较差，因为特征空间太大3. 对于样本不平衡的数据，容易产生偏差四、决策树的应用决策树可以应用于各种领域，例如金融、医疗、电商等。

机器学习任务中常见的方法有：决策树学习，关联规则学习，人工神经网络，深度学习，归纳逻辑设计，支持向量机，聚类，贝叶斯网络，强化学习，表示学习，相似度和度量学习，稀疏字典学习，遗传算法等。

一、决策树学习决策树学习就是根据数据的属性采用树状结构建立的一种决策模型，可以用此模型解决分类和回归问题。

常见的算法包括CART，ID3，C4.5等。

可以根据数据集来构建一颗决策树，他的重要任务就是根据数据中所蕴含的知识信息并提取出一系列的规则，这些规则就是树结构的创建过程。

决策树算法主要是指决策树进行创建中进行树分裂（划分数据集）的时候选取最优特征的算法，他的主要目的就是要选取一个特征能够将分开的数据集尽量的规整，也就是尽可能的纯。

最大的原则就是：将无序的数据变得更加有序。

常用的三个方法：信息增益增益比率基尼不纯度1、信息增益这里涉及到了信息论的一些概念：某个时间的信息量，信息熵，信息增益等。

a、某事件的信息量：这个事件发生的概率的负对数b、信息熵就是平均而言，一个事件发生得到的信息量大小，也就是信息量的期望值c、信息增益将一组数据集进行划分后，数据的信息熵会发生变化，我们可以通过使用信息熵的计算公式分别计算被划分的子数据集的信息熵并计算他们的平均值（期望值）来作为分割后的数据集的信息熵。

新的信息熵相比未划分数据的信息熵的减小值就是信息增益了。

假设我们将数据集D划分成k份D1，D2，...，Dk，则划分后的信息熵为：信息增益就是就两个信息熵的差值2、增益比率增益比率是信息增益方法的一种扩展，是为了克服信息增益带来的弱泛化的缺陷。

因为按照信息增益的选择，总是会倾向于选择分支多的属性，这样会使得每个子集的信息熵最小。

例如给每个数据添加独一无二的ID值特征，则按照这个ID值进行分类是获得信息增益最大的，这样每个自己中的信息熵都是0，但是这样的分类没有任何意义，没有任何泛化能力，类似于过拟合。

因此可以引入一个分裂信息找到一个更合适的衡量数据划分的标准，即增益比率。

机器学习（MachineLearning）算法总结-决策树⼀、机器学习基本概念总结分类（classification）：⽬标标记为类别型的数据（离散型数据）回归（regression）：⽬标标记为连续型数据有监督学习（supervised learning）：训练集有类别标记⽆监督学习（unsupervised learning）：训练集⽆类别标记半监督学习（semi-supervised learning）：有类别标记的训练集+⽆类别标记的训练集机器学习步骤的框架：step1：把数据拆分为训练集和测试集step2：⽤训练集和特征集的特征向量来训练算法step3：⽤学习来的算法（进⾏训练的模型）运⽤在测试集上来评估算法机器学习中分类和预测算法的评估：准确率速度强壮性（当数据缺失情况下，算法的准确性）可规模性（当数据变⼤时，算法的准确性）可解释性（算法的结果是否可以解释该种现象）⼆、决策树1.决策树基本概念：是⼀个类似于流程图的树结构（可以是⼆叉树或⾮⼆叉树）其每个⾮叶节点表⽰⼀个特征属性上的测试每个分⽀代表这个特征属性在某个值域上的输出⽽每个叶节点存放⼀个类别使⽤决策树进⾏决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分⽀，直到到达叶⼦节点，将叶⼦节点存放的类别作为决策结果的过程2.决策树构造的关键决策树最重要的是决策树的构造。

所谓决策树的构造就是进⾏属性选择度量确定各个特征属性之间的拓扑结构。

构造决策树的关键步骤是分裂属性。

所谓分裂属性就是在某个节点处按照某⼀特征属性的不同划分构造不同的分⽀，其⽬标是让各个分裂⼦集尽可能地“纯”。

尽可能“纯”就是尽量让⼀个分裂⼦集中待分类项属于同⼀类别。

分裂属性分为三种不同的情况：属性是离散值且不要求⽣成⼆叉决策树。

此时⽤属性的每⼀个划分作为⼀个分⽀。

属性是离散值且要求⽣成⼆叉决策树。

此时使⽤属性划分的⼀个⼦集进⾏测试，按照“属于此⼦集”和“不属于此⼦集”分成两个分⽀。