当前位置：文档之家 › 建立模型之决策树讲义(PPT 46页)

建立模型之决策树讲义(PPT 46页)

  • 格式：ppt
  • 大小：695.50 KB
  • 文档页数：44

下载文档原格式

  / 44

合集下载

决策树分析方法ppt

决策树分析方法ppt

全局最优
通过剪枝等技术来优化决 策树，以获得全局最优解 （最小损失函数值）。
决策树的预测原理
特征选择
使用训练好的决策树模型对新 的样本进行预测时，需要根据 模型中保存的特征选择规则进
行预测。
路径搜索
从根节点开始，根据模型中保存 的分裂准则和分裂点信息，沿着 树结构向下搜索，直到到达叶子 节点或无法继续分裂的节点。
CART算法步骤
划分数据集、对每个属性计算其划分能力、选择划分能力最大的属性、生成决策 节点、递归生成决策树。
随机森林算法
随机森林算法原理
基于多棵决策树的投票策略，通过训练多棵决策树，然后对 结果进行投票，以得到更加准确的结果。
随机森林算法步骤
数据集随机化、生成多棵决策树、对结果进行投票、选择票 数最多的结果作为输出。
01
02
03
04
总结词：差异对比、应用场景
线性回归是一种基于因变量和 一个或多个自变量之间关系的 预测模型，通常适用于连续目 标变量。
决策树是一种基于自上而下的 贪心搜索算法，将数据集划分 成若干个不相交的子集，每个 子集对应一个决策节点，从而 形成一棵树状结构。
在回归问题上，决策树不如线 性回归表现稳定，但在分类问 题上，决策树表现更优秀，可 以很好地处理非线性关系和异 常值。
C4.5算法
C4.5算法原理
在ID3算法的基础上，增加了剪枝、处理缺失值和连续属性等处理，以得到 更加准确的决策树。
C4.5算法步骤
计算各个属性的信息增益率、选择信息增益率最大的属性、生成决策节点、 递归生成决策树、剪枝处理。
CART算法
CART算法原理
基于二叉树的贪心策略，将数据集划分为两个子集，然后对每个子集递归生成决 策树。

决策树培训讲义

决策树培训讲义

否
半
否
是
否
鸽子 恒温 羽毛
否
否
是
是
否
鲸
恒温 毛发
是
是
否
否
否
X
分类与回归 分类目标属性y是离散的，回归目标属性y是连续的
类标号
哺乳动 物
爬行类 鸟类 哺乳类
y
第6章 决策树
决策树基本概念
解决分类问题的一般方法
分类技术是一种根据输入数据集建立分类模型的系统方法。 分类技术一般是用一种学习算法确定分类模型，该模型可以很好 地拟合输入数据中类标号和属性集之间的联系。学习算法得到的 模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的 类标号。因此，训练算法的主要目标就是要建立具有很好的泛化 能力模型，即建立能够准确地预测未知样本类标号的模型。
第6章 决策树
决策树基本概念
解决分类问题的一般方法
训练集（类标号已知）
TID A1
A2
A3
类
1

100
L
N
2
N
125
S
N
3
Y
400
L
Y
4
N
415
M
N
学习算法 学习模型 归纳
检验集（类标号未知）
TID A1
A2
A3
类
1
Y
100
L
？
2
N
125
S
？
3
Y
400
L
？
4
N
415 M
？
应用模型 推论
模型
第6章 决策树
第 6 章 决策树
主要内容

决策树ppt课件

决策树ppt课件
决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。

决策树培训讲义(PPT 49页)

决策树培训讲义(PPT 49页)

Married 100K No
Single 70K
No
Married 120K No
Divorced 95K
Yes
Married 60K
No
Divorced 220K No
Single 85K
Yes
Married 75K
No
Single 90K
Yes
3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
选择TaxInc为最优分割属性：
Refund
Yes
No
NO < 80K
Single TaxInc
MarSt
Married Divorced
>= 80K
NO
YES
▪ 问题1：分类从哪个属性开始？
——选择分裂变量的标准
▪ 问题2：为什么工资以80为界限？
——找到被选择的变量的分裂点的标准（ 连续变量情况）
分类划分的优劣用不纯性度量来分析。如果对于所有
分支，划分后选择相同分支的所有实例都属于相同的类，
则这个划分是纯的。对于节点m，令 N m 为到达节点m的训练
实例数，
个实例中
N
i m
个属于Ci
类，而
N
i m
Nm 。如果一
个实例到节点m，则它属于 类的概率估i 计为：
pˆ (Ci
|
x, m)
pmi
N
i m
10
Single 125K No
Married 100K No
Single 70K
No
Married 120K No

决策树学习培训讲义(PPT38张)

决策树学习培训讲义(PPT38张)

Attrib2 Large Medium Small Medium Large Medium Large Small Medium Small
Attrib3 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
Class No No No No Yes No No Yes No Yes
Attrib2 Small Medium Large Small Large
Attrib3 55K 80K 110K 95K 67K
Class ? ? ? ? ?
演绎
测试集
9
决策树应用
测试数据 从根节点开始
R e f u n d M a r it a l S t a t u s N o M a r r ie d T a x a b le h e a t In c o m e C 8 0 K ?
T a x a b le In c o m e 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
C heat No No No No Yes No No Yes No Yes
基本算法
Don’t Cheat
1 2 3 4
Yes No No Yes No No Yes No No No

i 1
其中p是在S中正例的比例，pΘ是在S中负例的比例。在有关熵的所 有计算中我们定义0log0为0。
22
例子
C 1 C 2
C1 C2
0 6
1 5
Entropy = -(0/6)log(0/6)-(6/6)log(6/6)=0
Entropy = 1-(1/6)log(1/6)-(5/6)log(5/6)=0.650

决策树模型简介decision trees PPT课件

决策树模型简介decision trees PPT课件
1—2—34 1—3—24 1—4—23 2—3—14 2—4—13 3—4—12
1—2—3—4
S (L,B ) B S (L 1,B ) S (L 1,B 1)
B: 2 3
4 t ot a l
21
1
33 1
4
47 6
1
14
5 15 25 10 51
L 6 31 90 65 202
7 63 301 350 876
1
1


2 L 1
1
L个水平的等级变量分裂成B个分支可能的数量
仅有一个等级变量
X ln(X) rank(X)
.20 1.7 3.3 3.5 14 2515
–1.6 .53 1.2 1.3 2.6 7.8
1
2345
6
potential split locations
名义变量的分裂
1—234 2—134 3—124 4—123 12—34 13—24 14—23
韩国的 Young Moon Chae 与 Seung Hee Ho 等人利用以监测卫生状态和开发国民健康促进程 序为特征的韩国医疗保险公司数据库，成功地将 决策树应用于人群健康状态评估以及为高血压管 理提供政策信息。
决策树简述
决策树（decision trees）也称判定树，是一个 类似于流程图的树结构，其中每个内部节点表示 在一个属性上的测试，每个分支代表一个测试输 出，而每个树叶节点代表类或类分布。树的最顶 层节点是根节点。
Kass (1980) Within-node sampling Minimum child size
穷举搜索考虑了输入变量所有的在每个结点可能的分裂 。穷举搜索易造成组合爆炸代价昂贵。

决策树(完整)ppt课件

决策树(完整)ppt课件
Gain(D,密度,0.381)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)

决策树讲义

决策树讲义

决策树的用途
计 年龄 收入 学生 信誉 数 64 青 高 否 良 64 青 高 否 优 128 中 高 否 良 60 老 中 否 良 64 老 低 是 良 64 老 低 是 优 64 中 低 是 优 128 青 中 否 良 64 青 低 是 良 132 老 中 是 良 64 青 中 是 优 32 中 中 否 优 32 中 高 是 良 63 老 中 否 优 1 老中 否 优
决策树的表示
决策树算法
决策树的基本组成部分：决策结点、分支和叶子。
年龄？
决策树中最上面的结点称为根结点。
青 中
老
是整个决策树的开始。每个分支是一 个新的决策结点，或者是树的叶子。
学生？
买
信誉？ 每个决策结点代表一个问题或者决策. 通常对应待分类对象的属性。
否
是
优
良 每个叶结点代表一种可能的分类结果
不买 买 买 买 买
I(S1,S2)=I(641,383)
=-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0.9537
32 中 高 是 良
买
63 老 中 否 优
不买
1 老中 否 优
买
决策树算法 第2步计算条件属性的熵
计 年龄 收入 学生 信誉 归类：买计算机？ 数
归类：买计算机？
不买 不买 买 买 买 不买 买 不买 买 买 买 买 买 不买 买
第2-2步计算年龄的熵
年龄共分三个组： 青年、中年、老年
中年买与不买比例为256/0
S1(买)=256 S2（不买）= 0 S=S1+S2=256
P1=256/256 P2=0/256
I(S1,S2)=I(256，0) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0

决策树培训讲义

决策树培训讲义

时间是人类发展的空间。2021年1月12 日星期 二2时5 6分5秒 14:56:0 512 January 2021
科学，你是国力的灵魂；同时又是社 会发展 的标志 。下午2 时56分 5秒下 午2时56 分14:5 6:0521. 1.12
每天都是美好的一天，新的一天开启 。21.1.1 221.1.1 214:56 14:56:0 514:56: 05Jan-2 1
IF性别=Female AND家庭所得= 低所得THEN购买RV房车=否 IF性别=Female AND家庭所得= 小康THEN购买RV房车=否 IF性别=Female AND家庭所得= 高所得THEN购买RV房车=是
IF性别=Male AND年龄<35 THEN购买RV房车=否 IF性别=Male AND年龄≧35 THEN购买RV房车=是
Gain(年龄)=0.0167 Gain(性别)=0.0972 Gain(家庭所得)=0.0177
17
Max:作为第一个分类依据
2021/1/12
Example(续)
I(7,3)=-((3/7)*log2(3/7)+(4/7)*log2(4/7))=0.9852
Gain(年龄)=0.9852
训练测试法(training-and-testing) 交叉验证法(cross-validation)
例如，十折交叉验证。即是将数据集分成十分， 轮流将其中9份做训练1份做测试，10次的结果的
均值作为对算法精度的估计，一般还需要进行多 次10倍交叉验证求均值，例如10次10倍交叉验证， 更精确一点。
评估模型
6
2021/1/12
例：
资料
2.模型评估
1.建立模型 未婚

决策树培训讲义

决策树培训讲义
决策树(Decision Tree)
1
2022/1/5
一、分类(Classification)
1、分类的意义
数据库
分类模型— 决策树
分类模型— 聚类
预测
了解类别属性 与特征
2
2022/1/5
2、分类的技术
（1）决策树
数据库
3
分类标记
性别
Female
年龄
Male 婚姻
<35
≧35
未婚 已婚
否
是
否
28
2022/1/5
第四步：决策树
29
2022/1/5
案例2：银行违约率
30
2022/1/5
31
2022/1/5
案例3 对电信客户的流失率分析
数据仓库
条件属性
类别属性
客户是否流失
32
2022/1/5
案例4：在银行中的应用
33
2022/1/5
案例个5人：信个用评人级信决用策评树级
34
2022/1/5
是
2022/1/5
（2）聚类
4
2022/1/5
3、分类的程序
模型建立(Model Building) 模型评估(Model Evaluation) 使用模型(Use Model)
5
2022/1/5
决策树分类的步骤
数据库
建立模型
训练样本(training samples)
测试样本(testing samples)
24
2022/1/5
第一步：属性离散化
25
2022/1/5
第二步：概化（泛化）
26
2022/1/5
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

数据库新技术 (数据挖掘)
5
在“虚度的日子”的判别中 最关键的是哪一个因素？
睡眠时间：6/7/8/9/10 成功事例数目：1/2/3 开心指数：快乐、忧伤、愤怒、平淡、无聊 人际交往：有成效、封闭 健康指数：生病、恢复、亚健康、正常 学思比数：10：1，3：1，2：1，1：2
2020/8/22
聚类
子集划分，把一个集合分割为无交集的子集；
模式分类
标识出样本归属的子集（标签）
模式识别
标识出样本对应的个体（样例）本身，或标识出 样本所属子集本身（如考古、物种鉴别等）
【注】样本，只需是个体或集合的特征表示
2020/8/22
数据库新技术 (数据挖掘)
4
从二分类问题开始
很多问题可以归结为
基于特定属性值比较，放置样本在生成树上 修剪生成树的特定算法
分类预测阶段，判断分类结果
基于逻辑，即通过对输入字段取值的布尔逻辑比较 实现对输出变量的(分类)值的预测
2020/8/22
数据库新技术 (数据挖掘)
10
决策树分类算法——基于逻辑
样本数据中既包含输入字段、也包含输出字段
学习阶段，生成决策树模型
13
决策树例图的逻辑表达式
决策树代表实例属性值约束的合取的析取式。
从树根到树叶的每一条路径对应一组属性测试的合取
树本身对应这些合取的析取。
(Outlook=Sunny ∧Humidity=High)
∨(Outlook=Sunny ∧Humidity=Normal)
分类预测阶段，判断分类结果
基于逻辑，即通过对输入字段取值的布尔逻辑比较 实现对输出变量的(分类)值的预测
每个叶子节点对应一条推理规则，作为对新的数据 对象进行分类预测的依据。
2020/8/22
数据库新技术 (数据挖掘)
11
3. 决策树的核心问题
决策树的生成对训练样本进行分组
关键，确定树根节点和分支准则 停止生长时机
4.1 分类预测概念
目的（通用）
学习模型建立的算法 了解该算法在相应数据挖掘问题中的应用
分类预测的含义 分类预测算法的类型
2020/8/22
数据库新技术 (数据挖掘)
1
4.1 分类预测概念
目的（通用） 分类预测的含义
1. 通过对现有数据的学习建立起拟合数据的模型 2. 利用该模型对未来新数据进行分类，具备预测能力
7
2. 什么是决策树
决策树来自决策论, 由多个 决策分支和可能的结果 （包括资源成本和风险） 组成，用来创建到达目标 的规划；
A Decision tree is a tree with branching nodes with a choice between two or more choices.
分类预测算法的类型
2020/8/22
数据库新技术 (数据挖掘)
2
4.1 分类预测概念
目的（通用） 分类预测的含义
分类预测算法的类型
分析新数据在离散型输出变量上的取值分类决策树 分析新数据在数值型（连续）输出变量上的取值
回归决策树
2020/8/22
数据库新技术 (数据挖掘)
3
聚类、分类和模式识别
数据库新技术 (数据挖掘)
6
基于树型结构的排序算法
树中节点的位置的确定和调整是通过对每一个 节点中某个特定域的属性值排序决定，
通常，树中节点都具有该属性
二叉排序树 堆排序
如果树中节点没有现成的公共属性，无法据以 比较节点以安排其在生成树中位置，怎么办？
2020/8/22
数据库新技术 (数据挖掘)
Sunny Overcast
Rain
树上每个节点说明了对样本的某个
属性的测试, 如：湿度
Humidity
Yes Wind
节点的每个后继分支对应于该属性
的一个可能值， High
High
Normal
Strong
Weak
决策树代表样本的属性值约束的
合取的析取式
No
Yes
No
Yes
2020/8/22
数据库新技术 (数据挖掘)
2020/8/22
数据库新技术 (数据挖掘)
8
2.1 决策树学习 和分类预测
• 两类问题, 右图
IF (Outlook = Sunny) ^ (Humidity = High) THEN PlayTennis =?
IF (Outlook = Sunny)^ (Humidity = Normal) THEN PlayTennis = ?
1. 上课、习题，以及考试都不是目的，只是为一个 结果：及格？通过？优秀
2. 看电影：这是好人还是坏人 3. 求职：多项测试之后，决定
喜欢还是不喜欢？满意还是不满意？
4. 研究方向：Major in or out
– 在上述选择过程中，涉及到多个因素，如何 比较不同因素重要性的差别？
2020/8/22
两步骤求解过程： Training examples:
Day Outlook Temp. Humidity Wind Play Tennis D1 Sunny Hot High Weak No D2 Overcast Hot High Strong Yes
1. 归纳推理求得一般性结论（决策树生成学习）
决策树的修剪解决过度拟合问题
预先修剪，限值决策树的充分生长，如：限制树的高度
滞后修剪，待决策树充分生长完毕后再进行修剪
当节点和分支数较多时，显然不合适
2020/8/22
数据库新技术 (数据挖掘)
12
3.1 决策树表示法
决策树
通过把样本从根节点排列到某个叶
Outlook
子节点来分类样本
叶子节点即为样本所属的分类
也可以用来表示算法。
分类预测：决策树表示
决策树学习结果：表示为决策 树形式源自 离散值（布尔）函数；Node,
test attributes
Branches, values
Root Node, first attribute
Leaf Nodes, discrete values
决策树的表示？
2. 由决策树演绎推理得到新样例对应的结果；
Outlook
Sunny Overcast
Rain
Humidity
Yes
Wind
High
Normal
Strong
Weak
No
Yes
No
Yes
2020/8/22
数据库新技术 (数据挖掘)
9
决策树生成算法——有指导学习
样本数据中既包含输入字段、也包含输出字段 学习阶段，生成决策树模型

相关主题