朴素贝叶斯分类器的扩展

– 扩展朴素贝叶斯网络结构，增加表示属性间可能存 在的依赖关系的边 – 通过属性选择，在选出的具有较好属性独立关系的 属性子集上进行分类模型的学习
半朴素贝叶斯分类器
• 算法思想：在半朴素贝叶斯分类器中，属性变量 被分成多个相互条件独立的属性组,同一组中的 属性可以是部分相关也可以是完全相关 • 在给定类变量条件下各属性变量的联合概率为：
半朴素贝叶斯分类器的局限
• 随着组内变量个数的增加，算法的时间复杂度 成指数增长，而且对各个条件概率的估计将变 得很不精确。因此组内属性个数不宜太多，两 到三个为宜 • 该模型不能很好地表达属性之间都相关的情形
TAN分类器
• 基本思想：在朴素贝叶斯分类器的基础 上，在可能具有依赖关系的属性之间增 添连接弧，使表达属性之间依赖关系的 模型图构成一颗树。
P ( A1 ,..., A n | C ) P ( A S 1 | C )... P ( A Sk | C )
其中Asi是由相关属性构成的变量组,假设 Asi={Ai1, Ai2,… Ail},则
P ( A Si | C ) P ( A i 1 | C ) P ( A i 2 | A i 1 , C )... P ( A il | A i 1 ,..., A il 1 , C )
贝叶斯分类
• 根据训练集D计算类条件概率密度 P(u|ci) 和类别先验概率 P(ci) • 求类别后验概率 P(ci|u)及u的类别c如下：
P (c i | u ) P (u | c i ) P (c i ) P (u ) P (u | c i ) P (c i )

l i 1
P (u | c i ) P (c i )
c arg max { P ( u | c i ) P ( c i )}
1 i l
朴素贝叶斯分类器
• 优点：作为最早的贝叶斯分类器 ，结构简单， 效率高，抗干扰能力强，很多情况下精度高
朴wk.baidu.com贝叶斯分类器
• 假设未分类实例u=(u1, u2… un),在条件独 立假设下有：
P ( u | c j ) P ( u 1 ,..., u n | c j )
朴素贝叶斯分类器的扩展
内容安排
• 贝叶斯分类简介
• 朴素贝叶斯分类器优缺点 • 朴素贝叶斯的结构扩展
贝叶斯分类
• 优点：建立在贝叶斯网络和贝叶斯统计 学基础上 ，模型可解释、精度高 • 方法描述：Ai （i=1,2,…n) 为训练集D中 的属性变量，C为类变量，对于所给的 未分类实例u，利用贝叶斯分类方法将进 行分类的过程可以描述如下：
c arg max {
1 j l n i 1

n i 1
P (u i | c j )
P ( u i | c j ) P ( c j )}
朴素贝叶斯分类器的局限及扩展
• 缺点：以不切实际的（naï ve)属性间的条 件独立性假设为前提，在大多数情况下， 该假设的违背会显著降低分类精度。 • 扩展方式：