第三章 约束推理
约束的定义： 一个约束通常是指一个包含若干变量的关系表达式， 满足的
条件。
贪心算法： 贪心法把构造可行解的工作分阶段来完成。 在各个阶段， 选择那些在某些意义下 是局部最优的方案，期望各阶段的局部最优的选择带来整体最优。
回溯算法： 有些问题需要彻底的搜索才能解决问题， 然而， 彻底的搜索要以大量的运算时间 为代价，对于这种情况可以通过回溯法来去掉一
些分支，从而大大减少搜索的次数
第四章 定性推理 定性推理的定义 是从物理系统、 生命系统的
结构描述出发 , 导出行为描述 , 以便预测系统的 行为并给出原因解释。 定性推理采用系统部件间的局部结构规则来解释系统行为 态的变化行为只与直接相邻的部件有关
第六章 贝叶斯网络
贝叶斯网络的定义： 贝叶斯网络是表示变量间概率依赖关系的有向无环图， 这里每个节点表示领域变量， 表示变量间的概率依赖关系， 同时对每个节点都对应着一个条件概率分布表 (CPT) 该变量与父节
点之间概率依赖的数量关系。 条件概率：条件概率：我们把事件B 已经出现的条件下，事件 A 发生的概率记做为 并称之为在B 出现的条件下 A 出现的条件概率，而称 P(A)为无条件概率。
贝叶斯概率： 先验概率、后验概率、联合概率、全概率公式、贝叶斯公式 先验概率：
先验概率是指根据历史的资料或主观判断所确定的各事件发生的概率， 验证实，
属于检验前的概率，所以称之为先验概率
后验概率：
后验概率一般是指利用贝叶斯公式， 结合调查等方式获取了新的附加信息， 对先验概率进行 修正后得到的更符合实际的概率
联合概率： 联合概率也叫乘法公式，是指两个任意事件的乘积的概率，或称之为交事件的概率。 贝叶斯问题的求解步骤
定义随机变量、 确定先验分布密度、 利用贝叶斯定理计算后验分布密度、 利用计算得到的厚 颜分布密度对所求问题作出推断
贝叶斯网络的构建
为了建立贝叶斯网络， 第一步 ，必须确定为建立模型有关的变量及其解释。为此，需要：
(1) 确定模型的目标， 即确定问题相关的解释； (2) 确定与问题有关的许多可能的观测值， 并 确定其中值得建立模型的子集； (3) 将这些观测值组织成互不相容的而且穷尽所有状态的变 量。这样做的结果不是唯一的。 第二步 ，建立一个表示条件独立断言的有向无环图第三步指 派局部概率分布 p (xi|Pai )。在离散的情形，需要为每一个变量 Xi 的各个父节 点的状态指派一个分布。 第七章 归纳学习
归纳学习是符号学习中研究得最为广泛的一种方法。给定关于某个概念的一系列已知的 正例和反例，其任务是从中归纳出一个一般的概念描述 。
归纳学习能够获得新的概念， 创立新 的 规 则 ， 发 现 新 的 理 论 。 它 的 一 般 的 操 作 是 泛 化 和 特 化泛化用来扩展一假设的语义信息，以使其能够包含更多的正例，
用以表示这些变量所必须 即部件状 每条边 ，指明了 P(A|B) 。 该类概率没能经过实
应用于更多的情况。特化是泛化的相反的操作，用于限制概念描述的应用范围。 用程序语言描述定义上述内容的过程就是归纳学习程序 , 用于书写归纳程序的语言称为 归纳程序设计语言 , 能执行归纳程序 , 完成特定归纳学习任务的系统叫做归纳学习系统。归 纳学习系统可独立 , 也可嵌入另一较大的知识处理系统。一般归纳程序的输入是科学实验中 个别观察对象 （过程）的描述 , 输出是一类对象的总体特征描述或几类对象的分类判别描述。 与演绎相对照 , 归纳的开始前提是具体事实而不是一般公理 , 推理目标是形式化解释事 实的似然一般断言和预见新事实。 归纳推理企图从给定现象或它的一部分的具体观察推导出 一个完整的、正确的描述。归纳的两个方面 ? ? 似然假设的产生和它的有效性 （ 真值状态的 建立 ）, 只有前者对归纳学习研究具备基本意义 , 而假设有效性的问题是次要的， 因为假定所 产生的假设由人类专家判断 , 由已知的演绎推理和数理统计的方法测试。 归纳学习可以分为实例学习、观察与发现学习。
实例学习 , 又叫概念获取 , 它的
任务是确定概念的一般描述，这个描述
应能解释所有给 定的正例并排除所有给
定的反例。
是自然现象， 也可以是实验结果。 有教师学习。
观察与发现学习又称描述的泛化 数
观察的规律和规则。这类学习包括概念
聚类、构造分类、发现定理、形成理论等。观察与 发现学习是由未经分类的观察学习，或由系统自身的功能去发现，因此是无教师学习。 因为归纳推理是从有限的、不完全的知识状态推出完全的知识状态 , 故归纳推理本身就是 一种非单调推理。 但归纳推理本身又无法验证新知识正确与否 , 而非单调逻辑则为我们处理 非单调归纳知识提供理论基础。
归纳原理的基本思想 是在大量观察的基础上通过假设形成一个科学理论。所有观察都是 单称命题 , 而一个理论往往是领域内的全称命题 , 从单称命题过渡到全称命题从逻辑上来说 没有必然的蕴涵关系 , 对于不能观察的事实往往默认它们成立。我们把归纳推理得到的归纳 断言作为知识库中的知识使用 , 而且做为默认知识使用 , 当出现与之矛盾的新命题时 , 可以 推翻原有的由归纳推理得出的默认知识 , 以保持系统知识的一致性。
单个概念的归纳学习 的一个通用定义是 ：
（1） 给定由全体实例组成的一个实例空间，每个实例具有某些属性。
（2） 给定一个描述语言，该语言的描述能力包括描述每一个实例（通过描述改实例的属性 来实现）及描述某些实例集，称为概念。
（3） 每次学习时，由实例空间抽出某些实例，称这些实例构成的集合为正例集。再由实例 空间抽出另外一些实例，称这些实例为反例集。
（4）
如果能够在有限步内找到一个概念 A ，它完全包含正例集，并且与反例集的交集为空
7.2.1 归纳学习的一般模式 为了较具体地刻画概念的归纳学习，这里
给出归纳学习的 一般模式。 给定 :
① 观察语句集 （ 事实 ）F ：这是有关某类对象中个别具体对象的知识或某一对象的部分特 征的知识。 ② 假定的初始归纳断言 （ 可空 ） ：是关于目标的泛化项或泛化描述。
③ 背景知识：背景知识定义了在观察语句和所产生的候选归纳断言上的假定和限制，以 及任何有关问题领域知识。有关问题领域知识包括特化所找归纳断言的期望性质的择优标 准。
描述符定义域是描述符所能取值的集合 。如人的体温在34 C 〜44 C 之间，则描述符“体
温”只能在这个范围内取值。 描述符类型则是根据描述符定义域元素之间的关系决定的。
根这些正反例由信息源提供。 信息源的来源非常广泛， 可以 实例学习是根据教师给以分类的正反例进行学习， 因此是 。这类学习没有教师的帮助，它要产生解释所有或大多
