下载文档原格式
《模式识别基础》课程标准（执笔人：刘雨审阅学院：电子科学与工程学院）课程编号：08113英文名称：Pattern Recognition预修课程：高等数学，线性代数，概率论与数理统计，程序设计学时安排：40学时，其中讲授32学时，实践8学时。
学分：2一、课程概述（一）课程性质地位模式识别课基础程是军事指挥类本科生信息工程专业的专业基础课，通信工程专业的选修课。
在知识结构中处于承上启下的重要位置，对于巩固已学知识、开展专业课学习及未来工作具有重要意义。
课程特点是理论与实践联系密切，是培养学生理论素养、实践技能和创新能力的重要环节。
是以后工作中理解、使用信息战中涉及的众多信息处理技术的重要知识储备。
本课程主要介绍统计模式识别的基本理论和方法，包括聚类分析，判别域代数界面方程法，统计判决、训练学习与错误率估计，最近邻方法以及特征提取与选择。
模式识别是研究信息分类识别理论和方法的学科，综合性、交叉性强。
从内涵讲，模式识别是一门数据处理、信息分析的学科，从应用讲，属于人工智能、机器学习范畴。
理论上它涉及的数学知识较多，如代数学、矩阵论、函数论、概率统计、最优化方法、图论等，用到信号处理、控制论、计算机技术、生理物理学等知识。
典型应用有文字、语音、图像、视频机器识别，雷达、红外、声纳、遥感目标识别，可用于军事、侦探、生物、天文、地质、经济、医学等众多领域。
（二）课程基本理念以学生为主体，教师为主导，精讲多练，以用促学，学以致用。
使学生理解模式识别的本质，掌握利用机器进行信息识别分类的基本原理和方法，在思、学、用、思、学、用的循环中，达到培养理论素养，锻炼实践技能，激发创新能力的目的。
（三）课程设计思路围绕培养科技底蕴厚实、创新能力突出的高素质人才的目标，本课程的培养目标是：使学生掌握统计模式识别的基本原理和方法，了解其应用领域和发展动态，达到夯实理论基础、锻炼理论素养及实践技能、激发创新能力的目的。
模式识别是研究分类识别理论和方法的学科，综合性、交叉性强，涉及的数学知识多，应用广。
最近邻法和k-近邻法一.基本概念：最近邻法：对于未知样本x，比较x与N个已知类别的样本之间的欧式距离，并决策x 与距离它最近的样本同类。
K近邻法：取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。
K取奇数，为了是避免k1=k2的情况。
二.问题分析：要判别x属于哪一类，关键要求得与x最近的k个样本（当k=1时，即是最近邻法），然后判别这k个样本的多数属于哪一类。
可采用欧式距离公式求得两个样本间的距离s=sqrt（（x1-x2）^2+(y1-y2)^2）三.算法分析：该算法中任取每类样本的一半作为训练样本，其余作为测试样本。
例如iris中取每类样本的25组作为训练样本，剩余25组作为测试样本，依次求得与一测试样本x距离最近的k 个样本，并判断k个样本多数属于哪一类，则x就属于哪类。
测试10次，取10次分类正确率的平均值来检验算法的性能。
四.MATLAB代码：最近邻算实现对Iris分类clc;totalsum=0;for ii=1:10data=load('iris.txt');data1=data(1:50,1:4);%任取Iris-setosa数据的25组rbow1=randperm(50);trainsample1=data1(rbow1(:,1:25),1:4);rbow1(:,26:50)=sort(rbow1(:,26:50));%剩余的25组按行下标大小顺序排列testsample1=data1(rbow1(:,26:50),1:4);data2=data(51:100,1:4);%任取Iris-versicolor数据的25组 rbow2=randperm(50); trainsample2=data2(rbow2(:,1:25),1:4);rbow2(:,26:50)=sort(rbow2(:,26:50));testsample2=data2(rbow2(:,26:50),1:4);data3=data(101:150,1:4);%任取Iris-virginica数据的25组rbow3=randperm(50);trainsample3=data3(rbow3(:,1:25),1:4);rbow3(:,26:50)=sort(rbow3(:,26:50));testsample3=data3(rbow3(:,26:50),1:4);trainsample=cat(1,trainsample1,trainsample2,trainsample3);%包含75组数据的样本集testsample=cat(1,testsample1,testsample2,testsample3);newchar=zeros(1,75);sum=0;[i,j]=size(trainsample);%i=60,j=4[u,v]=size(testsample);%u=90,v=4for x=1:ufor y=1:iresult=sqrt((testsample(x,1)-trainsample(y,1))^2+(testsample(x,2)-trainsample(y,2))^2+(testsampl e(x,3)-trainsample(y,3))^2+(testsample(x,4)-trainsample(y,4))^2); %欧式距离newchar(1,y)=result;end;[new,Ind]=sort(newchar);class1=0;class2=0;class3=0;if Ind(1,1)<=25class1=class1+1;elseif Ind(1,1)>25&&Ind(1,1)<=50class2=class2+1;elseclass3=class3+1;endif class1>class2&&class1>class3m=1;ty='Iris-setosa';elseif class2>class1&&class2>class3m=2;ty='Iris-versicolor';elseif class3>class1&&class3>class2m=3;ty='Iris-virginica';elsem=0;ty='none';endif x<=25&&m>0disp(sprintf('第%d组数据分类后为%s类',rbow1(:,x+25),ty));elseif x<=25&&m==0disp(sprintf('第%d组数据分类后为%s类',rbow1(:,x+25),'none'));endif x>25&&x<=50&&m>0disp(sprintf('第%d组数据分类后为%s类',50+rbow2(:,x),ty));elseif x>25&&x<=50&&m==0disp(sprintf('第%d组数据分类后为%s类',50+rbow2(:,x),'none'));endif x>50&&x<=75&&m>0disp(sprintf('第%d组数据分类后为%s类',100+rbow3(:,x-25),ty));elseif x>50&&x<=75&&m==0disp(sprintf('第%d组数据分类后为%s类',100+rbow3(:,x-25),'none'));endif (x<=25&&m==1)||(x>25&&x<=50&&m==2)||(x>50&&x<=75&&m==3)sum=sum+1;endenddisp(sprintf('第%d次分类识别率为%4.2f',ii,sum/75)); totalsum=totalsum+(sum/75);enddisp(sprintf('10次分类平均识别率为%4.2f',totalsum/10));测试结果：第3组数据分类后为Iris-setosa类第5组数据分类后为Iris-setosa类第6组数据分类后为Iris-setosa类第7组数据分类后为Iris-setosa类第10组数据分类后为Iris-setosa类第11组数据分类后为Iris-setosa类第12组数据分类后为Iris-setosa类第14组数据分类后为Iris-setosa类第16组数据分类后为Iris-setosa类第18组数据分类后为Iris-setosa类第19组数据分类后为Iris-setosa类第20组数据分类后为Iris-setosa类第23组数据分类后为Iris-setosa类第24组数据分类后为Iris-setosa类第26组数据分类后为Iris-setosa类第28组数据分类后为Iris-setosa类第30组数据分类后为Iris-setosa类第31组数据分类后为Iris-setosa类第34组数据分类后为Iris-setosa类第37组数据分类后为Iris-setosa类第39组数据分类后为Iris-setosa类第41组数据分类后为Iris-setosa类第44组数据分类后为Iris-setosa类第45组数据分类后为Iris-setosa类第49组数据分类后为Iris-setosa类第51组数据分类后为Iris-versicolor类第53组数据分类后为Iris-versicolor类第54组数据分类后为Iris-versicolor类第55组数据分类后为Iris-versicolor类第57组数据分类后为Iris-versicolor类第58组数据分类后为Iris-versicolor类第59组数据分类后为Iris-versicolor类第60组数据分类后为Iris-versicolor类第61组数据分类后为Iris-versicolor类第62组数据分类后为Iris-versicolor类第68组数据分类后为Iris-versicolor类第70组数据分类后为Iris-versicolor类第71组数据分类后为Iris-virginica类第74组数据分类后为Iris-versicolor类第75组数据分类后为Iris-versicolor类第77组数据分类后为Iris-versicolor类第79组数据分类后为Iris-versicolor类第80组数据分类后为Iris-versicolor类第84组数据分类后为Iris-virginica类第85组数据分类后为Iris-versicolor类第92组数据分类后为Iris-versicolor类第95组数据分类后为Iris-versicolor类第97组数据分类后为Iris-versicolor类第98组数据分类后为Iris-versicolor类第99组数据分类后为Iris-versicolor类第102组数据分类后为Iris-virginica类第103组数据分类后为Iris-virginica类第105组数据分类后为Iris-virginica类第106组数据分类后为Iris-virginica类第107组数据分类后为Iris-versicolor类第108组数据分类后为Iris-virginica类第114组数据分类后为Iris-virginica类第118组数据分类后为Iris-virginica类第119组数据分类后为Iris-virginica类第124组数据分类后为Iris-virginica类第125组数据分类后为Iris-virginica类第126组数据分类后为Iris-virginica类第127组数据分类后为Iris-virginica类第128组数据分类后为Iris-virginica类第129组数据分类后为Iris-virginica类第130组数据分类后为Iris-virginica类第133组数据分类后为Iris-virginica类第135组数据分类后为Iris-virginica类第137组数据分类后为Iris-virginica类第138组数据分类后为Iris-virginica类第142组数据分类后为Iris-virginica类第144组数据分类后为Iris-virginica类第148组数据分类后为Iris-virginica类第149组数据分类后为Iris-virginica类第150组数据分类后为Iris-virginica类k近邻法对wine分类：clc;otalsum=0;for ii=1:10 %循环测试10次data=load('wine.txt');%导入wine数据data1=data(1:59,1:13);%任取第一类数据的30组rbow1=randperm(59);trainsample1=data1(sort(rbow1(:,1:30)),1:13);rbow1(:,31:59)=sort(rbow1(:,31:59)); %剩余的29组按行下标大小顺序排列testsample1=data1(rbow1(:,31:59),1:13);data2=data(60:130,1:13);%任取第二类数据的35组rbow2=randperm(71);trainsample2=data2(sort(rbow2(:,1:35)),1:13);rbow2(:,36:71)=sort(rbow2(:,36:71));testsample2=data2(rbow2(:,36:71),1:13);data3=data(131:178,1:13);%任取第三类数据的24组rbow3=randperm(48);trainsample3=data3(sort(rbow3(:,1:24)),1:13);rbow3(:,25:48)=sort(rbow3(:,25:48));testsample3=data3(rbow3(:,25:48),1:13);train_sample=cat(1,trainsample1,trainsample2,trainsample3);%包含89组数据的样本集test_sample=cat(1,testsample1,testsample2,testsample3); k=19;%19近邻法newchar=zeros(1,89);sum=0;[i,j]=size(train_sample);%i=89,j=13[u,v]=size(test_sample);%u=89,v=13for x=1:ufor y=1:iresult=sqrt((test_sample(x,1)-train_sample(y,1))^2+(test_sample(x,2)-train_sample(y,2))^2+(test_ sample(x,3)-train_sample(y,3))^2+(test_sample(x,4)-train_sample(y,4))^2+(test_sample(x,5)-train _sample(y,5))^2+(test_sample(x,6)-train_sample(y,6))^2+(test_sample(x,7)-train_sample(y,7))^2+ (test_sample(x,8)-train_sample(y,8))^2+(test_sample(x,9)-train_sample(y,9))^2+(test_sample(x,10)-train_sample(y,10))^2+(test_sample(x,11)-train_sample(y,11))^2+(test_sample(x,12)-train_sa mple(y,12))^2+(test_sample(x,13)-train_sample(y,13))^2); %欧式距离newchar(1,y)=result;end;[new,Ind]=sort(newchar); class1=0; class 2=0; class 3=0;for n=1:kif Ind(1,n)<=30class 1= class 1+1;elseif Ind(1,n)>30&&Ind(1,n)<=65class 2= class 2+1;elseclass 3= class3+1;endendif class 1>= class 2&& class1>= class3m=1;elseif class2>= class1&& class2>= class3m=2;elseif class3>= class1&& class3>= class2m=3;endif x<=29disp(sprintf('第%d组数据分类后为第%d类',rbow1(:,30+x),m));elseif x>29&&x<=65disp(sprintf('第%d组数据分类后为第%d类',59+rbow2(:,x+6),m));elseif x>65&&x<=89disp(sprintf('第%d组数据分类后为第%d类',130+rbow3(:,x-41),m));endif (x<=29&&m==1)||(x>29&&x<=65&&m==2)||(x>65&&x<=89&&m==3)sum=sum+1;endenddisp(sprintf('第%d次分类识别率为%4.2f',ii,sum/89));totalsum=totalsum+(sum/89);enddisp(sprintf('10次分类平均识别率为%4.2f',totalsum/10));第2组数据分类后为第1类第4组数据分类后为第1类第5组数据分类后为第3类第6组数据分类后为第1类第8组数据分类后为第1类第10组数据分类后为第1类第11组数据分类后为第1类第14组数据分类后为第1类第19组数据分类后为第1类第20组数据分类后为第3类第21组数据分类后为第3类第22组数据分类后为第3类第26组数据分类后为第3类第27组数据分类后为第1类第28组数据分类后为第1类第30组数据分类后为第1类第33组数据分类后为第1类第36组数据分类后为第1类第37组数据分类后为第1类第43组数据分类后为第1类第44组数据分类后为第3类第45组数据分类后为第1类第46组数据分类后为第1类第49组数据分类后为第1类第52组数据分类后为第1类第54组数据分类后为第1类第56组数据分类后为第1类第57组数据分类后为第1类第60组数据分类后为第2类第61组数据分类后为第3类第63组数据分类后为第3类第65组数据分类后为第2类第66组数据分类后为第3类第67组数据分类后为第2类第71组数据分类后为第1类第72组数据分类后为第2类第74组数据分类后为第1类第76组数据分类后为第2类第77组数据分类后为第2类第79组数据分类后为第3类第81组数据分类后为第2类第82组数据分类后为第3类第83组数据分类后为第3类第84组数据分类后为第2类第86组数据分类后为第2类第87组数据分类后为第2类第88组数据分类后为第2类第93组数据分类后为第2类第96组数据分类后为第1类第98组数据分类后为第2类第99组数据分类后为第3类第104组数据分类后为第2类第105组数据分类后为第3类第106组数据分类后为第2类第110组数据分类后为第3类第113组数据分类后为第3类第114组数据分类后为第2类第115组数据分类后为第2类第116组数据分类后为第2类第118组数据分类后为第2类第122组数据分类后为第2类第123组数据分类后为第2类第124组数据分类后为第2类第133组数据分类后为第3类第134组数据分类后为第3类第135组数据分类后为第2类第136组数据分类后为第3类第139组数据分类后为第3类第140组数据分类后为第3类第142组数据分类后为第3类第144组数据分类后为第2类第145组数据分类后为第1类第146组数据分类后为第3类第148组数据分类后为第3类第149组数据分类后为第2类第152组数据分类后为第2类第157组数据分类后为第2类第159组数据分类后为第3类第161组数据分类后为第2类第162组数据分类后为第3类第163组数据分类后为第3类第164组数据分类后为第3类第165组数据分类后为第3类第167组数据分类后为第3类第168组数据分类后为第3类第173组数据分类后为第3类第174组数据分类后为第3类五：问题和收获：该算法的优缺点总结为：优点：算法简单且识别率较高；缺点：算法需要计算未知样本x与周围每个样本的距离，然后排序选择最近的k个近邻，计算量和时间复杂度高。
机器学习理论与方法知到章节测试答案智慧树2023年最新同济大学第一章测试1.机器学习是研究发现数据模型的算法并利用这些模型做出决策。
（）参考答案:对2.机器学习通常要经过数据选择，模型训练，模型优化矫正等过程。
（）参考答案:对3.决策树模型是一种典型的聚类模型。
（）参考答案:错4.决策树是随机森林模型的子结构。
（）参考答案:对5.以下哪种情况适合使用SVM算法（）。
参考答案:单细胞分类6.关于机器学习的基本流程，下列顺序正确的是（）。
参考答案:建模—评价—改进7.监督式学习根据输出形式可分为（）。
参考答案:分类和回归8.机器学习根据学习方式可分为（）。
参考答案:监督学习;无监督学习;强化学习;半监督学习9.朴素贝叶斯适合下列哪种场景分析（）。
参考答案:消费者细分;情感分析10.机器学习根据模型性质可分为（）。
参考答案:非线性模型;线性模型第二章测试1.若非零矩阵A满足A=O，则A+E与A-E均可逆（）参考答案:对2.矩阵的特征值为（）参考答案:-13.设P(A)=0.4，P(B)=0.7，事件A，B相互独立，则P(B-A)=（）参考答案:0.424.已知离散型随机变量X可取值{-3,-1,0,2},且取这些值的概率依次为，则b的取值为2 （）参考答案:对5.若随机变量X服从N(5,4)的分布，若P(X＞c)=P(X＜c)，则c=（）参考答案:56.事件A，B，C至少有一个发生可以表示为。
（）参考答案:对7.事件A与B互不相容，是指P(AB)=P(A)P(B) 。
( )参考答案:对8.下列关于矩阵的运算法则正确的是（）。
参考答案:(AB)C=A(BC);(A+B)C=AC+BC;(A t)t=A9.假设A和B都是同阶可逆矩阵，且A为对称矩阵，则下列等式成立的为（）。
参考答案:(AB t)-1=A-1(B-1)t10.假设感染了新冠病毒的病人中感到身体发热的概率为0.88，病人感染新冠病毒的概率为0.001，病人发热的概率为0.02，则如果检测到一个病人发热，则判断他感染了新冠病毒的概率为（）。
.第四章 用距离函数进行模式识别
§1 最小距离分类器 1] 单中心点情况
2
()(21)2
()i j i
T
T
T
T i i
i i i i i j i x x Z x D D D x Z x Z x x Z Z Z ω∀≠<=----⇒∈=-=‖‖
决策函数：)1(2
T
T i i i i Z Z Z d x x =-是x 的线性函数。
()()i j i d x x d j i x ω>∀≠⇒∈
分界面：()()i j d x d x =
2] 多中心点情况
i ω:
i N 个中心，12...i N
i i i Z Z Z ，，
， x 到i ω的距离min ,1,2...l
i l i i x Z D l N -==‖‖
,1()max ()()1,2,...2){()}(i j i
T
l
l T l
i l i
i i i
i j i
j i x x Z z z l N D D d x x d x j x d i ωω∀≠⇒∈=-=>∀≠⇒∈<
3] 最近邻分类器（NNC ）
非参数分类器
()(|)(|)()i i i i x p p x p d x ωωω==
【结论】当样本数趋近于无穷大的时候，X 的最近邻将无限趋近于X ，即：+∞→N ，有：('|)(')lim N N N P X X X X δ→+∞
=-
证明：当+∞→N 时，X 的最近邻'N X 落在以X 为中心的球Ps 内的概率为： (')'0N N Ps P X dX =>⎰
一个样本在球Ps 外的概率为：(1)Ps - N 个独立样本在球Ps 外的概率为：(1)N
Ps - 当N +∞→时，则0)1(→-Ps N
则结论成立。
NCC 错误率
*
*
*(2)
1
M P P P P M ≤≤-- 其中：*
P 为最小错误率Bayes 分类器的平均错误率； P 为最近邻分类器的平均错误率；
M 为类别数。
证明：(1) Bayes 分类器的平均错误率：
对于单个样本X ，若P(ωb |X )=max P(ωi |X ) i=1,2,…,m 则x ∈ωb 则：P*(e |X)=1- P(ωb |X)
P*=*(|)()[1(|)]()b P e X P X dx P X P X dX ω=-⎰⎰
(2) 最近邻分类器的平均错误率：
(|)(){lim (|)}()N N N P P e X P X dx P e X P X dx ⎰⎰→+∞
==
(|)(|,')('|)'N N N N
N e X e X X P X X dX P
P =⎰
1
(|,')1(|)(|')M N N i i N i P e X X P X P X ωω==-∑
1
11
21
lim (|)lim [1(|)(|')]('|)'
[1(|)(|')]{lim ('|)}'
[1(|)(|')](')'
1(|)
lim ('|)(')
()()M
N i i N N N N N i M
i i N N N N i M
i i N N N i M
i i N N N P e X P X P X P X X dX P X P X P X X dX P X P X X X dX P X P X X X X f x x x dx ωωωωωωδωδδ→+∞
→+∞
=→+∞
===→+∞
=-=-=--=-=--∑⎰∑⎰∑⎰∑0
0()
'N f x x X x X
===⎰
21
[1(|)]()M
i i P P X P X dX ω==-∑⎰
(3) 最近邻分类器的平均错误率一定大于Bayes 分类器的平均错误
率，但有相等的时候。
即：P ≥P* “=”
[A 最容易的情况]
当P(ωb |x)=1 P(ωi |x)=0 i ≠b
Bayes P*=[11]()0P X dX -=⎰
NNC P= 2
[11]()0P X dX -=⎰
[B 最难的情况] 当P(ωi |x)=
M
1
Bayes P*=11[1]()1P X dX M M
-
=-⎰ NNC P=⎰∑-=-M
dx x P M 1
1)(])1(1[2
最容易和最困难的情况，用Bayes 分类器和NNC 分类器具有相同的结果。
(4) 证明
*
*
(2)1
M P P P M ≤-- 21
[1(|)]()M
i i P P X P X dX ω=↑=-∑⎰
即： 222
1
(|)(|)(|)M
i b i i i b
P X P X P X ωωω=≠↓=+↓∑
∑ 约束条件*(|)1(|)(|)b i i b
P e X P X P X ωω≠=-=∑
2(|)[(|)*(|)]
2(|)0
(|)
i i i b
i b
i i J P X P X P e X J P X i b
P X ωλωωλω≠≠↓=--∂=-=≠∂∑∑
当(|)2
i P X i b λ
ω=
≠时 2
(|)i i b
P X ω≠∑↓
(|)(1)
*(|)
2
2*(|)
1
i i b
P X M P e X P e X M λ
ωλ≠=-==
-∑约束条件：得：
2
2222
2
2*(|)
(|)21
(|)(|)(|)*(|)[1*(|)](1)12*(|)*(|)1
i i b
i i b
i b P e X P X i b M P X P X P X P e X P e X M M
P e X P e X M λ
ωωωω≠≠==≠-=+=-+-=-+-∑∑∑当时
取得最小值
21
222
[1(|)]()[2*(|)*(|)]()1
2**(|)()2**
11
M
i i P P X P X dx
M
P e X P e X P X dX
M M M P P e X P X dX P P M M ω==-≤--=-≤---∑⎰⎰⎰ 22
2
**(|)()[*(|)][*(|)*]()*(|)()*0
P P e x P x dx
Var P e x P e x P P x dx P e x P x dx P ==-=-≥⎰⎰⎰
得到：**(2*)1
N M
P P P P M →+∞
≤
≤--
4] K 近邻法(KNNC ，qNNC)
K 个最近邻，K 个近邻中距哪一类样本多，就把X 分到哪一类
5]最近邻点的改进
缺点：存贮量大，计算量大
1． 剪辑（Editing ）
(1) N NR NT χχχ=⋃
(2) 以NR χ中样本为标准，对NT χ中样本进行测试，得到NTE χ。
(3) 以NTE χ为样本做NNC 好处：（1）')()(E N N P e P e <
（2）TE N N ↓<↓计算量存储量 2. 凝聚 （Condensing ）。
