第四章 神经网络基本理论[可修改版ppt]

4.1 人工神经元模型
常用的激发函数f 的种类 ：
1）阈值型函数 1 x 0
f(x) 0 x 0
f(x)
1 1
x0 x0
4.1 人工神经元模型
2）饱和型函数
1
f(x) kx
1
3）双曲函数
x 1
k
1 x 1
k
k
x1
k
f(x) arctan(x)
4）S型函数
4.1 人工神经元模型
f(x)
J k
w
(2) j
J k yˆ k
yˆ k
w
(2) j
( yk
yˆ k
)
Out
(2) j
J k wi(j1)
J k yˆ k
yˆ k
out
(2) j
out
(2) j
in
(2) j
in
(2) j
wi(j1)
( yk
yˆ k
)
w
(2) j
f
Out
(1) i
4.4 多层前向BP神经网络
学习的步骤：
J
1 2
M
( yk
k 1
yk )2
4.4 多层前向BP神经网络
训练算法是：
w(t 1) w(t) J
w(t)
w (j2)
(t
1)
w
(2) j
(t)
1
J
w
(2) j
(t)
wi(j1) (t
1)
wi(j1) (t) 2
J wi(j1) (t)
令
Jk
1 2
(
yk
yk )2
则
J M J k
w k 1 w
第一层（输入层）：将输入引入网络
Outi(1) Ini(1) xi i 1,2, , n
第二层（隐层）
n
In
(2) j
wi(j1) Outi(1)
i 1
Out(j2) f (In(j2) )
j 1,2,,l
第三层 (3)
w
(2) j
Out
(2) j
4.4 多层前向BP神经网络
多层前向神经网络的结构
多层前向神经网络由输入层、隐层（不少于1层）、输出层组成， 信号沿输入——>输出的方向逐层传递。
4.4 多层前向BP神经网络
沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经
元的输入和输出，则各层的输入输出关系可描述为：
➢混合型网络：前向网络的同一层神经 元之间有互联的网络。
4.4 神经网络的构成和分类
（2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等
（3）从网络的学习方式上划分 ①有导师学习神经网络 ②有导师学习神经网络
（4）从学习算法上来划分： 基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的 网络、基于遗传算法的网络。
j 1
4.4 多层前向BP神经网络
网络的学习
学习的基本思想是：误差反传算法调整网络的权值，使网 络的实际输出尽可能接近期望的输出。
假设有M个样本: ( X k , yk ), k 1,2,M
X
k
[
x1k
,
x
k 2
,
x
k n
]T
将第k个样本Xk输入网络，得到的网络输出为
yk
定义学习的目标函数为
：
4.3 感知器模型
感知器的学习算法
n1
y f( Wixi ) i 1
学习算法：
① 给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时 刻第i个输入的权(1≤i≤n)，Wn+1(t)为t时刻的阈值； ② 输入一样本X=(xi,…,xn,1)和它的希望输出d；
n1
③ 计算实际输出Y(t) f( Wi (t)x i ) i 1
间的连接强度具有可塑性，网络可以通过学习与训练进行自组织。
（3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网
络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。网络的每部分对信息的存储具有等势作用，部
分的信息丢失仍可以信息得到恢复，因而网络具有容错性和联想记忆功能。
④ 修正权W ： Wi(t+1)=Wi(t)+η[d-Y(t)]xi, i=1,2,…,n+1 ⑤ 转到②直到W对一切样本均稳定不变为止。
4.3 感知器模型
根据某样本训练时，均方差随训练次数的收敛情况
4.4 神经网络的构成和分类
构成
从Perceptron模型可以看出神经网络通过一组状态方程和 一组学习方程加以描述。
状态方程描述每个神经元的输入、输出、权值间的函数关 系。
学习方程描述权值应该怎样修正。神经网络通过修正这些 权值来进行学习，从而调整整个神经网络的输入输出关系。
分类 （1）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络 从拓扑结构上来说，主要分为层状和网状结构。
4.4 神经网络的构成和分类
（5）便于集成实现和计算模拟。
4.3 感知器模型
感知器(Perceptron)是由美国学者F.Rosenblatt于1957年 提出的，它是一个具有单层计算单元的神经网络，并由线性 阈值元件组成。
感知器的结构
激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出 为1，否则为0或-1。 它的权系W可变，这样它就可以学习。
①层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层 中神经元单向联接，一般同层内神经元不能联接。
前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有 反馈。每个神经元从前一层接收输入，发送输出给下一层。
4.4 神经网络的构成和分类
②网状结构：网络中任何两个神经元之间都可能双向联接。 ➢反馈网络：从输出层到输入层有反馈， 每一个神经元同时接收外来输入和来自 其它神经元的反馈输入，其中包括神经 元输出信号引回自身输入的自环反馈。
第四章 神经网络基 本理论
College of Electrical and Information Engineering, Hunan Univ.
1
4.1 人工神经元模型
人工神经元模型
模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学 模型
[x1,…,xn]T为输入向量，y为输出，f(·)为激发函数，θ为阈值。 Wi为神经 元与其它神经元的连接强度，也称权值。
1
,β 0
1 exp(βx)
5）高斯函数
f(x)
e
xp(
x b
2 2
)
4.2 神经网络的定义和特点
定义
神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。
特点
（1）非线性映射逼近能力。可以逼近任意的连续非线性函数映射关系。 （2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之