智能算法原理与应用524

用于国民经济参数的测算
预测通货膨胀率 预测经济周期
对经济运行态势进行预测预警
在证券市场中的应用 在金融领域的应用
3.2 遗传算法
遗传算法是由美国的J. Holland教授于1975年
在他的专著《自然界和人工系统的适应性》中首 先提出的，它是一类借鉴生物界自然选择和自然 遗传机制的随机化搜索算法 。
s. t.
subject to
“受约束于”之意
（二）优化模型的分类
1.根据是否存在约束条件 有约束问题和无约束问题。 2.根据设计变量的性质 静态问题和动态问题。 3.根据目标函数和约束条件表达式的性质
线性规划，非线性规划，二次规划，多目标规划等。
（1）非线性规划
目标函数和约束条件中，至少有一个非线性函数。
卡斯帕罗夫在与“深蓝”对弈(右为“深蓝”现场操作 者)
一、人脑与计算机信息处理能力的比较 信 息 综 合 能 力
眼观 六路
耳听 八方
综合判断 经验直 觉
一、人脑与计算机信息处理能力的比较
信 息 处 理 速 度
敢问路在何方？
大 脑 是 人 的 主 宰 。
人 类 是 地 球 的 宠 儿 ，
地 球 是 宇 宙 的 骄 子 ，
智能算法仿生、仿自然的内在特性.

智能算法的高效特点: 不是说在拥有同等计算资源时，求解优化问题肯定都 比传统方法快(从整体上讲，在近年来多数工程应用中的效率确实高出传统算 法，否则，智能算法的发展速度也不会突飞猛进)，更多的是指能够更充分挖
掘计算机的潜力，比如容易实现并行寻优求解
人工神经网络 Artificial Neural Network
1982年美国物理学家霍普菲尔得提出了全互联网络模型， 该网络模型可以用电子线路模拟实现，这种神经网络所执 行的运算在本质上不同于布尔运算，从而兴起了电子神经 计算机研究的热潮。
1986年鲁默哈特与麦勒兰德发展了BP网络算法（1974年就 提出过此算法），在多层神经网络基础上提出了多层神经 网络模型的反向传播学习算法，解决了多层神经网络的学 习问题，解决了明斯基和帕伯特所提出的问题，使神经网 络的研究迅速发展起来。
人脑的结构、机制 和功能中凝聚着无比的 奥秘和智慧。
现在是探索脑的奥秘， 从中获得智慧，在其启发 下构造为人类文明服务的 高级智能系统的时候了！
智能算法特点

智能算法的实用性: 对判断是否能够求解优化问题的前提条件的要求很低， 智能算法比传统算法能在更多的情况下能够求得有用的(即近似的、次优的和 在精度许可范围内的)优化解。
i 1
n
aik xk bi , i 1,2,..., n. s.t. k 1 x 0, i 1,2,..., n. i
n
（3）二次规划问题
目标函数为二次函数，约束条件为线性约束
1 n min u f ( x) ci xi bij xi x j 2 i , j 1 i 1 n aij x j bi , i 1,2,..., n. s.t. j 1 x 0.i 1,2,..., n. i
智能优化算法
1.优化模型 2.优化算法 3.智能优化算法
Hale Waihona Puke Baidu 1. 优化模型
（一）优化模型的数学描述
将一个优化问题用数学式子来描述，即求函数
u f (x)
在约束条件
和
x ( x1 , x2 , x3 ,..., xn )
hi ( x ) 0, i 1,2,..., m.
gi ( x ) 0( gi ( x ) 0), i 1,2,..., p.
BP神经网络
BP网络设计与仿真
1.BP网络结构设计 1）网络层数 3层网络 2）输入层、隐层、输出层神经元数选择 n n m a 隐层神经元数选择公式 n n log 2
1 1
3）隐层激活函数、输出层函数 隐层激活函数
f ( x) 1 x 1 e
4）BP学习算法的优化方式、学习方式、误差性 能 函数、学习率、最大学习次数。
设计变量（决策变量） 目标函数 可行域
下的最大值或最小值，其中
x f ( x) x
min(or max) u f ( x) x
s. t. hi ( x ) 0, i 1,2,..., m.
gi ( x ) 0( gi ( x ) 0), i 1,2,..., p.
n
4. 根据设计变量的允许值
整数规划（0-1规划）和实数规划。
5. 根据变量具有确定值还是随机值
确定规划和随机规划。
2.优化算法
求最优解或近似最优解的方法主要有三种:枚举法、启发式算法和搜索算法。
(1)枚举法:枚举出可行解集合内的所有可行解，以求出精确最优解.对于连续函
数，该方法要求先对其进行离散化处理，这样就有可能产生离散误差而永 远达不到最优解。另外，当枚举空间比较大时，该方法的求解效率比较低， 有时其他甚至在目前先进的计算工具上都无法求解。 (2)启发式算法:寻求一种能产生可行解的启发式规则，以找到一个最优解或近 似最优解。该方法的求解效率虽然比较高，但对每一个需要求解的问题都 必须找出其特有的启发式规则，这个启发式规则无通用性，不能适合于其 他问题。 (3)搜索算法:寻求一种搜索算法，该算法在可行解集合的一个子集内进行搜索 操作，以找到问题的最优解或近似最优解。该方法虽然保证不了一定能够 得到问题的最优解，但若适当地利用一些启发知识，就可在近似解的质量 和求解效率上达到一种较好的平衡。

智能算法的通用性: 通过策略、参数、操作以及算子的调整，能够更广泛地 适应不同领域的优化求解问题，尤其是对多目标、大规模、高维数、非线性 以及带有不可转化约束条件的复杂优化问题，具有更强的适应性。

智能算法的灵活性: 通过策略、参数、操作以及算子的短时间的调整，能够 很快提高寻优求解的性能(效率和质量):更重要的是智能算法能够通过自身的 改良以及同其它方法的交叉融合，在不长的时间内快速“进化”，这一点是
2.BP网络C语言仿真程序框图
网络初始化 学习样本的输入 计算隐层与输出层节点的输出
计算实际输出与期望输出误差平方和 E
E≤期望误差值
E 小于期望误差？
计算隐层与输出层权值改变量及隐层阀值改变量 学习结束
计算输入层与隐层权值改变量
调整输入层与隐层、隐层与输出层间权值
保存输入层与隐层、隐层与输出层间权值
典型的生物神经元
生物神经系统的基本特征
神经元及其联接 神经元之间的联接强度决定信号传递的强弱 神经元之间的联接强度是可以随训练而改变的 信号可以是起刺激作用的，也可以是起抑制作用的 一个神经元接受的信号的累积效果决定该神经元的 状态 每个神经元可以有一个“阀值”
人工神经元的基本构成
x1 w1
w2
神经网络的基本特征
结构特征：
能力特征： 自学习 自组织 自适应性
并行式处理
分布式存储 容错性
神经网络的基本功能之一
联 想 记 忆 功 能
神经网络的基本功能之二
输入样本
神经网络
自动提取 非线性映射规则
输出样本
非线性映射功能
神经网络的基本功能之三

传统分类能力
ANN 分类能力
分类与识别功能
神经网络的基本功能之四
优化计算功能
神经网络的基本功能之五
问题解答 知识分布式表示 知识获取、知识库 平行推理 输入数据 变量变换 求解的问题 神经网络专家系统的构成 由同一 神经网 络实现
知识处理功能
人工神经网络在经济管理中的应用
在微观经济领域的应用 用人工神经网络构造的企业成本预测模型 用人工神经网络对销售额进行仿真实验 在宏观经济领域的应用
什么是人工神经网络
生物神经网络
人类的大脑大约有1.41011 个神经细胞，亦称 为神经元。每个神经元有数以千计的通道同其它神经 元广泛相互连接，形成复杂的生物神经网络。
人工神经网络
以数学和物理方法以及信息处理的角度对人脑 神经网络进行抽象，并建立某种简化模型，就称为人 工 神 经 网 络 （ Artificial Neural Network ， 缩 写 ANN）。
遗传算法的搜索机制
遗传算法模拟自然选择和自然遗传过程中发生的繁殖、 交叉和基因突变现象，在每次迭代中都保留一组候选解， 并按某种指标从解群中选取较优的个体，利用遗传算子(选 择、交叉和变异)对这些个体进行组合，产生新一代的候选 解群，重复此过程，直到满足某种收敛指标为止。
3.智能优化算法
3.1.人工神经网络 3.2.遗传算法 3.3.群智能算法
1997年5月11日深蓝战胜卡斯帕罗夫
1997年5月11日，早晨4时50分(北京时间)，一台名为“深蓝”的超级电脑将棋盘 上的一个兵走到C4位置时，人类有史以来最伟大的国际象棋名家卡斯帕罗夫不得不 沮丧地承认自己输了。世纪末的一场人机大战终于以计算机的微弱优势取胜。这场 比赛是继1996年卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深 蓝”的第二次较量。 比赛于5月3日--11日在纽约的公平大厦举行。整个比赛引起了全世界传媒的巨大 关注。比赛吸引人们注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前充满信心 ，发誓要为捍卫人类之优于机器的尊严而战。然而，最后的结果却是他所捍卫的人 类尊严在一台冷漠的1.4吨重的庞然大物 “蓝色巨人”面前被无情地击溃了。虽然 人类的骄傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己也是 人类所研制出来的一台计算机而已，但人类所创造的工具击溃了人类，并且是在人 类引以为骄傲的智慧领域，这在一定程度上带来了恐惧，并由此引发了一场有关人 类创造物与自身关系的深层讨论。 “深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。是一台RS6000SP2超 级并行处理计算机，计算能力惊人，平均每秒可计算棋局变化2OO万步。
x2
Wn
∑
Net=XW
…… Xn
不带激活函数的人工神经元
激活函数（Activation Function)
线性函数（Linear Function) 非线性斜面函数（Ramp Function)
阀值函数（Threshold Function)
S形函数（Squashing Function）
etc
X1 = 火对手产生的温度 w1 =火对手产生的温度的权值（对火对手产生的温度的放大或是缩小， 我们让这个值为1） 激活函数（Active Function）= 如果 x1 * w1 > 40 激活（缩手）， 否则抑制（不缩手）
学习次数更新
学习次数≤上限值？
学习次数大于20000次
训练样本
测试样本
2）逼近函数
f ( x, y) x 2 y 2
训练样本数选取原则: 在取训练样本时要求训练样本的数量必须足够 大而且多种多样，以便充分描述问题域，一般 训练样本数比隐层神经元数大的多时，训练出 的BP网络才有较好的泛化能力 经验公式 训练样本数≥2×（输入神经元数+1）×隐层神 经元数 我们所有实验取20个训练样本
min u f ( x) x
s. t. hi ( x ) 0, i 1,2,..., m.
gi ( x ) 0( gi ( x ) 0), i 1,2,..., p.
（2）线性规划（LP）
目标函数和所有的约束条件都是设计变量
的线性函数。
min u ci xi
1943年美国心理学家麦卡洛克（W.McCulloch)和数学家 皮茨（W.pitts)根据生物神经元的基本特征，发表了MP神经 元模型，开创了人工神经网络研究的新纪元，MP神经元模型。
数学表达式为：
y j f ( w ji pi j )
i 1
n
1957年美国计算机科学家森布拉特提出了著名的感知器 模型，此模型类似于MP模型，但Wji是可变的，因而神经 网络具有学习能力，即在一定的输入值或样本情况下，通 过搜索方式改变连接权值以便获得一组适当的权值。即经 过训练可以达到对一定的输入向量模式进行分类和识别的 目的。 1969年美国人工智能专家明斯基和帕伯特提出单层感 知器只能进行线性分类，不能解决异或问题，也不能解决 非线性问题，随后的十几年人工智能处于萧条状态。