7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf ·...
Transcript of 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf ·...
![Page 1: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/1.jpg)
7.5 模拟退火算法求解最优化问题
真实退火
![Page 2: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/2.jpg)
日常生活中的最优化每天早上从寝室到教室 ,你总是希望用最短的时间 ,也就是说挑选最近的路径 .还要加上一些条件限制 ,例如 ,你希望在路上有一个卖包子的小店 .
![Page 3: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/3.jpg)
最优化问题
● 最简单的最优化问题 :求一个很好的函数的最小值例如 : 求
●
● 约束最优化问题●
●
minx∈−∞ ,∞H x
![Page 4: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/4.jpg)
最优化问题的解法
● 上面的问题可以用数学分析中学的知识求解 ,
● 求稳定点● Lagrange 乘子法
![Page 5: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/5.jpg)
线性规划问题 Linear Programming
![Page 6: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/6.jpg)
无约束的凸规划问题
![Page 7: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/7.jpg)
组合优化问题Combinatorial optimization
Traveling Salesman Problem
目标 : 最短路径
要求 : 走过的城市不能重复
![Page 8: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/8.jpg)
TSP:http://www.tsp.gatech.edu/
![Page 9: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/9.jpg)
TSP: 数学描述
![Page 10: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/10.jpg)
组合优化 : 图像平滑问题 (image smoothing)
![Page 11: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/11.jpg)
图像平滑问题的数学描述
![Page 12: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/12.jpg)
图像平滑问题的数学描述
可行解的个数是 256 J
![Page 13: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/13.jpg)
被广泛研究图像
![Page 14: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/14.jpg)
贪心算法 (greedy algorithm)
![Page 15: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/15.jpg)
模拟退火方法的历史
![Page 16: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/16.jpg)
模拟退火算法Simulated Annealing Algorithm
![Page 17: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/17.jpg)
模拟退火算法的流程图 I
![Page 18: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/18.jpg)
模拟退火算法流程图 II
![Page 19: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/19.jpg)
TSP 的预选策略
● 随机交换两个城市的先后次序
![Page 20: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/20.jpg)
模拟退火算法的要素
![Page 21: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/21.jpg)
![Page 22: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/22.jpg)
模拟退火算法的要素
![Page 23: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/23.jpg)
![Page 24: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/24.jpg)
![Page 25: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/25.jpg)
![Page 26: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/26.jpg)
![Page 27: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/27.jpg)
![Page 28: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/28.jpg)
![Page 29: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/29.jpg)
模拟退火的物理直观解释
![Page 30: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/30.jpg)
模拟退火和贪心算法的区别
模拟退火 贪心算法
只能达到局部最小可能达到全局最小
![Page 31: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/31.jpg)
TSP 的预选策略
● 随机交换两个城市的先后次序
![Page 32: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/32.jpg)
拟蒙特卡罗方法
![Page 33: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/33.jpg)
常用的拟随机序列● Van der Corput 序列 (d=1)
![Page 34: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/34.jpg)
常用随机序列
● Halton 序列 (d>1)
![Page 35: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/35.jpg)
遗传算法
● 从初始状态 怎样选择下一个状态 , 利用了遗传学的术语和模式 :遗传 ,编译 ,杂交等 ,这些行为以一定的概率发生 ,最后希望得到最优解 .
![Page 36: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/36.jpg)
遗传算法 (generic algorithm)
利用
na2010
下的文件
![Page 37: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/37.jpg)
遗传算法的基本思想
![Page 38: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/38.jpg)
遗传算法的描述
![Page 39: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/39.jpg)
![Page 40: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/40.jpg)
遗传算法的描述 III
![Page 41: 7.5 模拟退火算法求解最优化 问题 - PKUdsec.pku.edu.cn/~tlu/na10/ch7.3.pdf · 遗传算法 从初始状态 ... 些行为以一定的概率发生,最后希望得到最优](https://reader033.fdocuments.net/reader033/viewer/2022060221/5f077e9c7e708231d41d4327/html5/thumbnails/41.jpg)
遗传算法的描述 IV