在计算机科学与运筹学，另一种算法是指用处发现到形状相同方法来解决优化问题的算法。类似算常情况与np-difficult问题查找因此不可能比较有效的多项式时间精确计算算来帮忙解决np-work问题，因为一个求解答多项式时间次优解。
与启发式算法差别，通常没法找到合理的解决方案非常飞速，要可可以证明的解决方案质量和可证明的运行时间范围。
理想情况下，近似值最优可提升一个小的常数因子（例如在最优解的5%以上的话）。
近似算法越来越密集地主要是用于.设精确多项式时间算法但而输入大小而太贵得要命的问题。启发式算法（heuristicalgorithm)是对于最优化算法给出的。另一个问题的选择最优算法求得该问题你是什么实例的最优解。启发式算法可以这样的话定义,定义：一个基于直观或经验构造的算法，在可接受的花费（指可以计算时间和空间）下给出未解决组合优化问题每另一个实例的另一个可行解，该看似可行解与最优解的移动的方向程度象肯定不能被最迟。现阶段，启发式算法以仿自然体算法为主兼顾，主要有蚁群算法、设计模拟退火处理法、神经网络等。
01、蒙特卡罗算法
02、数据数据拟合、参数估计、插值等数据处理算法
03、线性规划、整数规划、多元规划、二次规划等规划类问题
04、图论算法
05、动态规划、复现搜索、治于算法、分支定界等计算机算法
06、最优化系统理论的三大超经典算法：设计模拟退火法、神经网络、遗传算法
07、网格算法和递归法
08、一些尝试特征转换方法
09、数值分析算法
10、图象处理算法
模拟退火是一个可以修的全局最优化算法。
要表述它的思想，也可以从gibbsdistribution从哪里开始：
这定义了两个概率分布特点，其中x来表示系统的状态，p(x)可以表示系统取x状态的概率，e(x)可以表示系统进入x状态的能量，t来表示温度。在物理上，e(.)的定义取决于它系统本质，在最系统优化上，我们需要虚拟软件另一个系统，让这些系统的e(.)按到我们的优化目标。
这个分布有两个特点：
1.e(x)越小，p(x)则越大；道理一样。
2.t越大，p(.)其分布越uniform，或且p(.)越subtle。
根据(1)，我们做最小化的时候，诸如我们要小化函数f(x)的值，就这个可以就让e(x)f(x)；如果没有是最大化f(x)，可以设e(x)-f(x)。不过，这样一来原始的最优化问题就变成了在p分布特点下去寻找概率大的的状态x。
对此(2)，是可以画个不太特别严谨的图回答万分感谢：
可以看到，当t0的时候，只有一是对让e(x)最小的x*，我们有p(x*)1，别的的x均为p(x)0。
而当t∞时，对此大部分的x，p(x)均相等，随后就组成了两个均匀分布（从上面的概率公式看，此时相对于一丁点x应该有e(x)/te(x)/∞0，跟e(x)4几已经任何关系了）。
当t取其他值的时候呢，是介乎0和∞之间的状态。想罢我们最终的结论：t越大，p(.)越均匀地，t越小，p(.)越险峻。
是为更形象直观，本物理盲在这里扯蛋几句：假设一些水分子横列了三个系统，系统的变量是水分子的空间坐标。当t太大的时候，p(.)变得均匀，索性这座系统变得更加相当的不稳定，所有的水分子都乱飘（只不过取完全没有坐标的概率都均等性嘛），宏观上那就是水被蒸发成了气体。当t变成0时，p(.)变得更加太陡峭，索性雷鸣系统的状态很稳定在p(x)1的x上，宏观上看那是水聚成了固体。
现在假设不成立我们有另一个算法，是可以在计算变量的p(.)上面采样。那你，当t0时，因此只能最优的x*满足的条件p(x*)1，剩下的的x均为p(x)0。因为如果能我们再采集的样本不满足此时p(.)的分布，那就它是有就是x*。这样的算法应该是模拟退火。
学过c语言的人都很清楚rand()，它会以之和的概率赶往一个另一种0到rand_max之间的随机数。这填写的是在[0,rand_max]的均匀分布上采样点。题中我们要在更加古怪的分布上样本采集，比如说上面的p(.)，该怎么做呢？解决方法应该是mcmc（markovchainmontecarlo
）。
mcmc简单其实是，从个精灵召唤状态正在，经由若干步状态转移，之后至少另一个状态，这个那是再采集不出来的样本。在每次状态转移时（到，到等），首先不需要propose个可能的新状态x，然后把根据p(.)的特点确定是否需要要给予（accept）这种新的状态：如果没有进行了，这样下一次的状态就变为x，不然一直保持变为。这但是是替以维护精细入微平衡（detailedbalance
）。对此mcmc而言，正是这样的最重要的的步骤绝对的保证了重新采样的结果条件符合目标广泛分布。在模拟退火的算法中，有三个很诡异的rejection操作，反正是那个原因。但，维护细致平衡是有代价的，如果没有目标其分布p(.)过多险峻陡峭，那么，很可能会consider的x能量远大于当前的x（e(x)e(x)），据rejection公式，可以找到这样的x全都总是会被委婉地拒绝。随后系统的收敛速度会变得巨慢：简单来讲，你必须相当多的状态转移才能再采集到个考试合格的样本。但要是p(.)都很匀实呢，过了一会儿新的x就很难被得到，相对来说就更太容易搞到不合格的样本。因为在模拟退火中，从未不然后从t0（或是其他低温状态）又开始采样点，事实上理论上这样的话再采集到的样本也最优选择，但为了取得另一个样本，你即便要永远不会地等下来。演示退火区分的方法是：从高温正在重新采样，让算法可以迅速拿到下的样本，接着很缓慢地降低一点温度到，正在此时我以为起点，在温度下采样点，因此和很距离，只好也很接近下面的考试合格样本，经少数几轮状态转移，就也可以期望拿到下面的样本，想罢再继续稍微地减少温度到，再重复一遍这样的过程……直到此时前往了一个极低温度，这时的样本就是全局最优解。可以找到t有另一个大小改变的过程，这差不多就是“退火”这种说法的由来。在1983年相关证明了模拟退火这些想法虽然是六逆重生疗法的。因此（理论上）它最啊的地方只是相对而言：这是个通用算法。也就是说全都也可以咬死绝大部分的最优化问题，但我得到的结果还是全局最优的！但实践应用中，全局最优基本是不能保证的，这是是因为同时也可以证明了要至少全局最优需要实现方法的退火速度（也就是t会增大的速度）——这样的速度基本都是慢到人类根本无法承受住的。不过幸好实际应用效果中，我们常见也可以需要一个快速的温度下降策略，再依靠一些heuristic算法，那样之后能够得到的结果虽不是全局最优，但基本是又是全局确实不错的。关与mcmc讲的比较好intuitive，请有兴趣的同学让其做个参考相关资料：）
