PSO优化方向

(本文参考自:戴朝华. 粒子群优化算法综述. Available at: http://www.sciencetimes.com.cn/u/dchzyf/.)

PSO算法的问题:

1. PSO收敛快,特别是在算法的早期,但存在着精度较低,易发散等缺点。加速系数、最大速度等参数太大,粒子可能错过最优解--------------->不收敛; 收敛的情况下,由于所有粒子都向最优的方向飞去,所有粒子趋向同一化(失去多样性)--------->使得后期收敛速度明显变慢,搜索能力变弱,同时算法收敛到一定精度时,无法继续优化。

2. 缺乏数学理论支持,PSO算法本质上是一种随机搜索算法,因此可靠性上让人存疑;

3. 寻找一种好的拓扑结构,加强PSO算法的泛化能力;

4. 平衡全局搜索和局部搜索能力;


PSO算法优化方向:粒子群初始化、领域拓扑、参数选择和混合策略四个方面。

(1)粒子群初始化:粒子群初始化对算法性能有一定的影响,分为粒子位置初始化和速度初始化。

         粒子群位置初始化的理想效果:初始种群尽可能均匀覆盖整个搜索空间。

         一、不推荐的初始化:a. 均匀分布随机数

采用Uniform Distribution随机初始化

                                          缺点:1. 对搜索空间的覆盖不够好;

                                                     2. 当维度D增大时候,所有的粒子都倾向于靠近搜索空间的边缘:

                                     b. 伪随机数初始化:造成粒子在参数空间的不均匀分布和聚集效应;

          二、推荐的初始化:a. 基于centroidal voronoi tessellations (CVTs)的种群初始化方法(这东西是啥没搞懂);

                                   b. 采用正交设计方法对种群进行初始化;

                                   c. 类随机采样方法中的sobol序列:使得粒子群在参数空间更加均匀;

                                   d. Hammersley方法:感觉这个类似于类随机采样方法(具体我也没搞清楚);

                                   e. 将粒子建立为带电(positive charged)的模型,通过建立一个平衡方程,求解该方程的最小解获得粒子初始化位置;

                                   f. 设置偏向的随机分布(推荐):即:我们通过对评价函数等一系列先验信息进行分析,得出最优解的可能存在空间范围,然后在这些范围内,着重撒点。就算再不济,也可以根据评价函数遵循Nearer is Better class(最优解更加可能在搜索空间的中心位置准则),在搜索空间的中心位置着重撒点。比如:

中心偏重随机分布

粒子群速度初始化:主要有如下五种方式:(根据实验表明,One-rand的效果最好。喂!!!这里One-rand的表达式是不是写错了啊?)

五种粒子速度初始化

(2)领域拓扑:粒子的拓扑,决定了粒子所接受到的信息来源。

         一、全局模型gbest:最早的粒子群优化版本是全局PSO,使用全局拓扑结构,社会只能通过种群中,最优的那个粒子,对每个粒子施加影响。

                                   1. 优点:具有较快的收敛速度。

                                   2. 缺点:粒子间的交流不够充分,但更容易陷入局部极值。

全局拓扑结构

         二、局部模型lbest:采用每个粒子仅在一定的邻域内进行信息交换,,粒子之间的交流相对比较缓慢。

                                   1. 优点:粒子更容易搜索问题空间中的不同地区。

                                   2. 缺点:信息传递缓慢,设计相对复杂。

                                   3. 分类:被动模型:微观领域、宏观领域、维度划分;主动模型。

                                   (1)微观邻域:细分到每个粒子。空间邻域(spatial neighborhood)、性能空间(performance space)邻域、社会关系邻域(sociometric neighborhood)。

                                            a. 空间邻域:直接在搜索空间按粒子间的距离(如欧式距离)进行划分。在搜索初始阶段,将邻域定义为每个粒子自身;随着迭代次数的增加,将邻域范围逐渐扩展到整个种群。

                                            b. 性能空间领域:根据性能指标(如适应度、目标函数值)划分的邻域,如:适应度距离比值(fitness-distance-ratio)来选择粒子的相邻粒子。

                                            c. 社会关系邻域:按粒子存储阵列的索引编号进行划分,主要有:环形拓扑(ring or circle topology)、轮形拓扑(wheel topology)或星形拓扑(star topology)、塔形拓扑(pyramid topology)、冯-诺以曼拓扑(Von Neumann topology)以及随机拓扑(random topology)等。(随机拓扑往往对大多数问题能表现出较好的性能,其次是冯-诺以曼拓扑。)

一些拓扑结构

                                   (2)宏观邻域:对群体进行划分。比如:使用簇分析将整个粒子群划分为多个簇,然后用簇中心代替带收缩因子PSO中的粒子历史最佳位置或群体历史最佳位置;根据粒子相似性动态地将粒子群体按种类划分为多个子种群,再以每个子种群的最佳个体作为每个粒子的邻域最佳位置;划分一个主群体,多个仆群体,仆群体进行独立的搜索,主群体在仆群体提供的最佳位置基础上开展搜索;每间隔一定代数将整个群体随机地重新划分;每个粒子除了自身和邻域最佳历史位置外,还学习邻域内其他粒子的成功经验(只学好的,不学坏的)等等;

                                   (3)维度划分:想法源自于:搜索空间维数较高时往往容易遭受“维数灾”的困扰。假设粒子群的整体维度为D,则可以将D划分成不同的部分,比如划分成k份,使用不同的群体,分别优化不同的维度。

                                   (4)主动模型:主动改变粒子邻域空间,避免碰撞和拥挤。比如:将粒子分为带电粒子和自然粒子,带电粒子接近会产生排斥;为每个粒子引入与邻近粒子距离成反比的自组织危险度,距离越近危险度越高,当危险度达到一定阈值,对粒子进行重新初始化,或者弹开;为粒子赋一个半径,以检测两个粒子是否会发生碰撞,并且采取碰撞-弹开方式将其分离。

(3)参数选择:三种参数:惯性权重或收敛因子、最大速度、两个加速因子。

         一、惯性权重:

使用惯性权重的更新方式

                     a. 惯性权重大:加强PSO全局搜索能力;惯性权重小:加强PSO局部搜索能力;

                     b. 矛盾点:初始惯性权重大,局部搜索能力差,可能错过最优点;后期,惯性权重小,全局搜索能力不行,导致整个粒子群就陷入局部最优解。

                     c. 优化方向:在适当的时候降低权重w,平衡全局和局部搜索能力;

                     d. 优化建议:w随着更新代数的增加从0.9线性递减到0.4;

         二、压缩因子:

使用压缩因子的更新方式

                     a. 优势:惯性常数方法通常采用惯性权值随更新代数增加而递减的策略,算法后期由于惯性权值过小,会失去探索新区域的能力,而收缩因子方法则不存在此不足

                     b. 优化建议:通常φ取4.1,χ得0.729。

         三、最大速度的选择:为了抑制粒子更新的无规律的跳动,速度往往被限制在[-Vm,Vm]

                     a. Vm增大,有利于全局探索(exploration),但可能越过全局最优解;Vm减小,有利于局部开发(exploitation),但可能陷入局部最优;

                     b. 优化建议:一般设定为问题空间的10%~20%;或者动态调整Vm,比如:根据群体最佳适应和最差适应来进行调整;

         四、两个加速常数:加速常数C1和C2分别用于控制粒子指向自身或邻域最佳位置的运动。

                     a. C1增大,粒子全局搜索能力好;C2增大,粒子向着最优靠拢局部能力好,但粒子会过早收敛;

                     b. 优化建议:C1 = C2 = 2.0,并且C1+C2 <= 4.0;或者根据自适应调整,比如随着迭代次数增加,减小C1增大C2;

(4)混合法:PSO与其他方法结合。

                     这点我觉得,主要根据个人的学习积累来操作。考虑方向:增加粒子群的局部搜索能力。



©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容

  •  年过完了,假期也没了,压岁钱也发光了,是时候坐下来写写总结了。 2016是不平凡的一年,期间经历了很多事情,好事...
    深不可测xy阅读 343评论 0 0
  • 上世纪九十年代的那些夏天,我傻傻地度过,现在想起来,正是我人生之芳华时光。 1990年,我的同学应该都初中毕业的,...
    小昭2388阅读 625评论 1 9
  • 自从去年学习李笑来通往财富自由之路中有一课错过,我脑海中就种下了这个种子,发现这个知识原来很久以前接触过,可是当时...
    秦家炎阅读 148评论 0 0