Essaim de Particules 13

7/29/2019 Essaim de Particules 13

1/15

Autres algorithmes doptimisation

Universit de Moncton Grard J. Poitras 2013

38

Facult

dingnierie

Mthodes avances ding. II

GGEN6090

Facult dingnierie

Prof. Grard J. Poitras, ing.Bureau : 132G2Tl : 858-4759Courriel :[email protected]

Facult

dingnierie

Optimisation par essaim de particules

Loptimisation par essaim de particules (particle swarmoptimization, PSO) est une technique doptimisation dveloppe par

Kennedy et Eberhart, 1995.

Elle est base sur le comportement social de groupes danimaux

(poissons, oiseaux, abeilles, insectes).


2/15



39

Facult

dingnierie

Optimisation par essaim de particules Le PSO appartient la classe des mthodes directes de recherche

employes pour trouver une solution optimale une fonction objective

dans un espace de recherche.

L'optimisation d'essaim de particulesest inspire par un comportementdoptimisation sociale.

Un rseau social est dfini, unepopulation dindividus (particules)est initialise. Ces individus sontdes solutions aux problmes

Facult

dingnierie

Optimisation par essaim de particules Un processus itratif pour amliorer ces solutions est utilis. Les particules

valuent itrativement la forme physique des solutions et se rappellent l'endroito elles ont eu leur meilleur succs.

Chaque particule rend cette informationdisponible leurs voisins. Ils peuventgalement voir o leurs voisins ont eu dusuccs.

Chaque particule se dplace danslespace de recherche dune position lautre selon son vecteur de vitesse.


3/15



40

Facult

dingnierie

Optimisation par essaim de particules Des mouvements dans l'espace de recherche sont guids par ces succs, avec la

population convergeant habituellement, vers la fin d'une preuve, sur unesolution de problme.

Facult

dingnierie

On peut expliquer lalgorithme par une analogie: Des abeilles sortent de la ruche pour trouver du pollen des fleurs. Elles

vont voler partout dans les alentours de la ruche. Lorsquune abeille

trouve une bonne source, toutes les autres abeilles vont converger versce point.



4/15



41

Facult

dingnierie

L'essaim est typiquement model par les particules qui ont une position etune vitesse.


Ces particules se dplacent dans lespace et ont trois possibilitsessentielles de raisonnement : garder en mmoire le meilleur global, lemeilleur individuel et les meilleurs locaux des groupes de voisins.

i

k

i

kvx

,

meilleurglobal

meilleurindividuel

meilleurlocal

Facult

dingnierie

Dans un problme d'optimisation de minimisation (ou de maximisation), desproblmes sont formuls de sorte que le meilleur signifie simplement laposition avec la plus petite (ou la plus grande) valeur objective.

Les membres d'un essaim communiquent de bonnes positions entre eux etajustent leur propres position et vitesse bases sur ces bonnes positions.



5/15



42

Facult

dingnierie

Dans un problme d'optimisation, une particule a l'information suivante pourfaire un changement appropri de sa position et vitesse :


le meilleur global qui est connu tous et immdiatement mis jourquand une nouvelle meilleureposition est trouve par n'importequelle particule dans l'essaim.

les meilleurs locaux qui sont lesmeilleures solutions obtenues dessous-ensembles de l'essaim.

le meilleur individuel, qui est lameilleure solution que la particulea vue.

Facult

dingnierie

Lalgorithme doptimisation par essaim de particules est encore plus simple quecelui de lalgorithme gntique :


On cre une population departicules.Chaque particule reprsente unesolution possible au problme.

On suppose que 2 facteurs influencentle comportement dune particule.

facteur individuel (la particule). facteur social (les autres

particules).

Chaque particule a une position et unevitesse: la particule se dplace danslespace de recherche.

Espace de recherche


6/15



43

Facult

dingnierie


tvxxt

xp

rt

xp

rt

xp

rvvi

k

i

k

i

k

i

k

v

k

i

k

g

k

i

k

i

ki

kk

i

k

11

3322111

La position et la vitesse des particules sont mises jour selon :

La position future est fonction de 4 facteurs:

la position prcdente, ;

la vitesse prcdente, ;

la meilleure position obtenue par chaque particule, ;

la meilleure position obtenue de toutes les particules, ;

la meilleure position obtenue pour un sous-ensemble de particules, .

i

kx

i

kv

i

kpg

kp

v

kp

i

kx

1

o k est le poids inertiel

1, 2 et 3 sont des constantes, r1, r2 et r3 sont des nombres alatoiresentre 0 et 1 et test lintervalle de temps entre les itrations.Note : Typiquement, on limite la vitesse entre vmax et vmin.

Facult

dingnierie

Schma de dplacement dune particule dun PSO de type global.


i

kkv

txpr ikik 11

txpr ikgk 22

i

kx

g

kp

i

kpik

x1

i

kv

i

kx


7/15



44

Facult

dingnierie

Le pseudo-codepour lalgorithme est:

Population initiale,xket vitesses initiales vk(alatoires)

valuer la performancef(xk) de chaque particule

Identifier la particule avec la meilleureperformance = meilleur litration k (mgk)

Modifier la vitesse et la positionde toutes les particules


k=1

k= k+1

Si k=1, meilleur global mg = mgk

Si k1, mg =max ou min (mg, mgk)

Pour chaque groupe :Identifier les particules avecla meilleure performance =meilleur litration k (mvk)

Pour chaque groupe :Si k=1

meilleur local mv = mvkSi k1

mv =max ou min (mv, mvk)

Pour chaque particule :Si k=1, meilleur individuel mi = mikSi k1, mi =max ou min (mi, mik)

Facult

dingnierie

Pendant que l'essaim ritre, la forme physique de la meilleure solution globales'amliore.

Problmes possibles :

Il pourrait se produire que toutes les particules influences par le meilleurglobal deviennent le meilleur global et la solution ne s'amliore jamais;

Les particules se dplaant proximit de l'espace de recherche du meilleurglobal ne vont pas explorer le reste de l'espace de recherche.

Le choix des coefficients k, 1, 2, 3 et tdans les quations de mise jour de

vitesse, affectent la convergence et la capacit de l'essaim de trouver l'optimum.

Il existe des variations de la mthode de PSO selon lesquelles des groupementsde particules locales communiquent aussi entre eux leur meilleure position, leurmeilleur local, et tous ces groupements de particules forment lessaim qui

communique entre ces groupements



8/15



45

Facult

dingnierie

Pour un PSO de type global, toutes les particules sont voisins les uns des

autres (topologie entirement connecte). Par consquent, la position dela meilleure globale se propage l'essaim entier. De manire gnrale,un PSO de type global converge gnralement plus rapidement, maispeut demeurer pig dans des optima locaux plus facilement..

Optimisation par essaim de particules PSO de type global

Topologie globale

Facult

dingnierie

Pour les variantes de PSO de type local, les particules sont regroupes enquartiers selon une certaine stratgie. Dans cette variante, les particulesvoisines d'une particule donne peuvent influencer la vitesse de sa mise jour. Par consquent, un PSO de type local (avec ses topologies)converge plus lentement qu'un PSO de type global, mais est moinssusceptible d'tre captur dans des minima locaux due une plus grandediversit de la population.

Optimisation par essaim de particules PSO de type local

Topologie VonNeumann

Topologie anneau


9/15



46

Facult

dingnierie

Les meilleurs locaux permettent l'exploration parallle de l'espace de

recherche et ramne la susceptibilit du PSO tomber dans des minimumslocaux, mais ralentit la vitesse de convergence. Souvent, les meilleurs locauxne sont pas utiliss dans les algorithmes.


meilleurslocaux

PSO de type local

Facult

dingnierie

Essaim de particules : exemple #1

2222

)()1(),(33)1(2 yxyx

eyxxexyxf

Supposons quon veut trouver le maximum dune fonction deux variables:ox ety varient entre -3 et +3.

tape 1 :Dfinir la taille de la population,N. Avec deux variables, si on utilise la

rgle de 6 ou 7 fois le nombre de variables, on cre un minimum 12 14individus.

Ces particules ressembleront beaucoup aux individus de lalgorithme

gntique.

Crer alatoirement les vitesses initiales des particules.

Ex: deux particules pourraient tre:

P1 = {-0.767, -1.027}, P2 = {2.561, -1.517}

x1 y1 x2 y2

Ex: les vitesses des deux particules pourraient tre:

P1 = {0.573, -1.292}, P2 = {-1.443, -0.682}

vx1 vy1 vx2 vy2


10/15



47

Facult

dingnierie

Essaim de particules : exemple #1 tape 2 :

valuer la performance des particules.

Ex: performance des particules:f(P1) =1.378,f(P2) = 0.0044,f(P3)=0.5873,f(P4)= 1.3968,

f(P5)=1.1036,f(P6)=0.4591,f(P7)=1.0593, etc.

Ex: meilleure performance de la particule P7

Pour la population ci-dessus, la particule P7aurait une meilleureperformance,f(P7)= 1.0593 (meilleur individuel, )

tape 3 :Identifier la meilleure performance de chaque particule jusquici.

7

kp

Identifier la particule ayant la meilleure performance depuis le dbut descalculs.

Ex: meilleure performance de la population de particules depuis ledbut:

Depuis le dbut des calculs, la meilleure performance,f(P)= 1.624(meilleur global, )g

kp

:017.1)(si 7 kpf

Facult

dingnierie

Essaim de particules : exemple #1 tape 4 :

Calculer les vitesses des particules.

Ex: vitesses de la particule P1 {-0.767, -1.027} avec v ={0.573, -1.292}:

si k= 0.4, 1 = 1.0, 2 = 1.0, r1 = 0.5, r2 = 0.3, t= 2.0 ,

{-0.393, -2.531}, {-0.655, -0.850}

Calculer les nouvelles positions des particules.

ty

x

p

prt

y

x

p

pr

v

v

v

vi

k

g

ky

x

i

k

i

ky

x

i

ky

x

k

i

ky

x

2211

1

0.2

027.1

767.0

850.0

655.0

3.00.10.2

027.1

767.0

531.2

393.0

5.00.1

027.1

767.0

4.0

760.0

197.011111

1

k

g

kkkkk

i

kpg

kp

tv

v

y

x

y

xi

ky

x

i

k

i

k

11

0.2

0.2

760.0

197.0

027.1

767.0

547.2

161.11

1

11

1 kkk

Ex: vitesses de la particule P1 {-0.767, -1.027}


11/15



48

Facult

dingnierie

0 10 20 30 40 50 60 70 80 90 1000

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

Generation

Fitness

Maximum

Moyenne

Exemple de rsultat.

Essaim de particules : exemple #1

Pour cet exemple, les rsultats obtenus sont similaires ceux de lalgorithmegntique.

En gnral, cependant, il y a moins de calculs faire avec loptimisation paressaim de particules, puisquon na pas les oprations de croisement, demutation, etc.

g

kp

f( ) =1.671

{-0.623, -0.828}

g

kp

Facult

dingnierie

Il y a un certain nombre de considrations en employant PSO dans la pratique :

on pourrait maintenir les positions ou les vitesses une certaine gamme;

on pourrait donner chaque particule une dure de vie finie aprs quoi elleaurait une position alatoire;

faire des choix intelligents de k, i et ri.

les valeurs k diminuent avec les itrations ; par exemple, de 0.9 unevaleur finale de 0.4.


Des modifications significatives et non triviales ont t dveloppes pendant lesdernires annes:

optimisations multi objectives, versions conues pour trouver des solutionsde manire satisfaire des contraintes linaires ou non linaires;

versions conues pour trouver les solutions multiples aux problmes;version modifie de l'algorithme appel l'optimisation rpulsive d'essaim departicules, dans laquelle un nouveau facteur est ajout pour maintenir lasparation entre les particules. Si deux particules sont trop prs lunelautre, elles se repoussent.


12/15



49

Facult

dingnierie

Optimisation par essaim de particulesLe poids inertiel

k

Il dfinit la capacit dexploration de chaque particule. Une grande valeurimplique

une grande amplitude de mouvement. loppos, une faible valeur favorise uneexploration locale. Gnralement, la valeur de kest fixe et comprise entre 0.7 et1.2 inclusivement. Mais sa valeur peut galement dcrotre linairement au fil desdiffrentes itrations.

112

et421

21

Les facteurs cognitifs 1 et social 2

Le facteur cognitif f1 pondre la valeur de lexploration locale tandis que lefacteur social f2 est une mesure la tendance suivre le groupe. La convergence delalgorithme repose en grande partie sur le choix de ces deux paramtres.

Ruben et al. recommande que les paramtres respectent les ingalits ci-dessousafin dassurer la convergence de lalgorithme :

Facult

dingnierie

2. Deuxime approche : rduction dynamique du poids inertiel et par consquent la

vitesse des particules.

o k[0, 1] avec une valeur initiale k

= 0.95.

Optimisation par essaim de particulesChoix du poids inertiel

k

Le poids inertiel k peut tre constant ou dcrotre en fonction du nombreditrations.

1. Premire approche : rduction linaire du poids inertiel et par consquent lavitesse des particules.

kkk max

minmax

max1

o k dsigne le nombre ditrations et max= 0.95, min=0.55.

kkk

1


13/15



50

Facult

dingnierie


Afin dviter que les particules ne se dplacent trop rapidement dans lespace

de recherche, passant ventuellement ct de loptimum, on fixe normalementune vitesse maximale pour amliorer la convergence de lalgorithme.

Cependant, on peut sen passer si on utilise un coefficient de constriction kintroduit par Maurice CLERC et qui permet de resserrer lhyperespace derecherche.

Lquation de la vitesse est alors :

Vitesse maximale et coefficient de constriction

2

411

2

k

211

t

xp

t

xpvv

i

k

g

k

i

k

i

ki

k

i

k k

4

,

4

21

222111

21

rr

o

Facult

dingnierie

Optimisation par essaim de particulesGestion des contraintesLa gestion des contraintes pour des problmes doptimisation consiste en deuxapproches :

La premire approche consiste restreindre la vitesse des particules qui nerespectent pas les contraintes et les rediriger dans lespace de recherche.Cependant cette approche ne garantit pas une solution optimale qui respecte toutesles contraintes. Par ailleurs elle nest pas applicable toutes les situations.

Lautre approche consiste dprcier la valeur de la fonction objective chaquefois quune contrainte nest pas respecte. Ruben et al. propose dappliquerlquation suivante :

om dsigne le nombre de fois o les contraintes ne sont pas respectes;kj dsigne le facteur de pnalit qui croit linairement en fonction du nombreditrationsj;

autrement)(

respectessontscontraintelestoutessi

'

1

m

j

kjk

k

k xfgkxf

xf

xf


14/15



51

Facult

dingnierie

Optimisation par essaim de particulesGestion des contraintes

1. Premire approche :

o aest une constante strictement suprieure 1.

autrement

respectessontscontraintelestoutessi'

k

k

kxf

xfxf

a

2. Deuxime approche :

o m dsigne le nombre de fois o la contrainte nest pas respecte.

autrement


k

k

kxfm

xfxf

3. Troisime approche :

o m dsigne le nombre de fois o la contrainte nest pas respecte et auneconstante.

autrement


m

k

k

kxf

xfxf

a

4. Quatrime approche :

o kdsigne le nombre ditrations et aune constante.

autrement


akxf

xfxf

k

k

k

Facult

dingnierie

Rfrences

1. J. Kennedy, R.C. Eberhart, and Y. Shi. Swarm intelligence. Morgan Kaufmann Publishers, San Francisco, 2001.

2. K. E. Parsopoulos and M. N. Vrahatis. Recent approaches to global optimization problems through particle swarmoptimization.Natural Computing: an international journal, 1(2-3):235-306, 2002.

3. Maurice Clerc and James Kennedy. The particle swarm - explosion, stability, and convergence in a multidimensional complexspace.IEEE Trans. Evolutionary Computation, 6(1):58-73, 2002.

4. Frans van den Bergh. An analysis of particle swarm optimizers. PhD thesis , University of Pretoria, South Africa, 2002.

5. Loan Cristian Trelea. The particle swarm optimization algorithm: convergence analysis and parameter selection.Inf. Process. Lett., 85(6):317-325, 2003.

6. Y. Shi and R.C. Eberhart. Parameter selection in partic le swarm optimization. In Proceedings of the Seventh AnnualConference on Evolutionary Programming, pages 591-600, 1998.

7. Y. Shi and R.C. Eberhart. Empirical study of particle swarm optimization. In Proceedings of the IEEE Congress onEvolutionary Computation (CEC), pages 1945-1950, 1999.

8. J. Kennedy and R.C. Eberhart. A discrete binary version of the particle swarm algorithm. In Proceedings of the WorldMulticonference on Systemics, Cybernetics and Informatics, pages 4104-4109, 1997.

9. Xiaohui Hu, Yuhui Shi, and Russ Eberhart. Recent advances in particle swarm. In Proceedings of IEEE Congress onEvolutionary Computation 2004 (CEC 2004), pages 90-97, 2004.


15/15



52

Facult

dingnierie

Rfrences

10. Shuyuan Yang, Min Wang, and Licheng Jiao. A quantum particle swarm optimization. In Proceedings of IEEE Congress onEvolutionary Computation 2004 (CEC 2004), pages 320-331, 2004.

11. Tiago Sousa, Arlindo Silva, and Ana Neves. Particle swarm based data mining algorithms for classification tasks. ParallelComput., 30(5-6):767-783, 2004.

12. Maurice Clerc. Binary partic le swarm optimisers: toolbox, derivations and mathematical insights.http://clerc.maurice.free.fr/pso/binary_pso.

13. J.H. Holland. Adaptation. Progress in theoretical biology, pages 263-293, 1976.

14. S. B. Thrun et al. The MONK's problems: A performance comparison of different learning algorithms. Technical Report CS-91-197, Pittsburgh, PA, 1991.

15. Shaun Saxon and Alwyn Barry. XCS and the monk's problems. In Wolfgang Banzhaf, Jason Daida, Agoston E. Eiben, MaxH. Garzon, Vasant Honavar, Mark Jakiela, and Robert E. Smith, editors, Proceedings of the Genetic and EvolutionaryComputation Conference, volume 1, page 809, Orlando, Florida, USA, 13-17 1999. Morgan Kaufmann.

16. Kenneth A. De Jong and William M. Spears. Learning concept classification rules using genetic algorithms. In Proceedingsof the Twelfth International Conference on Artificial Intelligence (IJCAI), volume 2, 1991.

17. Steward W. Wilson. Classifier fitness based on accuracy. Evolutionary Computation, 3(2):149-175, 1995.

18. Ester Bernad-Mansilla and Josep M. Garrell-Guiu. Accuracy-based learning classifier systems: models, analysis andapplications to classification tasks. Evol. Comput., 11(3):209-238, 2003.

Facult

dingnierie

Rfrences19. T. M. Blackwell and Peter J. Bentley. Dynamic search with charged swarms. In Proceedings of the Genetic and Evolutionary

Computation Conference 2002 (GECCO), pages 19-26, 2002.

20. P. N. Suganthan. Particle swarm optimiser with neighbourhood operator. In Proceedings of the IEEE Congress onEvolutionary Computation (CEC), pages 1958-1962, 1999.

21. Riaan Brits. Niching strategies for particle swarm optimization. Master's thesis, University of Pretoria, Pretoria, 2002.

22. X. Hu and R.C. Eberhart. Multiobjective optimization using dynamic neighborhood particle swarm optimisation. InProceedings of the IEEE Congress on Evolutionary Computation (CEC), pages 1677-16, 2002.

23. J. Kennedy. Stereotyping: improving particle swarm performance with cluster analysis. In Proceedings of the IEEE Congresson Evolutionary Computation (CEC), pages 1507-1512, 2000.

24. K. E. Parsopoulos and M. N. Vrahatis. Particle swarm optimization method in multiobjective problems. In Proceedings of theACM Symposium on Applied Computing (SAC 2002) , pages 603-607, 2002.

25. Carlos A. Coello and Maximino Salazar Lechuga. Mopso: A proposal for multiple objective particle swarm optimization. InProceedings of the Congress on Evolutionary Computation (CEC'2002)) , pages 1051-1056, 2002.

26. Yongde Zhang and Shabai Huang. A novel multiobjective particle swarm optimization for buoys-arrangement design. InProceedings of the IEEE/WIC/ACM International Conference on Intelligent Agent Technology (IAT 2004) , pages 24-30, 2004.

27. X. Li. Adaptively choosing neighbourhoodbests using species in a particle swarm optimizer for multimodal functionoptimization. Lecture Notes on Computer Science, 3102:105-116, 2004.

28. E. Ruben, Perez and Karman Behdinan. Particule swarm optimization in structural design. Vienne Autriche:. Itech Educationand Publishing, 2007.

Essaim de Particules 13

Documents

Transcript of Essaim de Particules 13