ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants...

ACO – From Real To Artificial Ants

ACO- Ant Colony OptimizationFrom Real To Artificial Ants

Rafael Cruz - PESC

Disciplina: Inteligência de enxameProfessor: José Manoel de Seixas


ReferênciaCH 1 – From real to Artificial Ants

“Ant Colony Optimization” Marco Dorigo and Thomas Stützle

Marco Dorigo*: Diretor de pesquisas FNRS – (Fundo Belga para Pesquisa Cientifica)Co-Diretor IRIDIA – Lab. de intel. artificial da universidade de Bruxelas.Inventor da metaheuristica ACO

*Fonte: Amazon.com


1 From Real to Artificial Ants

Colônias de formigas (sociedades de insetos): Indivíduos simples que possuem estrutura social bem organizada.

Executam tarefas complexas que vão além da capacidade de uma única formiga

“Ant Algorithms” : Modelos inspirados na observação do comportamento que levam as formigas a atingirem tal organização.

Algoritmos para soluções de problemas de otimização e problemas de controle distribuídos.



Colônias de formigas – Inspiração: Busca por alimentos, divisão do trabalho, transporte cooperativo, etc.

“Stigmergy” : Comunicação através da mudança do ambiente.Ex: feromônios.

“Ant Algorithms” - Ideia : “Artificial Stigmergy” para coordenar sociedade de agentes artificiais



“Ant Algorithms” - ACO (Ant Colony Optimization) - Inspirado no comportamento visto durante a procura por alimentos.

Utilização : Problemas de otimização discreta

É o algoritmo estudado no livro.


1.1 - Ants’ Foraging Behavior and Optimization

Formigas quase não enxergam.

feromônio: química produzidas pelas formigas.

“Trail pheromone”: Usado na marcação de caminhos. Guiam as formigas do ninho até fontes de alimento.

Fonte de Inspiração para ACO: como o ato de depositar e seguir feromônios, realizado por uma formiga, influencia as demais.


1.1.1 Double Bridge Experiments

Deneubourg, Aron, Goss, & Pasteels, 1990; Goss et al., 1989

Variar proporção de dois desvios r = l/s (long/short)



(a) Mesmo tamanhoAo acaso as formigas inicias escolhem um dos dois caminhosEventualmente um dos dois caminhos irá ter maior quantidade de feromônioEsse caminho passa a ser o escolhido (auto catalisação)

(b) r=l/s=2Formigas que pegam o menor caminho chegam primeiro.Maior quantidade de feromônio é depositada.Auto catalisação e diferenciação baseada no tamanho do caminho podem ser observados.Pequena porcentagem não segue o caminho mais curto : “exploração de novos caminhos”



(c) Adição de um novo caminho menor após 30 minutosA maioria continua no caminho mais longo.Maior concentração de feromôniosEvaporação do feromônio ocorre muito devagar de forma que o caminho sub-ótimo continua sendo usado.


Deneubourg, Aron, Goss, & Pasteels, 1990; Goss et al., 1989Dinâmica da colônia baseada no experimento com uma bifurcação

formigas por segundo a v cm/s depositando 1 feromônio no caminho de comprimento ls e ll centímetros (short / long)r = ls / llTempo de travessia: ts = ls / v segundos , tl = r*ts

: quantidade de feromôniopis(t) : probabilidade da formiga escolher caminho s (short) no ponto i.

A probabilidade em função da quantidade de feromôniopis(t) + pil(t) = 1

1.1.2 A Stochastic Model


1.1.2 A Stochastic Model

Quantidade de feromônio é proporcional a quantidade de formigas que passaram pelo trajeto (não considera evaporação) foi obtido por experimentos, assim como a eq 1.1

Ex: Variação de feromônio em t, no desvio s no ponto 1

fluxo de formigas X probabilidade de escolher s no ponto 2 em (t-ts)+ fluxo de formigas X probabilidade de escolher s no ponto 1 em (t)


1.1.2 A Stochastic ModelSimulação do sistema proposto

Monte Carlor=1 e r = 2, 1000 simulações para cada

Resultados

(a) r =1, gráfico do desvio sConverge para um dos dois desvios (s=l)Grande concentração em 0-20 ou 20-80%

(b) r = 2, gráfico do desvio sGrande concentração em 80-100%Maioria toma o menor desvio.


1.1.2 A Stochastic ModelOutras considerações

No modelo feromônios são depositados na ida e na volta

Se só for depositado em um caminho, verificou-se que as formigas não encontrariam o menor caminho (Deneubourg, 2002).


1.2 Toward Artificial AntsVerificou-se, através de regras probabilísticas, que as colônias acham o menor caminho entre o ninho e a fonte de comida

Obtendo uma modelagem discreta para o problema “Double Bridge”

GrafosArestas de comprimento inteirotempo discretov (velocidade) de uma unidade de comprimento por unidade de tempoA cada passo t, uma unidade de feromônio é depositada na arestapis(t) : probabilidade da formiga escolher caminho s (short), qdo em i. : quantidade de feromônio que formiga no nó i encontra no desvio s i = {1,2} . Tb vale quando para desvio l.mi(t) : número de formigas no nó i, no tempo t.


1.2 Toward Artificial AntsFormulação proposta

Ex: Qtde de feromônios no tempo t, no caminho s, quando em 1: qtde anterior (t-1) + formigas que anteriormente foram por s estando em 1+ formigas que anteriormente foram por s estando em 2


1.2 Toward Artificial AntsFormulação proposta

Formigas em 1: Formigas em 2 que foram (t-1) por s ou por l.

Duas representações em grafos do problema


1.2 Toward Artificial AntsSimulações

r = 2 , t = 100

200 formigas

O sistema convergiu para o menor caminho, assim como ocorreu na simulação de Monte Carlo.

O modelo considerou o comportamento geral do sistema e não o de cada formiga.


1.3 Artificial Ants and Minimum Cost PathsObjetivo: Obter um algoritmo que resolvam problemas de minimização de custos em grafos mais complexos que o visto.

Problema: Loops

Se depositar feromônios na ida, loops irãoconter grande quantidade.

Solução: Usar uma formiga com memóriaNão depositam feromônio na idaFormigas passam a armazenar caminho feitoAo chegar na comida, removem loops

AproveitandoAvaliação do caminho feito e depósito de feromônios com base no tamanho percorrido (sem loops). Ex: 100/2 =50 feromônios por aresta VS 100/20 = 5 por aresta


1.3 Artificial Ants and Minimum Cost PathsS-ACO - Simple ACO – Características do modelo

Probabilistic forward ants and solution constructionDois modos: Forward e BackwardQuando em forward, escolhe probabilisticamente próximo nó.Não depositam feromônio

Deterministic backward ants and pheromone updateAnálise do caminho realizado na ida (memória)Eliminação de loopsDeposita feromônios

Pheromone updates based on solution qualityLasius Niger: Formiga que deposita mais feromônio quando retorna de alimento mais “rico”

Pheromone evaporationDecaimento artificial. Ex: taxa constante.Se mostrará bastante útil


1.3.1 S-ACOAnts’ Path-Searching Behavior

A cada nó informações locais ou sobre os arcos são avaliadasNó i, formiga k, quantidade de feromônio na aresta ij (inicialmente 1)

: vizinhos de i menos o vértice de onde veio (se não vazio).

O tempo de chegada no alimento varia de formiga para formiga


1.3.1 S-ACOPath Retracing and Pheromone Update

Ao chegar na comida, loops são removidosNão necessariamente os maiores: 5 - 3 -2 - 8 - 5


1.3.1 S-ACOPath Retracing and Pheromone Update

Ao retornar, deposita feromônios

Se o incremento for constante, somente uma diferenciação baseada no tamanho do caminho é realizada. Caminhos menores terão maior concentração pelo fato das formigas retornarem mais rápido.

Um incremento em função do tamanho poderia trazer uma convergência mais rápida.


1.3.1 S-ACOPheromone Trail Evaporation

Evita convergência para um caminho sub-ótimo

Após formiga se mover, evaporação é computada

p E (0,1]

Um ciclo completo to S-ACO envolve:

Mover formigasEvaporaçãoDepósito de feromônio


1.3.2 Experiments with S-ACOAvaliação realizada em relação a convergência ao custo mínimo (menor caminho)

Conforme o algoritmo roda com um aumento no número de iterações, a probabilidade da formiga selecionar os arcos do menor caminho se aproxima de 1. A probabilidade de selecionar os demais se aproxima de zero.

Dois grafos: “double bridge” e “extended double bridge”


1.3.2 Experiments with S-ACOExtended double bridge – S - ACO

Muitos caminhos possíveis (sub-ótimos)Loops

Interesse em que todas as formigas sigam o melhor caminhoProblemas NP dificeis e de roteamento:tempo e mudanças no custo são muito importantes

Serão estudados a frente.


1.3.2 Experiments with S-ACONúmero de formigas e “double bridge”

Comparar o modelo (1.4) a (1.7) com o comportamento real

Rodou-se S-ASO com diferentes números de formigas.

Em 1: Depósito de feromônios constante (eq 1.9)Em 2: : L é o tamanho do caminho da K-esima formigap (evaporação) = 0 para ambos


1.3.2 Experiments with S-ACONúmero de formigas e “double bridge”

Updates sem considerar qualidade do caminhoConvergência em 100 tentativas sempre ocorreu com 512 formigasCom poucas formigas o caminho mais longo tem frequência alta

Updates considerando a qualidade do caminhoResultados convergem muito mais para o menor caminhoCom 8 formigas já convergiu

Alterações no (1.8)Variação de 1 a 2, com incremento de 0.25.No 1º caso (update constante): Efeito negativo. Converge próximo a 1No 2º caso (update constante): Praticamente independenteConcluiu-se que com o valor de 1 há melhor convergênciaSe um maior caminho for selecionado aleatoriamente, maiores valores tendem a amplificar as escolhas iniciais, amplificando portando o efeito da aleatoriedade.


1.3.2 Experiments with S-ACOEvaporação do feromônio : “extended double bridge”

m=128 formigas

p E {0,0.01,0.1} : evaporação

Quando formiga retorna, tira-se a média do tamanho dos 4*m últimoscaminhos achados

= 1

Se após 5000 iterações formiga não chega ela é reiniciada

Observar que melhor trajeto de ida tem 5 arestas



Sem feromônio: não converge

Com feromônio: converge para solução ótima ou subótima

10 passos ida e volta: p=0.1 é muito alta (65% de evaporação nos arcos)

p=0.01 : 10% de evaporação após 10 passos

Observações mostraram que : não houve loop nos caminhos quando há convergência quanto maiores e p, maior convergência para soluções subótimas p=0.2 convergiu para 7,8 e 2x para 6 p=0.01 convergiu para 5 em todas as tentativas aumentar piora resultados pois acentua aleatoriedade inicial.


FIM

ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants...

Documents

Transcript of ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants...