Optimização de pesquisas Web utilizando Colónias de Formigas

Wide ScopeOptimization SolutionsThe company concept

Wide Scope – The Company Concept

Wide Scope – The Company Concept

Net-WMSEuropean-funded project (FP6) for integrating Virtual Reality and optimization techniques in a new generation of Networked businesses in Warehouse Management Systems under constraints.

» PSA – Peugeot Citroen (France)‏» FIAT – Research Centre (Italy)‏

» Wide Scope (Portugal)‏» KLS Optim (France) » Mind2Biz (Turkey)‏

» CEA – Commisariat Energie Atomique (France)‏» SICS – Swedish Institute Computer Science (Sweden)‏» INRIA (France)‏» École des Mines de Nantes (France)‏» ERCIM – W3C (France)‏

http://

net-wms.

ercim.org

Optimização de pesquisas Web utilizando Colónias de FormigasPedro Gomes, Filipe Carvalho

Pesquisa Web – Case Study

Pesquisa:Expressão “404 Error – Page not found”

Resultados (~7.660.000):Nas 6 primeiras posições temos 5 “páginas não encontradas” e 1 explicação Wikipedia.

Pesquisa Web - Case Study

Página 2:Mais do mesmo...

Pesquisa Web – Case Study

Mas ao longo das várias páginas de resultados surgem alguns links interessantes ....

pag. 1

pag. 2

pag. 2

pag. 3

Porquê, porquê, porquê ?

Question 1- Porque surgem tantos resultados desinteressantes e apenas alguns relevantes

para aquilo que pretendo encontrar ?

- ... devo refinar a pesquisa ?- ... procurar noutro site ?- ... navegar de página para página a partir de um link que pareça interessante (e.g.,

wikipedia) ?

Question 2- Porque não estão logo na primeira página todos os resultados interessantes

que encontrei espalhados por várias páginas ?

State-of-the-art

Os resultados de uma pesquisa são devolvidos em função de duas dimensões:

• a sintaxe textual da “query”

• a “importância” de cada página enquadrada no contexto da pesquisa (PageRank)

Resultados = Sintaxe + Ranking

State-of-the-art

Os resultados de uma pesquisa são devolvidos em função de duas dimensões:

• a sintaxe textual da “query”

• o ranking de cada página enquadrada no contexto da pesquisa

“PageRank is defined as follows:

We assume page A has pages T1...Tn which point to it (i.e., are citations). The parameter d is a damping factor which can be set between 0 and 1. We usually set d to 0.85. Also C(A) is defined as the number of links going out of page A. The PageRank of a page A is given as follows:

PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn))“

In The Anatomy of a Large-Scale Hypertextual Web Search Engine, Sergey Brin and Lawrence Page, Computer Science Department, Stanford University, 1998

Introdução da semântica

Com “semântica de uma pesquisa” referimo-nos ao que o utilizador pretende encontrar;

A semântica está além dos caractéres utilizados numa expressão de pesquisa ou na relevância que outros sites atribuem a cada resultado.

Resultados = Sintaxe + Semântica + Ranking

Introdução da semântica

Question:Como saber o significado da pesquisa para além dos caractéres utilizados ?

Question:Como saber que um resultado é relevante para essa semântica independentemente do seu PageRank ?

Ant Colonies OptimizationSwarm Intelligence

Behaviour of real ants

Real ants are capable of finding the shortest path from a food source to the nest without using visual cues.

Also, they are capable of adapting to changes in the environment, for example finding a new shortest path once the old one is no longer feasible due to a new obstacle


Ants deposit a certain amount of pheromone while walking, and each ant probabilistically prefers to follow a direction rich in pheromone rather than a poorer one.

This elementary behavior of real ants can be used to explain how they can find the shortest path which reconnects a broken line after the sudden appearance of an unexpected obstacle has interrupted the initial path.


In fact, once the obstacle has appeared, those ants which are just in front of the obstacle cannot continue to follow the pheromone trail and therefore they have to choose between turning right or left.

In this situation we can expect half the ants to choose to turn right and the other half to turn left. The very same situation can be found on the other side of the obstacle.


Those ants which choose, by chance, the shorter path around the obstacle will more rapidly reconstitute the interrupted pheromone trail compared to those which choose the longer path.

The shorter path will receive a higher amount of pheromone in the time unit and this will in turn cause a higher number of ants to choose the shorter path. Due to this positive feedback (autocatalytic) process, very soon all the ants will choose the shorter path

Modelação matemática

Em cada nodo i, a desejabilidade de passar para j é determinada em função da visibilidade (i -> j) e da quantidade de feromona entre (i -> j).

O troço i->j será seguido com uma probabilidade proporcional à sua desejabilidade, tal como qualquer outro nodo destino k.

Modelação matemática

Em cada nodo i, a desejabilidade de passar para j é determinada em função da visibilidade (i -> j) e da quantidade de feromona entre (i -> j).

O troço i->j será seguido com uma probabilidade proporcional à sua desejabilidade, tal como qualquer outro nodo destino k.

A probabilidade de passar de i para j no instante p é directamente proporcional à feromona (τ) depositada entre i e j e à visibilidade/ desejabilidade (η) de passar para j.

Feromonas nas pesquisas

Ao navegar de página em página de resultados e ao seleccionar alguns links de interesse nessas páginas, estamos a delinear um trilho de feromonas sobre o que achámos interessante e, ao mesmo tempo, a mostrar que alguns tópicos não são interessantes, ignorando-os.

Pag 1 Pag 2 Pag 3

“404 Error -Page Not Found”

Mapeamento Ants/Utilizadores

Para cada pesquisa i, a desejabilidade de mostrar o resultado j é determinada em função do PageRank de j e da quantidade de feromona entre i e j.

Desta forma, a ordem dos resultados baseia-se no PageRank de cada página e na experiência prévia de navegação de outros utilizadores, em função do mesmo critério de pesquisa.

Mapeamento Ants/Utilizadores

Para cada pesquisa i, a desejabilidade de mostrar o resultado j é determinada em função do PageRank de j e da quantidade de feromona entre i e j.

Desta forma, a ordem dos resultados baseia-se no PageRank de cada página e na experiência prévia de navegação de outros utilizadores, em função do mesmo critério de pesquisa.

A ordem do resultado j em função da pesquisa por i no instante p é directamente proporcional à feromona (τ) depositada entre i e j e ao PageRank (η) de j.

Upgrade proposto

Pag 1 Pag 2 Pag 3


Pag 1


Pesquisa = Sintaxe + PageRank

Pesquisa = Sintaxe + PageRank + Semântica

Conclusões

Os resultados de pesquisas web podem incluir mais informação do que apenas a relevância que outros sites lhe atribuem;

Essa informação é baseada na experiência de navegação que outros utilizadores revelaram em função de critérios de pesquisa semelhantes;

A informação sobre a desejabilidade de cada resultado é mantida por um sistema autocatalítico de passagem de informação- As feromonas evaporam com o tempo;

- Os troços mais seleccionados são promovidos naturalmente e reforçada a sua feromona;

- Os troços menos seleccionados afundam-se cada vez mais nas páginas de resultados;

Optimização de pesquisas Web utilizando Colónias de Formigas

Documents

Transcript of Optimização de pesquisas Web utilizando Colónias de Formigas