Avalia o de um mecanismo de previs o adaptativa de …fabricio/wperf2008_slides.pdf · aplicação...

Introdução Mecanismo de previsão adaptativa Avaliação da Previsão Avaliação da Recuperação Conclusões

Avaliação de um mecanismo de previsãoadaptativa de perdas de pacotes com

aplicação à transmissão de Voz sobre IP

Fabrício Murai, Hugo Hidequi Sato, Edmundo de Souza eSilva, Daniel Ratton Figueiredo

UFRJ - COPPE/PESC - LAND

WPerformance, 2008

LAND - Laboratory for modeling,analysis and development of networks

and computer systems

Programa de Engenhariade Sistemas e Computação

1 / 101


Índice

1 Introdução

2 Mecanismo de previsão adaptativa

3 Avaliação da Previsão

4 Avaliação da Recuperação

5 Conclusões

2 / 101


Aplicações Multimídia em Redes

3 / 101



4 / 101



5 / 101



6 / 101



7 / 101



8 / 101



9 / 101



10 / 101



11 / 101



12 / 101



13 / 101



14 / 101



15 / 101


Perda de pacotes

E se houver perda de pacotes?

16 / 101


Perda de pacotes

17 / 101


Perda de pacotes

18 / 101


Perda de pacotes

19 / 101


Perda de pacotes

20 / 101


Perda de pacotes

21 / 101


Perda de pacotes

22 / 101


Perda de pacotes

23 / 101


Perda de pacotes

24 / 101


Perda de pacotes

25 / 101


Perda de pacotes

26 / 101


Perda de pacotes

27 / 101


Perda de pacotes

28 / 101


Perda de pacotes

29 / 101


Perda de pacotes

30 / 101


Uso de redundância

Uso de redundância: atenuar os efeitos das perdas

31 / 101


Uso de redundância

32 / 101


Uso de redundância

33 / 101


Uso de redundância

34 / 101


Uso de redundância

35 / 101


Uso de redundância

36 / 101


Uso de redundância

37 / 101


Uso de redundância

38 / 101


Uso de redundância

39 / 101


Uso de redundância

40 / 101


Uso de redundância

41 / 101


Uso de redundância

42 / 101


Uso de redundância

43 / 101


Uso de redundância

44 / 101


Uso de redundância

45 / 101


Uso de redundância

46 / 101


Uso de redundância

47 / 101


Quando utilizar redundância?

Maior redundância → maiorrecuperação, consome maisrecursos

Redundância nem sempre énecessária

48 / 101


Quando utilizar redundância?

Maior redundância → maiorrecuperação, consome maisrecursos

Redundância nem sempre énecessária

49 / 101


Diagrama

Recuperação

TRANSM.

dados

AVALIAÇÃORECUPERAÇÃO

ALGORITMO

FEC

dados+FEC

dadosrecuperados

Taxa derecuperação,

Overhead

COLETA DE OBS.MODELOprevisão obs

Problema 1

Problema 2

50 / 101


Diagrama

Problema 1

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Avaliação da previsão

51 / 101


Diagrama

Problema 2

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Avaliação da recuperação

52 / 101


Escopo deste trabalho1 Uso de modelos para o processo de perdas:

Modelo de Markov Oculto Hierárquico (HMM)

Modelos Auto-regressivos (AR)2 Avaliação quanto à:

Incerteza da previsãoQualidade da recuperação

3 Estudo da relação previsão X recuperação

53 / 101


O Mecanismo de previsão adaptativa

54 / 101



Estimação dos parâmetros

Eventos de estimação do modelo Estimação individual

T

Amostras paraa estimação

τ τ τ

Intervalo deestimação

tempo tempot tt-τt-2τ t+τ t-T

55 / 101



Previsão

Previsão individual

H F

Históricoda previsão

Janela daprevisão

ψ ψ ψ ψ ψ

Intervalo deprevisão

tempo tempot t+ψt-ψt-2ψ tt-H t+Ft+2ψt-3ψ

Eventos de previsão da medida de interesse

Estatísticas:Taxa de perda média RF

tTamanho médio da rajada de perda BF

t

56 / 101


Modelos Markovianos Ocultos(HMM)

Exemplo: Lançamento de moedas

P(coroa) = 0.1P(coroa) = 0.3P(coroa) = 0.4

Símbolos: cara, coroa

Processo observável: resultados dos lançamentos

Processo não-observável: troca de moedas

Motivação: como modelar esse processo?

57 / 101



Modelo

1 2

3

P(coroa)=0.1 P(coroa)=0.3

P(coroa)=0.4

0.2

0.5

0.3

0.30.4

0.6

58 / 101



Exemplo: Processo de perdas

010

Símbolos: sucessos(0) e perdas(1)

Processo observável: resultados das transmissões

Processo não-observável: estado da rede

Motivação: como modelar esse processo?

59 / 101


HMM Hierárquico

Modelo

0 1

p1

q11-p1 1-q1

0 1

p3

q31-p3 1-q3

0 1

p2

q21-p2 1-q2

a21

a12

a23 a32a13a31

r11-r1 r21-r2

r31-r3

Representação do estado: modelo de Gilbert

60 / 101


Outros preditores

Modelo auto-regressivo (AR)A previsão é uma comb. linear dasobs. recentes

Preditor MédiaA cada τ são calc. as estatísticas

ReplicadorA cada ψ são calc. as estatísticas

Eventos de previsão da medida de interesse

Eventos de estimação do modelo

τ τ τ

Intervalo deestimação

ψ ψ ψ ψ ψ

Intervalo deprevisão

tempo

tempo

tt-τt-2τ t+τ

t t+ψt-ψt-2ψ t+2ψt-3ψ

61 / 101


Problema 1

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead



62 / 101


Uso de traces

Como comparar a previsão se as perdas mudam a cadatransmissão?

63 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

64 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

65 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

66 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

67 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

68 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

X

69 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

70 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

71 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

72 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

0

73 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

01

74 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

010

75 / 101


Uso de traces

UFRJ

UFMG

UMass

UMd

010

Obtidos através do Traffic Generator da ferramenta Tangram II

76 / 101


Traces selecionados

UMd - UFRJ (rajadas periódicas, R̄ = 2.2%)

0

0.1

0.2

0.3

0.4

0.5

Tax

a de

per

da

5.5 6 6.5 7 7.5 8 8.5

Tempo (minutos)

UMASS - UFRJ (alta variabilidade, R̄ = 9.5%)

0

0.2

0.4

0.6

0.8

1

5.5 6 6.5 7 7.5

Tax

a de

per

da

Tempo (minutos)

77 / 101



Consideramos apenas os instantes em que a taxa de perda évariante .

Tax

a de

per

da 1

0

Real

tempo

Instante variante

Métricas utilizadas:

Erro médio quadrático MSE = E [(R̂Ft − RF

t )2]

Correlação cruzada COR ( real x previsto )

Taxa de acerto relativa I(α)

78 / 101


Resultados Experimentais

Comparação dos modelos de previsão

UMd - UFRJ UMass - UFRJModelo ↓ MSE ↑ COR ↑I(0.4) ↓MSE ↑COR ↑I(0.4)

HMM 0.01244 0.23599 10% 0.04599 0.43518 25%

AR 0.01330 0.22376 9% 0.05625 0.41024 16%

Média 0.02189 0.10525 1% 0.08989 0.00520 0%

Replicador 0.01823 0.16268 0% 0.11260 -0.16332 0%

HMM mostrou melhor desempenho

79 / 101


Problema 2

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Avaliação da recuperação

80 / 101


Métricas

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


81 / 101


Métricas

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Taxa de recuperação

r = no. de pacotes recuperadosno. de pacotes perdidos

82 / 101


Métricas

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead




Overhead

o = no. de pacotes adicionados ao fluxono. de pacotes do fluxo original

83 / 101


Métricas

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead




Overhead

o = no. de pacotes adicionados ao fluxono. de pacotes do fluxo original

Comparação de resultados84 / 101


Seleção de FEC

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Dada a previsão como eu escolho a FEC?

85 / 101


Seleção de FEC

TRANSM.

dados


ALGORITMO

FEC

dados+FEC

dadosrecuperados


Overhead


Dada a previsão como eu escolho a FEC?

Heurística C [Filho e de Souza e Silva, 2006]

Objetivo: Taxa de perda após a recuperação abaixo de θ

Entrada: modelo de Gilbert

Calcula analiticamente E[taxa de perda após recup.]

86 / 101


Algoritmo de seleção de FEC

Baseia-se na esperança da taxa de perda média e dotamanho médio da rajada

Determina um modelo de Gilbert

procedure selectFEC( R∗t+1, B∗

t+1)

inícioq := 1

B∗

t+1;

p :=q×R∗

t+11−R∗

t+1;

Use o esquema de FEC dado pela heurística C para omodelo de Gilbert(p,q);fim

87 / 101


Mostrando a eficácia do algoritmo

Vamos supor a existência do seguinte preditor:

Preditor Ótimo : conhece a taxa de perda e o tamanhomédio da rajada (traces).

88 / 101


Parametrização dos Modelos e do Algoritmo Adaptativo

Parâmetros FixosS = 25 símbolosIntervalo de treinamento: 4 minutosHistórico de treinamento: 4 minutosθ = 0.03

Parâmetros variáveis do HMMNúmero de estados ocultos: 5, 10, 20Intervalo de previsão: 50,100 símbolosHistórico de previsão: 50, 100, 1000 símbolos

Parâmetros variáveis do ARIntervalo de previsão: 50,100 símbolosGrau de regressão: 2,20,40

89 / 101


Resultados do HMM (UMd - UFRJ)

Comparação para diferentes parametrizações

0.0004

0.0005

0.0006

0.0007

0.0008

0.0009

0.001

0.0011

0.0012

Previsão ÓtimaHMM

0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85taxa de recuperação

0.06

0.07

0.08

0.09

0.1

0.11

over

head

MSE

Relação direta entre previsão e recuperação

Robustez do HMM

90 / 101


Resultados do HMM (UMd - UFRJ)

Comparação para diferentes parametrizações

0.0004

0.0005

0.0006

0.0007

0.0008

0.0009

0.001

0.0011

0.0012

Previsão ÓtimaHMM

0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85taxa de recuperação

0.06

0.07

0.08

0.09

0.1

0.11

over

head

MSE

Relação direta entre previsão e recuperação

Robustez do HMM

91 / 101


Comparação dos modelos (UMd - UFRJ)

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.10

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

over

head

taxa de recuperação

Replicador

AR

HMM

Previsão Ótima

Média

Proximidade do HMM e da Previsão Ótima

92 / 101


Contribuições

1 Definição de métricas para avaliação da previsão2 Proposto Algoritmo de seleção de FEC3 Avaliação dos modelos HMM e AR4 Análise de sensibilidade do HMM5 Previsão X Recuperação

93 / 101


Conclusões

1 HMM mostrou melhor desempenho2 Robustez do HMM com relação aos parâmetros3 Em geral, boa previsão → boa recuperação4 HMM + algoritmo proposto = bons resultados

94 / 101


Obrigado!

Fabrício MuraiEste Material: www.land.ufrj.br/∼fabricio

Texto do artigo: www.land.ufrj.br

Email:

95 / 101


Previsão para parametrizações do HMM (UMass - UFRJ)

0.0038

0.0039

0.004

0.0041

0.0042

0.0043

0.0044

0.0045

0.0046

0.2 0.3 0.4 0.5 0.6taxa de recuperação

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1.1ov

erhe

ad

MSE

HMM

HMM

Previsão Ótima

2 clusters

HMM X Preditor Ótimo

96 / 101


Explicação dos resultados para o trace (UMass - UFRJ)

0

0.1

0.2

0.3

0.4

0.5

0.6

0 5 10 15 20

Taxa de perda realPrevisão 1Previsão 2

Previsão 1: menor erro, sempre emprega redundância

Previsão 2: maior erro, só emprega redundância quandonecessário

A previsão do HMM para este trace se assemelha à previsão 1.97 / 101


Previsão X Recuperação (UMd - UFRJ)

0

0.001

0.002

0.003

0.004

0.005

0.006

0.007

Previsão ÓtimaHeurística Ótima

0.65 0.70 0.75 0.80 0.85


0.00

0.10

0.20

0.30

over

head

98 / 101


Previsão X Recuperação (UMass - UFRJ)

0

0.001

0.002

0.003

0.004

0.005

0.006

0.007


0.45 0.50 0.55 0.60 0.65


0.30

0.40

0.50

over

head

99 / 101


Previsão X Recuperação (UFMG - UFRJ)

0

0.002

0.004

0.006

0.008

0.01

0.012


0.85 0.90 0.95 1.00


0.70

0.80

0.90

1.00

over

head

100 / 101


Previsão X Recuperação (MMPP)

0

0.001

0.002

0.003

0.004

0.005

0.006

0.007

0.008


0.30 0.35 0.40 0.45


0.50

0.60

0.70

over

head

101 / 101

Avalia o de um mecanismo de previs o adaptativa de …fabricio/wperf2008_slides.pdf · aplicação...

Documents

Transcript of Avalia o de um mecanismo de previs o adaptativa de …fabricio/wperf2008_slides.pdf · aplicação...