Análise dos Resultados da Simulação - inf.ufsc.brfreitas.filho/cursos/simgrad/2005-2/Aulas/5101...
Transcript of Análise dos Resultados da Simulação - inf.ufsc.brfreitas.filho/cursos/simgrad/2005-2/Aulas/5101...
Análise dos Resultados da Simulação
Prof. Paulo José de Freitas Filho, Dr. Eng.Universidade Federal de Santa Catarina
Dep. Informática e EstatísticaPerformanceLab
2
Tópicos
Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais
3
Tópicos
Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais
4
Introdução
A principal razão para uma maior atenção aos processos de análise dos resultados das simulações:
modelos apresentam um comportamento estocástico, à semelhança dos sistemas que estão
imitando.
5
Introdução
Objetivo Principal: minimizar os errosrelacionados ao processo de inferência.
6
Introdução
Os procedimentos necessários à análise dependem do tipo de sistema que está sendo tratado. Os sistemas serão classificados como:
Terminais ou Não-terminais.
7
Tópicos
IntroduçãoExperimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais
8
Experimentação e Análise de Resultados
O procedimento de análise dos resultados da simulação inicia com a seleção de variáveis de desempenho que se deseja verificar no sistema.
Por exemplo:8 Elementos contadores de ocorrências8 Variáveis obtidas de alguma expressão incluindo médias,
variâncias, etc.. 8 Variáveis que medem tempo no sistema, tempo nas filas,
número de entidades nas filas, utilização de recursos, vazão (throughput), etc
9
Experimentação e Análise de Resultados
Inferir sobre os resultados implica na realização de análises estatísticas apropriadas. Algumas questões que devem ser inicialmente tratadas dizem respeito aos seguintes aspectos:
• Qual é a duração apropriada de uma rodada de simulação?
• Como interpretar corretamente seus resultados?• Como analisar corretamente as diferenças obtidas em
cada uma das replicações?
10
Tópicos
Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais
11
Confiança Estatística
A determinação de intervalos de confiança para as variáveis de desempenho é um componente fundamental no processo de análise de resultados.
12
Confiança Estatística - ExemploPara os dados da tabela deseja-se construir intervalos de confiança de 95% (α=0,05) e de 99% (α=0,01).
Número da Replicação
Tempo Médio na Fila
1 63,22 69,73 67,34 64,85 72
13
Confiança Estatística - Exemplo
Assumindo que os valores para a variável aleatória X(Tempo Médio na Fila) são normalmente distribuídos, o semi-intervalo h permitirá o cálculo do intervalo de confiança a 1 - α, para o verdadeiro valor da média µ, que estará centrado em X.
14
Confiança Estatística - Exemplo
O semi-intervalo h é calculado por:
onde o valor de é o valor tabulado de t (ver tabela t).
nSth n 2/1,1 α−−=
2/1,1 α−−nt
15
Confiança Estatística - Exemplo
Uma vez que α reflete o nível de confiança para todo intervalo, no sentido de obter-se um intervalo bilateral usa-se o valor de α/2 para computar o valor de h. Usando-se as equações (abaixo) calcula-se o valor de , S2 e S.
Adicionalmente, busca-se os valores tabelados de t(amostra pequena) com 95% e 99% de confiança.
n
xX
n
ii∑
== 11
1
22
2
−
−=
∑=
n
xnxS
n
ii
X
16
Confiança Estatística - Exemplo
X = 67,4; S 2 = 12,74 S = 3,57
Para 95% de confiança (α = 5%), temos 1 - α/2 = 0,975 e t4, 0.975 = 2,78.
Para 99% de confiança (α = 1%), temos 1 - α/2 = 0,995 e t4, 0.995 = 4,60.
Desta forma, os resultados dos valores de h são os seguintes:
h = 4,44 (95% de confiança)h = 7,34 (99% de confiança)
17
Confiança Estatística
Como o intervalo é simétrico em torno da média, temos os seguintes limites:
O intervalo com 95% de confiança é:
[62,6; 71,84]
O intervalo com 99% de confiança é:
[60,06; 74,74].
[ X - h, X + h]
18
Confiança Estatística
O tamanho do intervalo depende do nível de confiança desejado. 8 O nível mais elevado (99%) requer um intervalo maior em
comparação com o nível de confiança mais baixo.
O número de replicações n e desvio-padrão amostral ssão utilizados na obtenção de z ou t.
Três fatores influenciam a largura do intervalo de confiança:
8 o número de replicações n;8 o nível de confiança (1 - α) predefinido pelo analista;8 variação (S2) associada à medida de desempenho sob análise.
19
Confiança Estatística
O relacionamento entre estes três fatores ocorre da seguinte maneira:
8 O aumento do número de replicações, reduz a largura do intervalo de confiança;
8 O aumento do nível de confiança, aumenta também a largura do intervalo de confiança. O intervalo com 99% de confiança serámaior do que o aquele com 95% de confiança, uma vez mantidos os demais elementos;
8 Na medida que a variância (S2) aumenta, cresce a largura do intervalo de confiança.
20
Tópicos
Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais
21
Sistemas Terminais e Não-Terminais
Sistemas terminais:
8 Apresentam condições iniciais fixas (condições estas que o sistema volta a assumir ao início de cada rodada de simulação) e um evento que determina um fim natural para o processo de simulação (isto é, pode-se programar o fim de uma rodada de simulação).
8 Como exemplos de sistemas terminais pode-se citar os serviços, tais como, restaurantes, bancos, lojas comerciais, etc..
22
Sistemas Terminais e Não-Terminais
Sistemas Não-terminais:
8 Os sistemas não-terminais não possuem condições iniciais fixas, nem um evento que determina o fim do processo de simulação.
8 Como exemplos mais comuns deste tipo de sistemas podemos citar os serviços de 24 horas, os hospitais, os sistemas de comunicação, etc..
23
Análise de Sistemas Terminais
O objetivo de simular sistemas terminais é compreender seu comportamento ao longo de um período predeterminado e com duração fixa.
Uma vez que as condições iniciais e o período simulado são fixos, o único fator controlável é o número de replicações.
Os procedimentos de análise para sistemas terminais consistem em realizar um determinado número replicações, verificar a variância da medida de desempenho selecionada e determinar se o intervalo de confiança resultante encontra-se dentro de limites aceitáveis.
24
Executar pilotocom n
replicações
Computar o intervalode confiança
Intervalo deconfiança é
aceitável
Encerraro
procedimento
Calcularnúmero n* dereplicaçõesadicionais
Executar asimulaçãocom n + n*replicações
SIM
NÃO
Análise de Sistemas
Terminais
25
Tamanho da Amostra (número de replicações) para a Determinação da Média
Sabe-se que para uma amostra de tamanho n, o intervalo de confiança 100(1-α)% da média populacional da variável de interesse é dado por:
A precisão desejada de r % implica que o intervalo de confiança deve ser:
nszx ±
[ x (1-r/100), x (1+r/100)]. Logo,
2100
100
)100
1(
⎟⎠⎞
⎜⎝⎛=
=
±=±
xrzsn
rxnsz
rxnszx
26
Tamanho da Amostra – Exemplo 1
Com base num teste preliminar a média amostral de uma variável de controle é de 20 segundos com desvio padrão de 5 segundos. Quantas replicações são necessárias para que a variável de controle tenha uma precisão de 1 segundo com 95% de confiança?
Precisão requerida é de 1 em 20 = 5%
Os parâmetros para a aplicação da fórmula são:
x = 20 s = 5 z = 1,960 r = 5
n5% = [(100 x 1,960 x 5) / (5 x 20)]2 = (9,8)2 = 96,04
27
Tamanho da Amostra – Exemplo 2
Determinar os limites de um intervalo de confiança, considerando α = 5%, e uma precisão em torno de 5% para o valor da média amostral. Os parâmetros fornecidos são:
n5% = [(100 x 1,960 x 5,7) / (5 x 115,3)]2 = (1,94)2 = 3,75 ≅ 4
x = 115,3 s = 5,7 z = 1,960 r = 5
28
Método Empírico de Determinação do Tamanho da Amostra
n* = [n(h/h*)2]
onde:
n* = a nova estimativa para nh = semi-intervalo de confiança obtidoh* = semi-intervalo de confiança desejado
29
Tamanho da Amostra – Exemplo
Os valores obtidos para um intervalo de confiança após uma simulação com n = 24 replicações foi [75,82; 108,90], para uma média = 92,36. O valor obtido para o semi-intervalo h = 16,54 é maior do que o valor desejado (10% da média = 9,236). Logo, a primeira estimativa para n resultou em um intervalo maior do que o desejado. Aplique o método empírico e estime o valor de n*.
n* = [n(h/h*)2] = [ 24 (16,04 / 9,236)2 ] = 72,39 ≅ 73
O novo valor obtido para h foi de 8,57 para uma média = 91,13. O novo intervalo de confiança para a média, com n = 73 replicações é [82,56; 99,70].
30
Usando o Arena Output Analyzerpara Tratar Sistemas Terminais
Para um melhor entendimento dos passos que devem ser realizados, considere o exemplo do modelo “Trans_Banc70.doe”.
Ative o Output Analyzer a partir do menu Programas/Arena.
31
Exemplo uso do Arena Output Analyzer
As seguintes variáveis de desempenho foram designadas:8 Tempo médio no sistema de um cliente que faz uso dos caixas;8 Número médio de clientes na fila dos caixas.
32
Definição do número de replicações amostra piloto
33
Armazenando os Dados da Simulação
34
Solicitando ao Arena a criação de arquivos de dados
35
Solicitando as Estatísticas de Filas
36
Origem das Informações Geradas e Armazenadas no Arquivo Destino
Summary Report..................Replication 1 of 15
Avg. Min Max...# in Fila Caixas 1.995........Replication 2 of 15
Avg. Min Max...# in Fila Caixas 2.003.....................Replication 15 of 15
Avg. Min Max...# in Fila Caixas 3.732
1.9952.003..............
....
...3.732
Arquivo “NFCx.DAT”
37
Anexando os arquivos “TTCx.DAT” e “NFCx.DAT” ao Output Analyzer
38
Solicitando Gráficos (Plot)
39
Gráficos (Plot)
40
Diálogo para o Cálculo do Intervalo de Confiança
41
Intervalos de Confiança
42
Mais precisão para o tamanho da fila
Considere alcançar valores de h ≤ 10% da média amostral.
8 Para a variável Clientes na Fila, h = 0,745 (não atingida)8 Para a variável Tempo no Sistema, h = 2,66 (atingida)
n* = [n(h/h*)2]
n* = a nova estimativa para nn = número de replicações já realizadas = 15h = semi-intervalo de confiança já obtido = 1,59h* = semi-intervalo de confiança desejado = 0,745
n* = [n(h/h*)2] = [ 15.(1,59 / 0,745)2 ] = 15.(1,575)2 ≅ 69
43
Mais Precisão
O valor obtido para h (0,616) é menor que o desejado (10% de 7,04 = 0, 704 )
44
Exercícios
Realize os exercício 1 e 2 da lista
45
Resposta Exercício 1
46
Resposta Exercício 2
47
Análise de Sistemas Não Terminais
Os sistemas terminais não têm um estado inicial predefinido nem tampouco um evento caracterizando o encerramento do período de simulação. Dois problemas básicos devem ser contornados.
8 O primeiro deles trata do descarte das observações que pertencem ao período transiente.
8 O segundo problema diz respeito ao período de simulação. Para que se possa avaliar a variância da medida de interesse, considerando os descartes da fase transiente, as técnicas de avaliação exigem longas simulações. Quão longas?
48
Remoção da Fase Transiente
Longa simulação;Inicialização apropriada;Observação visual.
49
Observação visual
É o método mais simples e prático para a determinação do ponto de término do período transiente.
Inicia pela construção de um gráfico, o qual aponta o comportamento da variável de resposta ao longo do tempo, procura-se observar, de forma aproximada, em que momento as respostas passam a ter uma conduta mais estabilizada.
Em alguns sistemas a flutuação das respostas é bastante acentuada, mesmo quando em regime, dificultando àobservação.
Neste caso, traçar gráficos com médias móveis da variável éaconselhável.
50
Observação visual - Média Móvel
A média móvel é construída calculando-se a média aritmética das kmais recentes observações em cada ponto do conjunto de dados. O valor de k ( tamanho da média móvel) é selecionado pelo analista, e poderá variar de acordo com o comportamento da variável sob investigação. Na medida em que se aumenta o valor de k, suaviza-se o gráfico tornando mais clara a observação do ponto de truncagem. Para k=1, os gráficos da média móvel e dos dados brutos coincidem. Os gráficos 2.2, 2.3 e 2.4 apresentam médias móveis para k=1, k=10 e k=50, respectivamente.
51
Observação visual - Média Móvel
Gráfico 2.2: Média móvel com k=1
52
Observação visual - Média Móvel
Gráfico 2.3: Média móvel com k=10
53
Observação visual - Média Móvel
Gráfico 2.4: Média móvel com k=50
54
Tamanho do Período de Simulação
MétodosReplicações Independentes
Regeneração
Loteamento
55
Executar uma longa simulação
piloto
Determinar período transiente
Períodotransiente
curto?
Sim
Não
Adotar técnica de múltiplas
replicações independentes, eliminando o
período transiente de cada uma delas.
Adotar técnica do loteamento
Determinar correlação
Determinar tamanho do lote
mínimo
Executar longa simulação para
gerar lotes necessários à
criação da amostra piloto
Seguir com procedimento semelhante ao adotado para
sistemas terminais
Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais
56
Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais
Método das Replicações Independentes
57
Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais
Método do Loteamento
58
Exemplo Sistemas Não-TerminaisMétodo do Loteamento
Para à análise de um sistema não-terminal, vamos considerar o sistema hipotético representado na figura abaixo. O recurso do processo tem capacidade 2. Simule o modelo “Ex_Sist_Term.doe” inicialmente com uma rodada piloto com 20.000 min.
Processo
Reprocesso
Teste
Serviço Tempo (min.)Processo Normal (34, 9)Teste de Inspeção Uniforme (10, 18)Reprocessamento Triangular (25, 40, 45)Tempo entre Chegadas Exponencial (20)
59
Criando o arquivo de dados
O Módulo Statistics e a edição da estatística Tally
60
Gráfico do Tempo Médio de Passagem
61
Solicitação da média móvel
62
Média móvel de parâmetro K=10
63
Média móvel de parâmetro K=50
64
Método do LoteamentoComando Batch/Truncate Observations
Eliminação das estatísticas obtidas nos primeiros
5000 min. de simulação. Equivalente ao
“Warmup”
65
Método do LoteamentoComando Batch/Truncate Observations
66
Método do Loteamento Verificando a correlação entre as observações
para a determinação dos Lotes
Comando Correlogram
67
Método do LoteamentoCorrelograma
Correlação com Lags = 50 para o TMP.tru
68
Método do LoteamentoCorrelograma
Correlação com Lags = 200 para o TMP
69
Método do LoteamentoCalculo do Tempo de Simulação
Tamanho mínimo do Lote = 200 observaçõesTamanho do lote com segurança (10) 10 x 200 = 2000 obs.Uma obs. é obtida, em média, a cada 20 min. (TEC=Expo (20)min.)Tempo para simulação de um lote = 2000 obs x 20 min = 40.000 min
Tempo de Total de Simulação = Tempo de Descarte + Nº de Lotes x Tempo de Simulação para cada lote
Tempo da Simulação para a geração de 15 lotes (replicações):
Tempo de Simulação = 5.000 min. + 15 x 40.000 min. = 605.000 min.
70
Método do LoteamentoDeterminação do novo Tempo de Simulação
71
Método do LoteamentoMontagem do arquivo de lotes
72
Método do LoteamentoMontagem do arquivo de lotes
Informações sobre a formação do arquivo de lotes
73
Método do LoteamentoIntervalo de confiança da variável TMP
Intervalo de confiança da variável TMPMeta: h < 10% da média atingida
74
Exercício
Mesmo exemplo usando o método das Replicações Independentes.Considere inicialmente replicações com 40.000 min. cada uma e um período de “warmup” de 5000 min. em cada replicação.
75
Mesmo Exemplo Usando oMétodo das Replicações Independentes
Definindo os parâmetros de Replicação com o valor do Warm-up
76
Intervalo de Confiança Usando Múltiplas Replicações Independentes