RENATA CARVALHO Projeto de Experimentos. Experimento Experimento: Uma forma de validar um modelo ou...

RENATA CARVALHO

Projeto de Experimentos

Experimento

Experimento: Uma forma de validar um modelo ou hipótese; Deve ser replicável, ou seja, ter a capacidade de ser

reproduzido por qualquer outro agente externo;Por que os experimentos precisam ser

replicados? Com apenas uma observação, não se pode ter certeza

da veracidade científica dos resultados obtidos.

Ciclo de um Experimento

Indução Mostra que algo é

operacional;Abdução

Sugere que algo pode ser;

Dedução Prova que algo é.

Tipos de Projeto de Experimentos

Projeto simples Variação de um fator por vez;

Projeto fatorial completo Todas as combinações possíveis de todos os fatores,

em todos os níveis; Achar o efeito de cada fator e suas combinações;

Projeto fatorial fracionado Utilizado quando o número de experimentos a ser

realizado no fatorial completo é muito grande; Obtém-se menos resultados do que o fatorial

completo.

Experimento Fatorial Completo (

Fatorial Completo ()

É utilizado para determinar o efeito de k fatores;

Cada fator deve possuir dois níveis (alternativas);

experimentos são requeridos; efeitos são produzidos:

k efeitos principais; efeitos de interações entre 2 fatores; efeitos de interações entre 3 fatores.


Exemplo: Para projetar uma máquina, devemos avaliar o

tamanho da cache, o tamanho da memória e se 1 ou 2 processadores devem ser utilizados.

Fator Nível -1 Nível 1

Tamanho da memória (A) 4 Mbytes 16 Mbytes

Tamanho da cache (B) 1 kbyte 2 kbytes

Número de processadores (C) 1 2

4 Mbytes 16 Mbytes

Cache 1 proc. 2 proc. 1 proc. 2 proc.

1 kbyte 14 46 22 58

2 kbytes 10 50 34 86


O desempenho pode ser expressado por:

Pelo problema:

A equação de regressão é:

CBAABCCBBCCAACBAABCCBBAA xxxqxxqxxqxxqxqxqxqqy 0

ABCBCACABCBA

ABCBCACABCBA

ABCBCACABCBA

qqqqqqqq

qqqqqqqq

qqqqqqqq

0

0

0

10

22

14

ABCBCACABCBA xxxxxxxy 13252051040


I A B C AB AC BC ABC y

1 -1 -1 -1 1 1 1 -1 14

1 1 -1 -1 -1 -1 1 1 22

1 -1 1 -1 -1 1 -1 1 10

1 1 1 -1 1 -1 -1 -1 34

1 -1 -1 1 1 -1 -1 1 46

1 1 -1 1 -1 1 -1 -1 58

1 -1 1 1 -1 -1 1 -1 50

1 1 1 1 1 1 1 1 86

320 80 40 160 40 16 24 9 Total

40 10 5 20 5 2 3 1 Total/8


SST (Sum of Squares Total)

Efeitos: A = 18% (800/4512) B = 4% (200/4512) C = 71% (3200/4512) AB = 4% (200/4512) AC = 1% (32/4512) BC = 2% (72/4512) ABC = 0% (8/4512)

4512872322003200200800

1325205108

22222222

22222223

SST

SST

qqqqqqqSST ABCBCACABCBA

Experimento Fatorial Completo com Replicações

(

Fatorial Completo com Replicações ()

Com a repetição dos experimentos, é possível estimar erros;

Cada experimento será repetido r vezes;A equação de regressão, nesse caso, é:

exxqxqxqqy BAABBBAA 0


O mesmo exemplo anterior considerando apenas o tamanho da cache e o tamanho da memória.

I A B AB y y

1 -1 -1 1 (15, 18, 12)

15

1 1 -1 -1 (45, 48, 51)

48

1 -1 1 -1 (25, 28, 19)

24

1 1 1 1 (75, 75, 81)

77

164 86 38 20 Total

41 21,5 9,5 5 Total/4


Efeito

yMedidas Erros

I A B AB

41 21,5 9,5 5 y1 y2 y3 e1 e2 e3

1 -1 -1 1 15 15 18 12 0 3 -3

1 1 -1 -1 48 45 48 51 -3 0 3

1 -1 1 -1 24 25 28 19 1 4 -5

1 1 1 1 77 75 75 81 -2 -2 4

102

4)2()2()5(4130)3()3(30 222222222222

SSE

SSE


Efeitos A = 78,88% (5547/7032) B = 15,4% (1083/7032) AB = 4,27% (300/7032) 1,45% restantes atribuídos a erros.

703210230010835547

10255,95,2112

32222

2222

SST

SST

SSEqqqSST ABBA

Experimento Fatorial Fracionado (

Fatorial Fracionado ()

Se o número de fatores é grande, o custo para realização dos experimentos pode ser muito grande;

Possibilita analisar fatores com apenas experimentos; requer metade dos experimentos; requer um quarto dos experimentos;

Nem todos os efeitos serão calculados.


Exemplo Exp. A B C D E F G

1 -1 -1 -1 1 1 1 -1

2 1 -1 -1 -1 -1 1 1

3 -1 1 -1 -1 1 -1 1

4 1 1 -1 1 -1 -1 -1

5 -1 -1 1 1 -1 -1 1

6 1 -1 1 -1 1 -1 -1

7 -1 1 1 -1 -1 1 -1

8 1 1 1 1 1 1 1


Os valores das colunas devem ser escolhidos cuidadosamente;

Devem ser mutuamente ortogonais: A soma de cada coluna é zero; A soma dos produtos de quaisquer duas colunas é

zero; A soma dos quadrados de cada coluna é


Construindo a tabela de sinais: Para um exemplo construímos uma tabela igual a de

Exp. A B C AB AC BC ABC

1 -1 -1 -1 1 1 1 -1

2 1 -1 -1 -1 -1 1 1

3 -1 1 -1 -1 1 -1 1

4 1 1 -1 1 -1 -1 -1

5 -1 -1 1 1 -1 -1 1

6 1 -1 1 -1 1 -1 -1

7 -1 1 1 -1 -1 1 -1

8 1 1 1 1 1 1 1



Exp. A B C D E F G

1 -1 -1 -1 1 1 1 -1

2 1 -1 -1 -1 -1 1 1

3 -1 1 -1 -1 1 -1 1

4 1 1 -1 1 -1 -1 -1

5 -1 -1 1 1 -1 -1 1

6 1 -1 1 -1 1 -1 -1

7 -1 1 1 -1 -1 1 -1

8 1 1 1 1 1 1 1



Exp. A B C AB AC BC ABC

1 -1 -1 -1 1 1 1 -1

2 1 -1 -1 -1 -1 1 1

3 -1 1 -1 -1 1 -1 1

4 1 1 -1 1 -1 -1 -1

5 -1 -1 1 1 -1 -1 1

6 1 -1 1 -1 1 -1 -1

7 -1 1 1 -1 -1 1 -1

8 1 1 1 1 1 1 1



Exp. A B C AB AC BC D

1 -1 -1 -1 1 1 1 -1

2 1 -1 -1 -1 -1 1 1

3 -1 1 -1 -1 1 -1 1

4 1 1 -1 1 -1 -1 -1

5 -1 -1 1 1 -1 -1 1

6 1 -1 1 -1 1 -1 -1

7 -1 1 1 -1 -1 1 -1

8 1 1 1 1 1 1 1


Confusão Sem um experimento fatorial completo não é possível

separar a estimativa dos efeitos de D e ABC; Não é um problema se soubermos que o efeito de D é

maior que o de ABC;Podemos expressar uma confusão como:

D = ABCPara expressar um problema , expressamos

em função de I: I = ABCD


Lista de confusões: A = BCD; B = ACD; C = ABD; AB = CD; AC = BD; BC

= AD; ABC = D; I = ABCD.Outro exemplo da lista de confusões do

problema : I = ABD; A = BD; B = AD; C = ABCD; D = AB; AC =

BCD; BC = ACD; ABC = CD;Qual dos dois exemplos é melhor?

Experimento Simples (

Experimento Simples (1 fator)

É usado para comparar várias alternativas de uma única variável (fator);

Não há limite para o número de níveis (alternativas) que o fator pode assumir; Com exceção de 2; O número de níveis deve ser maior do que 2.


Exemplo: Queremos analisar o tamanho (em kbytes) de um

mesmo código em 3 linguagens.

A análise de um fator, só é válida se os dados de uma linha não representarem outro fator.

R V Z

144 101 130

120 144 180

176 211 141

288 288 374

144 72 302


R V Z

144 101 130

120 144 180

176 211 141

288 288 374

144 72 302

872 816 1127 Soma (2815)

174,4 163,2 225,4 Média (187,7)

-13,3 -24,5 37,7 Efeito


SSE (Sum of Square Errors) SSE = 94.365,2

SSA (ou) SSA = = 10.992,1

SST (Sum of Square Total) SST = SSA + SSE SST = 10.992,1 + 94.365,2 SST = 105.357,3


Em termos de porcentagem, os efeitos tem os valores: A = 10,4% (10.992,1 / 105.357,3) 89,6% restantes atribuídos a erros.

Nesse caso, pode ser atribuída a diferença entre programadores.

Experimento Fatorial Completo (


Qualquer número de fatores (k);Qualquer número de níveis (n);

Com exceção de 2.


Exemplo: Avaliar 4 fatores, cada um com 3 níveis ().

Símbolo Fator Nível 1 Nível 2 Nível 3

A Algoritmo LRUV FIFO RAND

O Organização

Grupo Freq y Alfa

P Problema Pequeno Médio Grande

M Memória 24 p 20 p 16 p


Grupo Freq y Alfa

Alg. Prog. 24 p 20 p 16 p 24 p 20 p 16 p 24 p 20 p 16 p

LRUV

Pequeno 1,51 1,68 2,73 1,72 2,39 3 1,77 2,73 3,13

Médio 1,72 1,91 3,28 2,05 2,89 3,56 2,08 3,27 3,67

Grande 2,15 2,29 3,76 2,42 3,42 4 2,99 3,76 4,11

FIFO

Pequeno 1,69 1,83 2,9 1,9 2,59 3,14 1,93 2,91 3,23

Médio 2 2,13 3,5 2,21 3,1 3,69 2,31 3,53 3,77

Grande 2,37 2,54 3,96 2,66 3,57 4,13 3,21 4 4,23

RAND

Pequeno 1,79 2 3,04 2,05 2,68 3,25 2,05 2,92 3,34

Médio 1,98 2,39 3,58 2,37 3,18 3,78 2,46 3,49 3,88

Grande 2,42 2,3 4,09 2,71 3,69 4,27 3,24 3,95 4,36


Para calcular o efeito de cada fator em determinado nível, utiliza-se a média dos valores relacionados ao efeito e a média global de todos os valores.

O efeito do algoritmo no nível LRUV é: Efeito = 2,74 – 2,90 = -0,16

Fator Nível 1 Nível 2 Nível 3

A -0,16 0,02 0,14

O -0,36 0,07 0,29

P -0,47 -0,02 0,49

M -0,69 -0,01 0,70

Exercício

Desejamos analisar o desempenho de carros em km andados com 1 litro de combustível (álcool ou gasolina).

Resultados Obtidos (6 processadores, sequencial)

I MK WT CCMK.W

TMK.C

C WT.CCMK.WT.CC Mean

MK 1 1 -1 -1 -1 -1 1 1 0,1057WT 1 -1 1 -1 -1 1 -1 1 0,0661CC 1 -1 -1 1 1 -1 -1 1 0,2505MK.WT 1 1 1 -1 1 -1 -1 -1 0,0693MK.CC 1 1 -1 1 -1 1 -1 -1 0,2733WT.CC 1 -1 1 1 -1 -1 1 -1 0,2381MK.WT.CC 1 1 1 1 1 1 1 1 0,2561

0,1798

Total 1,2591 0,1497 0,0001 0,7769-

0,1073-

0,0681-

0,0593 0,0977

Total/8 0,1574 0,0187 0,0000 0,0971-

0,0134-

0,0085-

0,0074 0,0122


Relevância dos parâmetros: MK = 3,42% WT = 0,00% CC = 92,12% MK.WT = 1,76% MK.CC = 0,71% WT.CC = 0,54% MK.WT.CC = 1,46%


I MK WT CCMK.W

TMK.C


MK 1 1 -1 -1 -1 -1 1 1 0,0632

WT 1 -1 1 -1 -1 1 -1 1-

0,0301CC 1 -1 -1 1 1 -1 -1 1 0,1931MK.WT 1 1 1 -1 1 -1 -1 -1 0,0587MK.CC 1 1 -1 1 -1 1 -1 -1 0,2056WT.CC 1 -1 1 1 -1 -1 1 -1 0,1845MK.WT.CC 1 1 1 1 1 1 1 1 0,2283

0,1290

Total 0,9033 0,2083 -0,0205 0,7197 0,0569-

0,0957 0,0487 0,0057

Total/8 0,1129 0,0260 -0,0026 0,0900 0,0071-

0,0120 0,0061 0,0007

Resultados Obtidos (6 processadores, LS)

I MK WT CCMK.W

TMK.C



0,2709

Total 1,8964 0,2440 0,1112 0,8018-

0,2064-

0,1714-

0,1638 0,1978

Total/8 0,2371 0,0305 0,0139 0,1002-

0,0258-

0,0214-

0,0205 0,0247


I MK WT CCMK.W

TMK.C



0,2662

Total 1,8636 0,3330 0,1402 0,7640-

0,1096-

0,2382-

0,1162 0,1624

Total/8 0,2330 0,0416 0,0175 0,0955-

0,0137-

0,0298-

0,0145 0,0203

RENATA CARVALHO

Projeto de Experimentos

RENATA CARVALHO Projeto de Experimentos. Experimento Experimento: Uma forma de validar um modelo ou...

Documents

Transcript of RENATA CARVALHO Projeto de Experimentos. Experimento Experimento: Uma forma de validar um modelo ou...