Avaliação de desempenho

PÓS EM GESTÃO DA TI - AVALIAÇÃO DE DESEMPENHO – C.E.F . – 2005 – Rafael Sommerfeld

AVALIAÇÃO DE

DESEMPENHO


APRESENTAÇÃO

Rafael Sommerfeld� Consultor : 25 anos em Tecnologia da Informação� Formação em Gestão de Ambientes Internet� MBA de Marketing pela FGV� Experiência : Ambev, Animus, Dominal, Dedalus,

Metrored, Ibam, Skol, ...� Treinamentos : Bndes, Embratel, FGV, Unesa, etc.

� Publicação de livros e artigos especializados

[email protected]


E VOCES ??

APRESENTEM-SE� Nome� Área / Função� Expectativas com o curso� Hobby


BIBLIOGRAFIA

PLANEJAMENTO DE CAPACIDADE PARA SERVIÇOS NA WEBMétricas, Modelos e Métodos

Daniel A.MenascéVirgilio A.F. Almeida

Editora Campus, 2003


NOSSOOBJETIVO


AVALIAÇÃO DE DESEMPENHO

Plano de Aula- SLA

- Protocolos e modelos de interação para serviços na Web- Quando o desempenho da Web é um problema

- Conceitos Básicos de Desempenho

- Aspectos do desempenho de serviços na Web- Planejando a Capacidade dos Serviços na Web

- Modelo de Carga

- Modelo de Desempenho - Modelo de Custo

- Benchmarks e testes de desempenho

- Disponibilidade dos serviços na Web- Medição do Desempenho

- Conclusão


SLASERVICE LEVEL

AGREEMENT


O QUE É� Este “Acordo do nível de serviço ” é um contrato

entre duas partes que especifica performance e qualidade de um serviço.

� Determina o que acontece quando as métricas não são atendidas.

� É o instrumento formal para cobrança/prestação de contas dos níveis de serviços contratados.

� SLA não é somente externo. Várias empresas atualmente utilizam SLA interno.

SLASERVICE LEVEL AGREEMENT


Quem Precisa� Análise de Risco

� Avaliação de custo de indisponibilidade em relação ao negócio

� Definir claramente os limites suportados com relação aos serviços necessários

� Deve ser definido na fase do projeto� Considerar processos e responsabilidade da

própria empresa� Melhor SLA = Maior custo� Maior SLA = Maior comprometimento das partes



Definindo o tipo de serviço� Web Site� E-mail / workflow� Banco de Dados� ERP� Rede� Infra-Estrutura� Backup-Restore� Comunicação� Administração� Operação� Suporte



Detalhando o Serviço� Arquitetura de Software e Hardware para suportar

o serviço :� Redundância� Replicação / Duplicação� Homologação

� Arquitetura de redes Lan e Wan� Índices de desempenho



Definindo o Escopo� Identificar dependências externas

� Aplicação� Acessos a sistemas externos� Comunicação

� SLA de terceiros� Fatores não controláveis

� Taxa de transferência / latência via internet� Erro na aplicação� Outros ...

� Definindo acordo operacional (responsabilidades, quem faz o que quando)



Definindo o acesso ao serviço� Via Internet

� Sem garantia de desempenho� Insegura� SLA de terceiros

� Via linha privada� Com garantia de desempenho� “segura”

� Via VPN / Internet� Sem garantia de desempenho� “segura”



Definindo as Métricas� O que medir ?

� Definir acessos/transações de referência� Definir métricas

� Tempo de resposta (segundos)� Disponibilidade (percentual)� Taxa de backup/recovery (GB/s)� Tempo de atendimento (minutos)� Taxa de transferência (Kbps)

� Como Medir ?� Através de acesso externo� Logs de aplicações� Ferramentas de gerenciamento



Definindo os níveis de Serviço� Baseados nas métricas estabelecidas� Separação por serviço/sub-serviço� Indicar máximo total e por ocorrência

� Exemplo : Disponibilidade� Número máximo de paradas x tempo por parada

� Max. De indisponibilidade no período de referência



Condições Gerais� Penalidades em caso de não cumprimento

� Definir faixas de desconto/penalidade por quebra de SLA� Definir condições especiais. Ex.: Lucros cessantes

� Prazo de referência e medição (mês, ano, etc.)� Disponibilidades diferentes para prazos diferentes

� 4 horas/mês = 99,44%

� 4 horas/ano = 99,95%

� Definir condições para serviços/níveis adicionais� Período de correção/observação após mudança

(reenquadramento)



Contrapartida do Cliente� Seguir procedimentos� Respeitar prazos� Respeitar limites dos processos� Contribuir para a segurança� Programar e informar alterações de sistemas� Contribuir para a estabilidade do ambiente



SLM – Service Level Management� É todo o processo de gerenciamento do acordo

definido no SLA.� É a definição de procedimentos, ações e

procedimentos para garantia da execução do SLA



PROTOCOLOS E MODELOS DE INTERAÇÃO PARA

SERVIÇOS NA WEB


PROTOCOLOS E MODELOS DE INTERAÇÃO PARA SERVIÇOS NA WEB

Redes� A evolução dos ambientes em TI� O paradigma Cliente-Servidor � LAN (local) e WAN (wide)� Arpanet, originada em 1970� A origem da Internet (1983) divisão da Arpanet e

Milnet (militar).

!


Protocolos� A comunicação entre 2 computadores ou 2

processos por uma rede de computadores écontrolada por um conjunto de regras, chamado PROTOCOLO.

� Suas principais funções são : endereçamento, roteamento, detecção e recuperação de erro, controle de sequência e controle do fluxo.



Protocolos

HTTP FTP SMTP TELNETNFSRPC

DNS SNMP

TCP UDP

IP

Camada detransporte

Camada deRede

Camada deSessão



Protocolo cliente servidor

Processo Cliente

TCP

IPCamada de

Link de dados

TCP

IPCamada de

Link de dados

Processo ServidorRequisição

Resposta

- Estações- Faz requisições- Executa parte da

aplicação

- Servidor (++)- Executa funcionalidades- Não iniciam uma transação,

aguardando requisições



Servidores e Processos

1

2

N

threads do servidor

1

2

N

clientes

Fila de

Requisições

Servidor com Diversos Processos

1

2

N

clientes

Fila de

Requisições

Servidor

Servidor com Único Processo




Estudo de caso 1 - Bits, Bytes e Tempos...� 1 Byte = Código de 0 a 255, representado por 8 bits� 1 Kbyte = 1.024 bytes� 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte� Links de conexão, normalmente se medem em kbps

ou mbps (kilobits e megabits) por segundo� Para achar as taxas a partir de conversão de bytes,

deve-se sempre multiplicar por 8 (byte -> bit)� Quantos segundos consumirá a transferência de 50

figuras de 10 Kb em um link de 128kbps ?



Estudo de caso 1 - Bits, Bytes e Tempos...� 1 Byte = Código de 0 a 255, representado por 8 bits� 1 Kbyte = 1.024 bytes� 1 KByte x 1.024 = 1 MByte x 1.024 = 1 GByte� Links de conexão, normalmente se medem em kbps

ou mbps (kilobits e megabits) por segundo� Para achar as taxas a partir de conversão de bytes,

deve-se sempre multiplicar por 8 (byte -> bit)� Quantos segundos consumirá a transferência de 50

figuras de 10 Kb em um link de 128kbps ?

= 31,25 segundos (50 x 10 x 8) / 128!


QUANDO O DESEMPENHO DA WEB É UM PROBLEMA


Cenário� A web é um organismo vivo, em constante expansão

� Principais fatores para crescimento dos serviços web :� Migração de serviços tradicionais para Internet� Criação de novos serviços virtuais� Benefícios de escala e custo� Acessibilidade

� Categorias :� Informativas� Interativas� Transacional� Fluxo de Trabalho

� Colaboração

� Comunidades on Line� Portais

QUANDO O DESEMPENHODA WEB É UM PROBLEMA



Estudo de Caso 2 – Revenda de Carro� Planejamento de aumento progressivo de carga 10, 20 e 30%� Consulta é a transação crítica� 4 a 6 segundos perda de 60% transações� Mais de 6 segundos perda de 95% transações� Comissão por transação = R$ 360

Planejamento de Capacidade AtualAtual +

10%Atual +

20%Atual +

30%Consultas por dia 92.448 101.693 110.938 120.182 Tempo de Resposta (s) 2,9 3,8 5,7 11,3Perda nas vendas (%) 0 0Vendas por dia (afetada) 4.622 5.084 Receita diária não afetada (em R$ 1.000) 1.664 1.830 Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 Receita diária perdida (em R$ 1.000) - -


Estudo de Caso 2 – Revenda de Carro� O web site suportará o aumento de carga e preservará o

tempo de resposta abaixo dos quatro segundos ?�

� Se não suportar, em que ponto sua capacidade estarásaturada e por que ?

�

� Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ?

�




Estudo de Caso 2 – Revenda de Carro� Planejamento de aumento progressivo de carga 10, 20 e 30%� Consulta é a transação crítica� 4 a 6 segundos perda de 60% transações� Mais de 6 segundos perda de 95% transações� Comissão por transação = R$ 360

Planejamento de Capacidade AtualAtual +

10%Atual +

20%Atual +

30%Consultas por dia 92.448 101.693 110.938 120.182 Tempo de Resposta (s) 2,9 3,8 5,7 11,3Perda nas vendas (%) 0 0 60 95Vendas por dia (afetada) 4.622 5.084 2.219 300 Receita diária não afetada (em R$ 1.000) 1.664 1.830 1.997 2.163 Receitas diárias afetadas (em R$ 1.000) 1.664 1.830 799 108 Receita diária perdida (em R$ 1.000) - - 1.198 2.055 !


Estudo de Caso 2 – Revenda de Carro� O web site suportará o aumento de carga e preservará o

tempo de resposta abaixo dos quatro segundos ?� Não

� Se não suportar, em que ponto sua capacidade estarásaturada e por que ?

� Com 20% de aumento da carga. Pois a consulta ultrapassa 4 segundos e provoca desistência dos clientes.

� Quantos reais podem ser perdidos diariamente se o web site saturar quando a carga aumentar ?

� Após 30% de crescimento haverá perdas de mais de R$ 2 milhões


!


Estudo de Caso 3 – Locadora de Veículos� Migração de Mainframe para ambiente cliente

servidor� 500.000 veículos disponíveis� 3.500 lojas espalhadas pelo território nacional� 360.000 reservas/dia� 60% das reservas ocorrem em um período de

pico de 12 horas (216.000 reservas)� Reservas por hora no pico = 18.000� Reservas por segundo no pico = 5



Estudo de Caso 3 – Locadora de Veículos� Motivos para a migração :

� Redução de custos de manutenção do mainframe

� Criar uma aplicação mais fácil para o usuário� Inserção de interface gráfica para aumento da

produtividade� Melhorar a satisfação do cliente.

� Expectativas� Os projetistas do novo ambiente precisam

garantir no mínimo o mesmo desempenho da plataforma anterior...



Estudo de Caso 3 – Locadora de Veículos� Que perguntas responder ?

� Que tipo de servidores devem ser usados nas lojas ? Número e tipo de processador, número e tipo de disco, sistema operacional, etc.

� Deve ser utilizado um software de monitoramento de transações ?

� Que tipo de servidores e sistemas de armazenamento serão usados na central de reservas ? Tipo e numero de processadores, quantidade de memória, número e tipo de discos, banco de dados, sistema operacional.

� Quais tecnologias de rede contemplarão o projeto ? Quais os tamanhos necessários ?

� Cuidados com as “simpatias” pessoais...



Lojas de entrega de carros

LojaEstaçõesde trabalhodos atendentes

Servidor


Servidor

Central de Reservade CarrosEstações

de trabalhodos agentesde reserva

Servidor de BD

REDE REMOTA

(WAN)

Estudo de Caso 3 – Locadora de VeículosAmbiente desejado



Estudo de Caso 3 – Locadora de Veículos� A Central de Reservas lida com 2 tipos de transações :

Reservas e Pedidos de Assistência � Tempo médio não deve exceder a 2 e 3 segundos� Nas lojas, as 2 transações não devem exceder 3 segundos� Com base na distribuição abaixo, identifique os

componentes na estrutura :

Componente do tempo de respostaPorcentagem do total (%)

Estação de trabalho do cliente nas lojas de aluguel de carro 5LAN nas lojas de aluguel de carros 5Servidor de aplicação na loja de aluguel de carros 25Rede Remota 10LAN na central de reservas 4Servidor de banco de dados na central de reservas 51

Desmembramento do tempo de resposta para transações de reserva enviadas pelas lojas



Lojas de entrega de carros


Servidor


Servidor

Central de Reservade CarrosEstações

de trabalhodos agentesde reserva

Servidor de BD

REDE REMOTA

(WAN)

Estudo de Caso 3 – Locadora de VeículosDistribuição do tempo de resposta por recurso na transação

5%5%

25%

10%4%

51%

GARGALOé o componente

onde a transação gasta a maior parte

do seu tempo.


!


GARGALO

É o componente onde a transação gasta a maior parte do seu tempo.

As melhorias no tempo de resposta são limitadas pelo tempo gasto no gargalo.



Estudo de Caso 3 – Locadora de Veículos� O aumento no tempo de resposta não é linear com o

aumento de carga� Quando qualquer dos níveis de serviço for violado diz-se

que a capacidade do sistema atingiu o ponto de Saturação .� Ao identificar que haverá saturação, deve-se justificar em

que componente ela ocorre e que ação deve ser tomada

TransaçãoCarga atual

Carga atual + 5%

Carga atual + 10%

Carga atual + 15%

Reserva na loja 1,28 1,67 2,45 5,06Assistência na estrada 0,64 0,87 1,37 3,20Entrega de carro 0,64 0,76 0,94 1,23Reserva por telefone 0,85 1,16 1,82 4,24

Carga = taxa média de chegada da transação em tps (transações p/segundo)

Tempos de resposta(s) para diversos valores de carga



Tempo de resposta Versus Carga

0,00

1,00

2,00

3,00

4,00

5,00

6,00

Carga atual Carga atual + 5% Carga atual + 10% Carga atual + 15%

Carga (tps)

Tem

po d

e R

espo

sta

(s)

Reserva na loja Assistência na estrada Entrega de carro Reserva por telefone



Conceito de Planejamento de Capacidade

� Processo de prever quando os níveis futuros de carga saturarão o sistema e determinar o modo mais econômico de adiar a saturação do sistema ao máximo possível

� A previsão precisa considerar a evolução da carga de trabalho , devido às aplicações existentes e novas, e os níveis de serviços desejados



O que pode ocasionar a falta do Planejamento de Capacidade� Indisponibilidade do serviço� Desempenho abaixo do necessário para operar� Perdas financeiras (Ex. Us$ 6,5 milhões por hora

nas transações em cartões de crédito)� Insatisfação dos clientes� Atinge a imagem da empresa� Demora para recuperação. Os procedimentos de

expansão nem sempre são rápidos.



Estudo de Caso 4 – Intranet de uma empresa� 60.000 funcionários, interligados pela intranet, que permite

treinamento, rh, despesas de viagem, help desk (atendimento de dúvidas) e notícias.

� Help Desk é a principal aplicação� 10% dos funcionários enviam uma requisição ao Help Desk, em

média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de 14:00 as 16:00 hs.

� A empresa deseja mudar o SO dos desktops e isso deve d obrar o tempo de resposta.

� (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico� Qual número de requisições/segundo atual no pico ?

�

� Quais possíveis alternativas de upgrade do ambiente ?�



Estudo de Caso 4 – Intranet de uma empresa� 60.000 funcionários, interligados pela intranet, que permite

treinamento, rh, despesas de viagem, help desk (atendimento de dúvidas) e notícias.

� Help Desk é a principal aplicação� 10% dos funcionários enviam uma requisição ao Help Desk, em

média, todos os dias. 70% das requisições entre 10 e 12:00 hs e de 14:00 as 16:00 hs.

� A empresa deseja mudar o SO dos desktops e isso deve d obrar o tempo de resposta.

� (60.000 x 10% x 70%) = 4.200 requisições durante 4 horas de pico� Qual número de requisições/segundo atual no pico ?

� (4.200 / 4 / 3.600) = 0,29 requisições/segundo

� Quais possíveis alternativas de upgrade do ambiente ?� Troca de CPU, Inclusão de mais CPU´s, colocação de mais discos,

divisão de carga de trabalho, entre outras.


!


CONCEITOS BÁSICOSDE DESEMPENHO


Introdução� A Infraestrutura que suporta a Internet se compõe

de diferentes tipos de hardware : servidores, estações, dispositivos de armazenamento, Lans, Wans, balanceadores de carga e roteadores.

� Os vários tipos de processos de software compartilham esses recursos, gerando filas .

� Uma requisição na web gasta parte de seu tempo recebendo serviços dos recursos e outra parte nestas filas.



Filas e Disputa� A representação a seguir mostra um recurso

enfileirando pedidos. O circulo representa um recurso (disco, rede, roteador, processador, etc)


Fila deEspera

Recurso

Ao lado, um exemplo de fila para recursos múltiplos.

Fila deEspera

N recursos


Desmembramento do tempo de resposta


CPU Discos LANs CPU Discos LANs

Tempo de Serviço Tempo de Fila

Tempo do Web Site

Tempo deTransmissãoLatência

Tempo de Rede

Tempo de Resposta


A idéia geral do tempo de resposta� Tempo de resposta é todo o tempo da transação

web. Se compõe de tempo de rede e tempo no web site .

� Tempo de transmissão é o total do tempo de transferência dos bytes trocados entre o navegador e o web site.

� O tempo gasto por um pedido aguardando para ter acesso a um recurso é tempo de espera .

� Tempo de serviço é o período de tempo durante o qual um pedido está recebendo serviço de um recurso.

� Um mesmo pedido pode visitar um recurso várias vezes (ex. I/O de disco, acesso a CPU).



Comparando tempos de Serviços por recurso� Discos – tempo relativamente alto comparado à

memória real. Sistemas de armazenamento replicáveis.

� Processadores – Grande desempenho, porém elevado nível de requisição.

� Redes – a composição das diferentes topologias e tecnologias utilizadas irão determinar a flutuação do desempenho (vide quadro seguinte).



Diferentes Tempos de redes envolvidos


Servidor Web

Lan 3 :Token Ring16 Mbps

Lan 2 :FDDI100 Mbps

Roteador 1 Roteador 2

Cliente

Lan 2 :Ethernet10 Mbps


Medidas de desempenho nos sistemas Web� Tempo de Resposta – medida de desempenho de

interesse para o usuário.� Taxa de Processamento – mais interessante aos

administradores de sistemas, reflete o número de transações realizadas por unidade de tempo (em servidores web, normalmente é HTTPos/s).

� Disponibilidade – reflete a fração de tempo que um site está em operação (manutenções programadas, paradas por falha,etc.).

� Custo – reflete custos envolvidos por unidade de processamento (ex. TPC-C).



ASPECTOS DO DESEMPENHO DE

SERVIÇOS NA WEB


Fatores de impacto no desempenho� Imprevisibilidade no crescimento de determinados

recursos.� Variação do tamanho (e carga) dos objetos

utilizados em diferentes páginas/sites.� Existência de grande número de robôs de coleta e

teste na rede.� Seis tópicos a examinar analisando desempenho :

conteúdo, software do servidor, hardware, aplicação, largura de banda da rede e infra-estrutura.

ASPECTOS DO DESEMPENHO DE SERVIÇOS NA WEB


Servidores Web� Os servidores são a peça principal no

cenário da Internet.� Servidor de web� Servidor de transação� Servidor proxy� Servidor de cache� Servidor de gateway sem fio� Servidores espelhados� Servidores de e-mail



Elementos de um servidor Web


Servidor HTTP (sessão)

TCP (transp) /

IP (rede)

Sistema Operacional

HARDWARE

Conteúdo :- HTML- Gráficos- Áudio- Vídeo- Outros

Conteúdo :

• HTML• Gráficos• Áudio• Vídeo• Outros


De Servidores a Serviços� Os usuários não enxergam servidores, e sim

serviços na Internet� Os serviços podem ser ativados através de

um requerimento de um browser, ou mesmo de uma aplicação específica

� Um serviço pode ser composto de diferentes tarefas executadas em diversos servidores

� O conjunto de servidores relacionados a um serviço estará diretamente relacionado ao desempenho daquele serviço.



Percepção do Desempenho (lembrando)

� Usuário : Tempo de resposta Rápido !

� Gerente : Alta capacidade de processamento e Disponibilidade



Mais Medições� Tempo de Resposta� Taxa de Processamento� Disponibilidade� Custo

� Erros por segundo� Visitantes por dia� Visitantes exclusivos� Hits



Qualidade de Serviço� Gargalos de tráfego� Performance de servidores� Largura de banda� Conexão entre redes� Performance do armazenamento ...


O usuário não enxerga nada disso

Ele apenas quer o serviço RÁPIDO E DISPONÍVEL 7 x 24


Onde a qualidade está ameaçada ?


Obtendo Endereço

Conectando

Processando

Transmitindo

Apanhar Endereço

Conectar

Processar

Transmissão/Latência

Pedido Web

Componentes do atraso da Web


Anatomia de uma transação Web


Tem

po de residência no servidor

ServidorRedeNavegador

ClienteUsuário Final

Clique

Retornodo cache

Exibição

Dados


Gargalos� À Medida que o número de clientes e

servidores aumenta, o desempenho total érestrito pelo desempenho de alguns componentes, entre o cliente e servidor.

� Os componentes que limitam o desempenho do sistema são chamados de Gargalos .

� Identificar logo o gargalo é uma etapa importante da análise de desempenho.



Estudo de Caso 5 – Treinamento On line� Uma indústria de produtos químicos dissemina

imagens de estruturas moleculares via intranet. � Cada classe tem 100 funcionários e 80% estão

ativos simultaneamente.� Realiza-se uma média de 100 transações por hora,

com uma média de 5 imagens por transação. Cada imagem tem tamanho médio de 25.600 bytes.

� Uma banda de 1 Mb atenderia ?



Estudo de Caso 5 – Treinamento On line� Uma indústria de produtos químicos dissemina

imagens de estruturas moleculares via intranet. � Cada classe tem 100 funcionários e 80% estão

ativos simultaneamente.� Realiza-se uma média de 100 transações por hora,

com uma média de 5 imagens por transação. Cada imagem tem tamanho médio de 25.600 bytes.

� Uma banda de 1 Mb atenderia ?


Não

(100 x 0,80) x 100/3600 x (5 x 25.600 x 8) = 2,28 M bps !


Infra-Estrutura da Web


Caching,Balanceamento de Carga,Gerenciamento de

largura de banda

Usuário final

Casa eTrabalho

Telefone, DSL,Cabo

Provedores de backbone,Redes de distribuição de

conteúdo,MAEs e NAPs,Proxy de Caching,Satélite

Última milha

ISPBACKBONE Servidores

WEB


Arquiteturas de Servidor� Servidor Web (http)

� Servidor de Aplicação � Servidor de Banco de Dados

� Servidor de Streaming� ...

� Servidores específicos (proprietários/appliances)



Arquitetura de Servidor Simples


Internet

ServidorWeb

Roteador Firewall


Arquitetura de Servidores em Múltiplas camadas


Internet

Balanceadorde Carga

REDE 1 REDE 2 REDE 3 REDE 4

ServidoresWeb

Servidoresde Aplicação

Servidoresde Banco de Dados

Ex. Mainframes

Zona Desmilitarizada

(DMZ)


Balanceamento de Carga� Permite escalabilidade progressiva

� Permitem crescimento horizontal� Normalmente menor custo de expansão

� Disponibilizam redundância� Diminuem percepção de falhas



Largura de Banda e Latência� Largura de Banda ou taxa de transferência :

é a taxa na qual os dados são transferidos através da rede (tamanho do cano !)

� Latência ou Retardo : tempo de transferência do dado (bit), do cliente até o servidor.

� Uma lan típica, dentro de um prédio tem latência de 1 ms.

� A latência aumenta com o maior número de pontos a trafegar na web e com a distância.

� Quanto mais perto o acesso, menor latência.



Estudo de Caso 6 – Web Site Publicações� Um web site de publicações eletrônicas está

dimensionando a capacidade do link� Com base nos logs de acesso, observou-se que a

média diária era de 1.000.000 de operações HTTP por dia .

� O tamanho médio de cada foi de 10.000 bytes.� Qual largura de banda é necessária ?


Se durante 2 horas , no horário de pico o volume dobrar ?


Estudo de Caso 6 – Web Site Publicações � Um web site de publicações eletrônicas está

dimensionando a capacidade do link� Com base nos logs de acesso, observou-se que a

média diária era de 1.000.000 de operações HTTP por dia .

� O tamanho médio de cada foi de 10.000 bytes.� Qual largura de banda é necessária ?


1.000.000 / (24x60x60) x (10.000x8) = 926 Kbps

Se durante 2 horas , no horário de pico o volume dobrar ?

926 x 2 = 1.852 Kbps (não se dilui o máximo ao longo do dia) !

segundos do dia tamanho em bits


PLANEJANDO A CAPACIDADE DOS SERVIÇOS NA WEB


Capacidade Adequada


Acordos de nível de serviço

(SLA)

Tecnologiase padrões

especificados

Restrições de custo

Clientes

Gerência Capacidadeadequada

por exemplo, tempo de resposta <8s

por exemplo, servidorNT, BD Oracle

por exemplo, custo inicial < $ 5,5 milhõescusto manutenção < $ 1,6 milhão/ano


Capacidade Adequada

� Dizemos que um sistema Web possui capacidade adequada se os SLAs forem continuamente atendidos para uma tecnologia e padrões especificados, e se os serviços forem fornecidos dentro das restrições de custos.



Uma metodologia de planejamento de capacidade


Modelo de custo

Conhecimento do ambiente

Calibragem do modelo de desempenho/disponibilidadePrevisão

deCusto Previsão de desempenho

& disponibilidade

Previsão da carga de trabalho

Desenvolvimento do modelo de desempenho/disponibilidade

Caracterização da carga de trabalho

Validação & Calibragemdo modelo de carga de trabalho

Análise de custo/Desempenho & Disponibilidade

Modelo de cargade trabalho

Modelo de Desempenho edisponibilidade

Desenvolvimentode um

modelo de custo

Plano de Configuração Plano de PessoalPlano de Investimento


Conhecimento do Ambiente� Descobrir que tipo de Hardware (cliente e

servidores), Software (sistemas operacionais, aplicações e interfaces), conectividade de rede e protocolos de rede estão presentes no ambiente.

� Identificar períodos de pico de uso, estruturas de gerenciamento e SLA´s.

� Se realizará através de reuniões com usuários, auditorias, questionários, help-desk, documentos de planejamento, entrevistas e demais técnicas de levantamento.



Elementos do Conhecimento do Ambiente


Elemento DescriçãoPlataforma do Cliente Quantidade e tipoPlataforma do Servidor Quantidade, tipo, configuração e funçãoMiddleware Tipo (por exemplo, monitores de TP)SGBD TiposServiços/Aplicações Principais serviços na Web e aplicações aceitosConectividade de rede Diagrama de conectividade da rede, mostrando todas as LAN´s,

WAN´s, tecnologias de rede, roteadores, servidores, balanceadores de carga, firewalls e número de clientes por segmento de LAN

Protocolos de rede Lista de protocolos utilizadosPadrões de uso Períodos de pico (por exemplo, hora do dia, dia da semana, semana

do mês, mês do ano)Acordos de nível de serviço SLA´s existentes para serviços na Web (quando não existirem SLA´s

formais, os padrões do setor podem ser usados)Gerência e suporte da LAN Estrutura de suporte da gerência da LAN, tamanho, habilidade e

atendimento aos usuáriosProcedimentos de aquisição Elementos do processo de aquisição, mecanismos de justificativa

para aquisições, limites de gastos, mecanismos de autorização e duração do ciclo de aquisição.


Carga de Trabalho� Descrever com precisão a carga de trabalho global do

sistema, em termos de seus componentes principais .� Os componentes principais se decompõe em componentes

básicos , que se caracterizam pela intensidade da carga(IC) ou demanda de serviço (DS).


Carga de Trabalho Global

Componente 1 da carga de trabalho(por exemplo, transações C/S)

Componente N da carga de trabalho(por exemplo, acesso à Web)

Componentebásico 1.1

(por exemplo, Transaçõesde pessoal)

Componentebásico 1.m

(por exemplo, Transaçõesde vendas)

Componentebásico n.1

(por exemplo, Treinamentocorporativo)

Componentebásico n.k

(por exemplo, Uso de motores

de busca)


Exemplos de componentes de carga de trabalho


Componente básico e parâmetrosTipo de

parâmetroTransação de VendasNúmero de transações enviadas por cliente ICNúmero de clientes ICNúmero total de I/Os ao BD de vendas DSUtilização de CPU no servidor de BD DSTamanho médio da mensagem enviada/recebida pelo servidor de BD DSTreinamento Baseado na WebNúmero médio de sessões de treinamento/dia ICTamanho médio do arquivo de vídeo por sessão DSTamanho médio dos documentos HTTP obtidos DSTamanho médio dos arquivos de imagem obtidos/sessão DSNúmero médio de documentos obtidos/sessão DSUtilização média de CPU do servidor Web DSProcessamento de CorreioNúmero de mensagens recebidas por dia por cliente ICNúmero de mensagens enviadas por dia por cliente ICNúmero de clientes ICTamanho médio da mensagem DSUtilização de CPU pelo Mail Server DS

IC = Intensidade

de carga

DS = Demandade serviço


Validando modelos de carga de trabalho� Ao construir um modelo são feitas abstrações.

Deve-se realizar uma execução de carga de trabalho sintética, que permita identificar se o modelo está com distorção aceitável.

� Caso a margem não esteja de 10 a 30% deve-se submeter o modelo a um ajuste (ou calibragem) visando a validação do modelo.



Modelos de Desempenho� A previsão do desempenho é o processo de estimar as

medições de desempenho de um sistema de computador para determinado conjunto de parâmetros :

� Parâmetros do sistema : Características que impactam no desempenho (balanceamento de carga, protocolos, numero de conexões simultaneas, capacidades do BD)

� Parâmetros do recurso : Caracteristicas próprias do recurso, que afetam o desempenho (tempo de disco, latência de rede, performance de CPU)

� Parâmetros da carga de trabalho� IC (Intensidade da Carga) – carga imposta em unidades de

trabalho que disputam recursos do sistema� DS (Demanda de serviço) – tempo de serviço exigido por cada

componente em cada recurso.



Modelos de Desempenho� A previsão do desempenho exige o uso de modelos, que podem

ser : � Simulação : programas de computador que imitam o comportamento

de um sistema à medida que as transações fluem pelos diversos recursos simulados.

� Analítico : conjunto de fórmulas e/ou algoritmos de cálculo usados para gerar medições de desempenho a partir de parâmetros do modelo.

� À medida que mais elementos do modelo são representados com maiores detalhes, a precisão do modelo aumenta.


Precisão do modelo de desempenhoModelo aproximado :Pouco esforço nacoleta de dadosBaixa Precisão

Modelo detalhado :grande esforço nacoleta de dadosAlta Precisão


Estudo de Caso 7 – Precisão de Modelos de Desempenho


Servidor WebCorporativo

Servidor de E-mail

Internet

Discos

CPU´s

Servidor Web Corporativo

Discos

CPU´s

Servidor de e-mailInternet

Rede de Filas de alto nível

Rede de Filas detalhada

Qual dos 2 apresenta maior precisão ?


Validando um Modelo de Desempenho� Um modelo será válido se as medições apresentadas pelo

modelo se aproximarem das medições realizadas em tempo real.


SistemaReal

Medições

Valores MEDIDOS para tempos de respostas, taxa de

processamento, utilizações, etc.

Aceitável ?

Modelode

desempenho

Cálculos

Valores CALCULADOS para tempos de respostas, taxa de

processamento, utilizações, etc.

Calibragemdo modelo


Modelo de Disponibilidade� Os modelos de disponibilidade oferecem um

meio de previsão da disponibilidade de um serviço na Web, com base na configuração de infra-estrutura utilizada e considerando a confiabilidade intrínseca dos componentes utilizados.



Modelo de Custo� Uma metodologia de planejamento de capacidade deve sempre

considerar as principais origens do custo.� Ao analisar os custos envolvidos em serviços Web, deve-se

considerar também a possibilidade de aumento de tráfego em canais existentes, como suporte telefônico.

� Custos iniciais serão provenientes da montagem inicial da estrutura.

� Custos operacionais estão associados a manutenção e ampliação da base de hardware, software, links de comunicação, pessoal, treinamento, consultoria e outros.

� As medições de custo relativas se dão em moeda por alguma medida de capacidade do sistema (ex. reais por navegação por minuto, dólares/consulta/segundo.)



Análise de Custo/Desempenho� Os modelos de custos e desempenho podem ser

usados para avaliar diversos cenários e configurações :� Deveríamos espelhar o web site para balancear a carga,

reduzir o tráfego na rede e melhorar o desempenho ?� Deveríamos substituir os servidores web existentes por outros

mais rápidos ?� Deveríamos usar uma rede de distribuição de conteúdo para

oferecer imagens ?� Deveríamos usar serviços de hospedagem de terceiros ?

� Para cada cenário, podemos prever qual será o desempenho de cada componente básico da carga de trabalho global e quais são os custos para o cenário.



BENCHMARKS E TESTES DE

DESEMPENHO


INTRODUÇÃO� A melhor maneira de estudar desempenho

é executar a carga de trabalho real e medir os resultados.

� Benchmarking é o principal método para medir o desempenho de uma máquina física real.

� É a execução de um conjunto de programas representativos em diferentes computadores e redes, medindo seus resultados.

BENCHMARKS E TESTES DE DESEMPENHO


NATUREZA DOS BENCHMARKS� Tempo e Velocidade são as medidas básicas de

desempenho.� O que um determinado benchmark está realmente

testando ?� Até que ponto o benchmark é semelhante à carga de

trabalho do ambiente do usuário ?� O que o benchmark está realmente medindo ?

� Benchmarks são boas ferramentas para comparação de sistemas, ao invés de ferramentas precisas para dimensionar ou planejar a capacidade de determinado serviço.



HIERARQUIA DE BENCHMARKS� Dividem-se em 2 categorias :

� Granularidade grande (ex. Medição de e-commerce)

� Benchmarks detalhados (ex. Velocidade de CPU)

� Hierarquias :� Operações Básicas (+ - x / )� Benchmark de “brinquedo” (hanói, etc)� Kernels (operações de cpu, parte de código real)� Programas reais (pacotes de benchmark – SPEC

e TPC)



HIERARQUIA DE BENCHMARKS


Operações básicas

Benchmark de“brinquedo”

KernelsProgramasreais

Sistemasde

computador

Medições de Desempenho


BENCHMARKS COMUNS� Grupos de usuários e pesquisas na web são boas

fontes de informação atualizadas sobre vários tipos de benchmarks

� Para ser útil, um benchmark precisa ser :� Relevante : ofereça medidas de desempenho significativas

no domínio de problema específico� Inteligível : simples e fáceis de entender� Escalável : aplicáveis a grande variedade de sistemas, em

custo, desempenho e configuração� Aceitável : resultados imparciais, reconhecidos por

usuários e fornecedores.



SPEC (www.spec.org)� SYSTEM PERFORMANCE EVALUATION

CORPORATION� Organização de fornecedores da indústria

de informática, que desenvolve testes de desempenho padronizados (benchmarks) e publica resultados das análises.



Membros (SPEC)3DLabs * Advanced Micro Devices * Apple Computer, Inc. * ATI Research * Azul Systems, Inc. * BEA Systems * Borland * Bull S.A. * Dell * EMC * Exanet * Freescale Semiconductor, Inc. * Fujitsu Limited * Fujitsu Siemens * Hewlett-Packard * Hitachi Data Systems * Hitachi Ltd. * IBM * Intel * ION ComputerSystems * Johnson & Johnson * Microsoft * Mirapoint * NEC - Japan * Network Appliance * Novell * NVIDIA * Openwave Systems * Oracle * Panasas * PathScale * The Portland Group * S3 Graphics Co., Ltd. * SAP AG * ServerWorks * SGI * Sun Microsystems * Super Micro Computer, Inc. * Sybase * Unisys * Verisign * VeritasSoftware * Zeus Technology *



TPC (www.tpc.org)� TRANSACTION PROCESSING

PERFORMANCE COUNCIL� Corporação não-lucrativa, fundada para

definir benchmarks de processamento de transações, banco de dados e comércio eletrônico.




BENCHMARK DE CPU SPEC� Projetado para medições de desempenho

com cargas, em diferentes sistemas� SPECxxxx, onde xxxx = geração

� 2 pacotes : int (calculos c/inteiros) e fp(ponto flutuante)

� Concentra-se em desempenho do processador e arquitetura de memória.


CARGA DE TRABALHO P/SPECint� Compactação� Roteamento de circuito FPGA (Field Programmable Gate Array(

� Compilador C

� Otimização combinatória� Jogo : xadrez

� Processamento de textos

� Visualização do computador� Linguagem PERL

� Teoria de grupo, interpretador

� Banco de dados orientado a objeto� Compactação

� Simulador de lugar e rota




ESTUDO DE CASO 7 : USANDO SPECint� Um fornecedor anuncia um novo servidor web

com processador e memória mais eficiente� Afirma que com o novo servidor teremos melhora

de 60% na performance� Avaliando os resultados SPECint publicados,

temos respectivamente 363 e 489 SPECint para o antigo e novo servidor

� Qual o ganho de performance SPECint ?



ESTUDO DE CASO 7 : USANDO SPECint� Um fornecedor anuncia um novo servidor web

com processador e memória mais eficiente� Afirma que com o novo servidor teremos melhora

de 60% na performance� Avaliando os resultados SPECint publicados,

temos respectivamente 363 e 489 SPECint para o antigo e novo servidor

� Qual o ganho de performance SPECint ?489 / 363 = 1,35 ou 35%

!



BENCHMARKS DE SERVIDORES WEB� 3 mais utilizados :

� Webstone� SPEC-Web� SURGE (Scalable URL Reference Generator)

� Simulam clientes web. � Geram requisições ao servidor de acordo com

carga de trabalho especificada, recebem respostas e coletam as medições

� Importante lembrar que os benchmarks web apresentados utilizam ambiente de rede interna, diferente do mundo real na internet



SPECWEB99� Projetado para medir capacidade de um sistema

de atuar como servidor Web� Mede o número máximo de conexões simultäneas� Carga de trabalho padrão inclui HTML estática e

dinâmica, e suporte para HTTP 1.1� Para Unix ou NT� Executa em vários clientes enviando requisições

http e armazenando respostas� Consolida respostas em cliente principal



SPECWEB99 – Carga de Trabalho

Tamanho de arquivo por classe e frequenciaClasse Tam.Arquivo (KB) % de acesso

0 0-1 351 1-10 502 10-100 143 100-1.000 1

Requisição %GET estático 70,00GET dinâmico padrão 12,45GET dinâmico padrão (CGI) 0,15GET dinâmico personalizado 12,60POST dinâmico 4,80

Distribuição de requisições da carga



ESTUDO DE CASO 8 – EMPRESA DE MÍDIA� Empresa de mídia planeja reformular portal� Administrador do sistema pretende utilizar SPECweb para

estimar sistema que atenda carga inicial prevista� Imagina-se como número de usuários simultaneos 10.000� Cada usuário (cliente) oscila entre 2 estados : apresentando

resultados (pensando) e esperando pela resposta (execução da requisição)

� Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexão

� QUAL TAXA DE PROCESSAMENTO REQUERIDA ?



ESTUDO DE CASO 8 – EMPRESA DE MÍDIA� Empresa de mídia planeja reformular portal� Administrador do sistema pretende utilizar SPECweb para

estimar sistema que atenda carga inicial prevista� Imagina-se como número de usuários simultaneos 10.000� Cada usuário (cliente) oscila entre 2 estados : apresentando

resultados (pensando) e esperando pela resposta (execução da requisição)

� Aceitaram 4 segundos como tempo de resposta e 3 segundos como tempo de reflexão

� QUAL TAXA DE PROCESSAMENTO REQUERIDA ?

Taxa de Processamento = Clientes Simultaneos / (Tempo Resposta + Tempo de R eflexão)Taxa de Processamento = 10.000 / (4 + 3) = 1.429 re qs./segundo

!



ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)� Agora deseja-se estimar o número médio de

conexões simultâneas geradas pelos 10.000 clientes simultâneos.

� Considera-se que o tempo de resposta é = tempo de rede + tempo no website.

� Estima-se o tempo de rede em 1,2s.� O tempo de website não deve ultrapassar 2,8 (4 – 1,2).

� Qual o número médio de conexões simultâneas?



ESTUDO DE CASO 9 – EMPRESA DE MÍDIA (2)� Agora deseja-se estimar o número médio de

conexões simultâneas geradas pelos 10.000 clientes simultâneos.

� Considera-se que o tempo de resposta é = tempo de rede + tempo no website.

� Estima-se o tempo de rede em 1,2s.� O tempo de website não deve ultrapassar 2,8 (4 – 1,2).

� Qual o número médio de conexões simultâneas?

Conexões Simultâneas = Requisições por Segundo x (Tempo de Resposta – Tempo de Rede)1.429 x (4 – 1,2) = 1.429 x 2,8 = 4.001

!



ANALISANDO O ESTUDO DE CASO� Examinando os resultados do benchmark

SPECweb, pode-se encontrar um sistema que atenda aos requisitos de carga, ou seja :

� Número de conexões maior que 4.001� Taxa de Processamento maior que 1.429

requisições por segundo

!



WEBSTONE� Benchmark Cliente-Servidor configurável para

HTTP. Usa parâmetros de carga e processa clientes, gerando tráfego HTTP.

� Projetado para medir a taxa de processamento máxima do servidor e o tempo de resposta médio para conexão com o servidor.

� Um processo mestre gera uma série de processos cliente, que geram as requisições HTTP. Ao término, o processo mestre consolida as informações de resumo de desempenho.



WEBSTONE – Carga de Trabalho� 4 Conjuntos de cargas sintéticas modelam as

cargas de trabalhos reais. Parametros são :� Número de clientes que solicitam páginas : A velocidade

de solicitação de páginas no tempo que o servidor retorna (tempo de pensar = zero).

� Tipo de Página : tamanho de arquivo e frequência de acesso. Composição que indica probabilidade de acesso.

� Número de páginas disponíveis no servidor teste� Número de máquinas cliente.

� Principais resultados : Taxa de processamento e latência



WEBSTONE – Resultados Típicos

Métrica ValorNúmero Webstone 456Número total de clientes 24Número total de páginas recuperadas do servidor 4.567Número total de erros 0Número total de conexões com o servidor 12.099Tempo médio por conexão (s) 0,0039Tempo máximo por conexão (s) 0,0370Quantidade total de bytes movidos 129.108.600Taxa de processamento médio (bytes/s) 215.181Tempo médio de resposta (s) 1,181Tempo máximo de resposta (s) 18,488



SURGE� Um componente-chave de benchmark é a carga

de trabalho. 2 técnicas são utilizadas : � carga de trabalho real (amostragem) � modelos matemáticos para representar características

de carga

� SURGE se baseia nas 2 técnicas� Um usuário é definido como um processo em loop

que alterna entre fazer requisição HTTP e permanecer ocioso.



SURGE (Características da carga de trabalho)� Tamanhos de arquivo : distribuição de tamanho da coleção

de arquivos armazenados no servidor� Tamanhos de requisição : podem ser diferentes dos

tamanhos de arquivo, devido à diferente popularidade� Popularidade : distribuição das requisições baseadas em

cada arquivo� Referências embutidas : um objeto web é normalmente

composto por diversos outros� Localidade Temporal : probabilidade de novo acesso a um

determinado objeto acessado anteriormente� Tempos OFF : tempos ociosos, entre requisições. Pensar do

usuário e análise e formatação do browser.



BENCHMARKS DO SISTEMA� Medem o sistema inteiro : processador, I/O, redes,

banco de dados, compilador, sistema operacional� Exemplo : Família TPC� TPC divide-se em :

� TPC-C : OLTP (on line transaction processing)� TPC-W : E-commerce� TPC-H e TPC-R : simulam um sistema de suporte à

decisão com grandes volumes de dados, sincronizado com bancos de dados de produção on-line. Utilizam consultas aleatórias, altamente complexas, projetadas para responder a algumas questões de negócios do mundo real, incluindo perguntas sobre preços e promoções, oferta e demanda, lucro e receita e participação de mercado.



TPC-C� Benchmark padrão do setor de processamento de

transação on-line � Modela uma aplicação que gerencia requisições

para um fornecedor de atacado� Carga de trabalho divide-se em :

� Nova requisição (45%)� Pagamento (43%)� Remessa (4%)� Estado da Requisição (4%)� Nível de estoque (4%)



Exemplo de Resultados do TPC-C

Informação do Sistema ResultadoEmpresa XSistema YProcessadores 4Armazenamento total 2,61 TerabytesSGBD Microsoft SQLSistema operacional Windows NTMonitor de Transação Microsoft COM +Custo total do sistema US$ 445.747Taxa de processamento do TPC-C (tpmC) 34.600Preço/desempenho $ 12,89



TPC-C



ESTUDO DE CASO 10 – Companhia de Seguros� Um gestor de TI de uma cia. de seguros quer

fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%.

� Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo são, respectivamente 30.000 e 36.000.

� Haverá ganho desejado de 30% na migração ?



ESTUDO DE CASO 10 – Companhia de Seguros� Um gestor de TI de uma cia. de seguros quer

fazer upgrade no software de banco de dados, visando atingir melhoria de performance de 30%.

� Buscanco nos benchmark TPC encontra que as taxas TPC-C dos softwares novo e antigo são, respectivamente 30.000 e 36.000.

� Haverá ganho desejado de 30% na migração ?

Percentual melhoria = Taxa novo software / taxa software antigo30.000 / 36.000 = 1,2 ou seja 20% de melhoria

!



TPC-W� Trata da avaliação de sites que oferecem

suporte a atividades de e-business� Modelo de uma loja que vende produtos e

serviços pela internet� A métrica de performance é expressa em

Interações da Web por segundo (WIPS –Web interactions per second)

� Número de itens no catalogo define escala: 10.000, 100.000, 1.000.000 e 10.000.000 itens.



TPC-W� Classifica as interações web em 2 categorias :

� Navegar (navegação e pesquisa) : home, navegar, selecionar, detalhe do produto e pesquisar.

� Pedir (pedido de produto) : carrinho, login, pedido de compra, confirmação de compra, pesquisa de pedido e exibição de pedido.

� Especifica 3 diferentes perfis de sessão :� Mistura de navegação : 95 % Navegar e 5% Pedir� Mistura de compra : 80% Navegar e 20% Pedir� Mistura de requisição : 50% Navegar e 50% Pedir



Resultados do TPC-W

Informação do Sistema ResultadoEmpresa XSistema YEscala 10.000Processadores 4SGBD Microsoft SQLSistema operacional Windows NTServidor HTTP Microsoft IISBalanceador de Carga MS Windows DNS ServerMotor de busca MS SQL Server FT SearchCusto total do sistema US$ 211.214Desempenho do TPC-W 3.130Preço/desempenho US$ 67,50



TPC-W (Resultados)� Existem 2 tipos de métricas de desempenho

� Métrica de Taxa de Processamento� WIPS : número médio de interações web por segundo em

sessões do tipo Compra . wips@scale_factor (onde fator de escala é o número de itens no catálogo)

� WIPSb : número médio de interações nas sessões do tipo Navegar .

� WIPSo : número médio de interações nas sessões do tipo Pedir .

� Métrica de custo/taxa de processamento ($Wips) : Razão entre o Custo total do sistema em teste e o número de wips medido durante um intervalo de compra.



TPC-W



TESTE DE DESEMPENHO� Finalidade principal : entender o

desempenho do serviço sob condições de determinada carga de trabalho

� Podem ser usados em todos estágios de desenvolvimento de serviços web, antes de entrar em operação

� Chave é simular o ambiente de produção e cenários de carga de trabalho, o mais próximo do mundo real.



TIPOS DE TESTES DE DESEMPENHO� Teste de CARGA : cria-se uma carga de

trabalho simulada, imitando a operação normal estimada

� Teste de ESFORÇO : focaliza os cenários do pior caso e utiliza uma carga mais pesada do que o esperado

� Teste de PICO : teste sob condições muito específicas, quando a carga é muitas vezes maior que a média.



METODOLOGIA PARA O TESTE DE DESEMPENHO

Analisar os resultadosdo teste

Entender oambiente

Especificar o plano de teste

Definir a carga deTrabalho do teste

Configurar oambiente de teste

Executar os testes

Definir objetivosdo teste

Definir objetivos do teste : Grande influência em custos e esforço no projeto de teste. Exemplos :� Determinar capacidade do servidor web

� Descobrir número máximo de usuários simultâneos em um serviço web aceita

� Determinar a capacidade da aplicação

� Identificar engarrafamentos na infra-estrutura� Identificar impacto da rede sobre tempo percebido pelo

usuário final

� Descobrir capacidade do servidor de BD

� Identificar as funções Web mais caras





Entender oambiente




Executar os testes


Entender o ambiente : Descobrir o que compõe o cenário :

� Tipo de infra-estrutura (servidores e serviços de terceiros)

� Software (sistema operacional middleware e aplicações)

� Conectividade de rede e protocolos estão presentes no ambiente

� Períodos de picos e SLA´s� Entender a natureza da carga de trabalho e dos

serviços oferecidos pelo sistema em teste





Entender oambiente




Executar os testes


Especificar o plano de teste : Identificar quais serviços na Web e funções devem ser testadas. Deve conter :� Expectativas da equipe

� Cenários de carga de trabalho (otimista, pessimista)

� Verificação de SLA� Garantir o uso da mesma infra-estrutura do ambiente

de produção� Determinar como as variáveis de entrada são

controladas ou alteradas

� Determinar o grau desejado de confiança nas medições





Entender oambiente




Executar os testes


Especificando a carga de trabalho do teste : planejar um cenário de aplicação que sejam típicas do serviço na web.� Ex. Comportamento dos usuários. Geração de scripts

com perfis diferentes por grupo� Compradores ocasionais e frequentes

� O primeiro grupo representa clientes que usam lojas web para pesquisa de novos produtos e tarifas, mas na maioria das vezes não compram pela web

� O segundo grupo com clientes com grande probabilidade de comprar se achar produto que lhes interesse.





Entender oambiente




Executar os testes


Configurar o ambiente de teste : uma instalação de teste foi disponibilizada, para permitir a execução dos testes, antes da distribuição. Uma ferramenta de teste de esforço foi selecionada para permitir a simulação de usuários. Entre os requisitos para teste do sistema é preciso verificar o seguinte :

� Licença do fornecedor de teste de carga para o número de usuarios simultaneos a serem testados

� Ferramentas de monitoração de desempenho para servidores web, servidores de aplicação, sistema de banco de dados e redes.





Entender oambiente




Executar os testes


Executar os testes :

� Executar o plano de teste especificado

� Submeter os scripts de teste pré-definidos� Ajustar os testes com base nos resultados da última

rodada de testes realizados (calibragem do teste)





Entender oambiente




Executar os testes


Analisar os resultados do teste :

� Examinar tendências versus objetivo do teste

� Relacionar medições de desempenho� Desenvolver recomendações à gerência

� Avaliar tempos de respostas, buscando identificar problemas de desempenho específicos


DISPONIBILIDADEDOS SERVIÇOS

NA WEB


INTRODUÇÃO� A instalação de serviços na web tem se tornado

rotina e muitas vezes realiza-se em tempo abaixo do necessário.

� A grande agilidade de implantação pode levar os projetos a serem executados sem todos os cuidados e testes necessários, levando a vulnerabilidades no desempenho, segurança e disponibilidade do site.

� Vários são os motivos que levam sites a se tornarem indisponíveis, incluindo falhas de hardware e software, conectividade de redes e atémesmo ataques de negação de serviço (Dos –Denial of Service) ou DDos.

DISPONIBILIDADE DOS SERVIÇOS NA WEB


PORQUE E COMO OS SISTEMAS FALHAM� Existem muitos motivos para um sistema

de computador falhar� É importante categorizar os diferentes

tipos de falhas� Analisaremos as falhas sob as seguintes

dimensões :� Duração� Efeito� Escopo



DURAÇÃO DA FALHA� Falhas Permanentes : Sistema que falha sem

possibilidade de reparos. Ex. Aeronave não tripulada

� Falhas Recuperáveis : Existe a possibilidade de reativação, após recuperação da falha. Ex. site que sai do ar por conta do link.

� Falhas Transientes : Caracterizadas por ter duração curta e não exigir grande reparo. Ex. Roteadores ou servidores que retornam ao ser reinicializados.



EFEITO DA FALHA� Falhas Funcionais : Sistema que não

opera de acordo suas especificações. Ex. Livraria on-line, que não apresenta descrição de um livro.

� Falhas de desempenho : Ainda que o sistema execute suas funções, não são executadas a tempo. Ex. site de busca que detalha demasiadamente uma pesquisa, retornando alguns minutos depois.



ESCOPO DA FALHA� Falha Parcial : Alguns serviços oferecidos

se tornam indisponíveis, enquanto outros ainda podem ser usados.

� Falha Total : Rompimento total de todos os serviços oferecidos pelo sistema. Interrupções de energia poderiam fazer um web site ficar completamente parado.



CONFIABILIDADE E DISPONIBILIDADE� Confiabilidade : É a probabilidade de que o

sistema esteja funcionando correta e constantemente por um período de tempo determinado.

� Disponibilidade : Baseia-se na noção de que um componente (ou sistema) alterna por períodos em que está operacional (ou períodos ativos) e períodos em que estáparado (ou período inativo).



TEMPOS E FALHAS� MTTF – Mean Time to Failure (Tempo médio para falha)

� MTTR – Mean Time to Recover (Tempo médio p/recuperação)

� MTBF – Mean Time Between Failures (Tempo médio entre falhas)


inativo ativo

MTTF MTTR

MTBF

ativo

Falha n Falha n +1


9´s NA DISPONIBILIDADE� Os sistemas se classificam baseados no número de

9´s que apresentam como disponibilidade :


Classe de disponibilidade Disponibilidade

Indisponível (min/ano) Tipo de Sistema

1 90,0% 52.560 Não controlado2 99,0% 5.256 Controlado3 99,9% 526 Bem controlado4 99,99% 52,6 Tolerante a falhas5 99,999% 5,3 Altamente disponível6 99,9999% 0,53 Muito altamente disponível7 99,99999% 0,053 Ultradisponível


MELHORANDO OS TEMPOS� Existem duas maneiras de melhorar a

disponibilidade :� Reduzindo a frequência de falhas (+MTTF)� Reduzindo o tempo de recuperação (- MTTR)

� Tempo para detectar a falha� Tempo para diagnosticar a causa da falha� Tempo para determinar possíveis soluções� Tempo para corrigir o problema

� (Log - Histórico de recuperações passadas auxiliam na diminuição do MTTR)



ESTUDO DE CASO : WEB SRV (APP + BD)� Considere um web site composto de dois

servidores web : um de aplicação e um de banco de dados

� Supondo que os dados históricos mostrem que o servidor de aplicação é reinicializado a cada 20 dias em média, ficando por um período de 10 minutos indisponível.

� Qual a disponibilidade do servidor de aplicação ?



ESTUDO DE CASO : WEB SRV (APP + BD)� Considere um web site composto de dois

servidores web : um de aplicação e um de banco de dados

� Supondo que os dados históricos mostrem que o servidor de aplicação é reinicializado a cada 20 dias em média, ficando por um período de 10 minutos indisponível.

� Qual a disponibilidade do servidor de aplicação ?


MTTF = 20x24x60 = 28.800Disponibilidade = MTTF / ( MTTF + MTTR)Disponibilidade = 28.800 / ( 28.800 + 10) = 0,99965

!


CONFIABILIDADE E DISPONIBILIDADE (II)� Confiabilidade : É a probabilidade de que o sistema esteja

funcionando correta e constantemente por um período de tempo determinado.

� Disponibilidade : Baseia-se na noção de que um componente (ou sistema) alterna por períodos em que estáoperacional (ou períodos ativos) e períodos em que estáparado (ou período inativo).


“Quando a operação de determinado sistema exige que o período de tempo com bom funcionamento aproxime-se de infinito, a confiabilidade torna-se disponibilidade .”


CONFIABILIDADE EM SISTEMAS DE COMPONENTES� Um sistema baseado em componentes

apresentará a confiabilidade produto de seus itens� Ex : um web site composto por :

� Servidor Web : 0,9� Servidor de aplicação : 0,95� Servidor de banco de dados : 0,99

� 0,9 x 0,95 x 0,99 = 0,84645� “A probabilidade de um evento expresso como a

interseção dos eventos independentes é o produto das probabilidades dos eventos independentes” (teoria da probabilidade)



ESTUDO DE CASO : Aumentando Disponibilidade� Considerando o exemplo anterior, determine o

aumento da disponibilidade no site melhorando 0,05 no componente de maior impacto na disponibilidade geral

� Lembrando : 0,9 x 0,95 x 0,99 = 0,84645� Servidor Web : 0,9� Servidor de aplicação : 0,95� Servidor de banco de dados : 0,99



ESTUDO DE CASO : Aumentando Disponibilidade� Considerando o exemplo anterior, determine o

aumento da disponibilidade no site melhorando 0,05 no componente de maior impacto na disponibilidade geral

� Lembrando : 0,9 x 0,95 x 0,99 = 0,84645� Servidor Web : 0,9� Servidor de aplicação : 0,95� Servidor de banco de dados : 0,99


SERVIDOR WEB PASSA PARA 0,950,95 x 0,95 x 0,99 = 0,89348

!


REDUNDANDO COMPONENTES� A medida que mais componentes são

acrescentados ao sistema, mais cai a confiabilidade total do sistema

� O uso de componentes em paralelo éuma das formas mais comuns de usar a redundância para melhorar a confiabilidade



ESTUDO DE CASO : SIMULANDO AMBIENTE


Basic DataNumber Reliability

Load Balancer 1 0,9999 0,999900Web server 5 0,85 0,999924DB Server 2 0,99 0,999900Site Avail. 0,999724


DESEMPENHO E DISPONIBILIDADE� O desempenho, medido como tempo de

resposta, está bastante relacionado àdisponibilidade

� Sistemas que utilizem vários servidores distribuindo carga para aumentar a disponibilidade afetarão no desempenho, a medida que parte dos recursos se tornem indisponíveis.



MEDIÇÃODO

DESEMPENHO


INTRODUÇÃO� A Medição de desempenho é um aspecto

fundamental no processo de garantia dos SLA´s

� Medindo desempenho reune-se dados para análise e modelagem de desempenho

� Ao iniciar a medição, refletir :� Quais fontes dos dados de desempenho ?� Quais ferramentas disponíveis ?� Quais técnicas para cálculo dos parâmetros de

entrada do modelo ?

MEDIÇÃO DO DESEMPENHO


ESTRUTURA DE MEDIÇÃO DE DESEMPENHO

� A estrutura deverá oferecer uma série de dados de medição, exigidos pelas 3 funções de gerenciamento de desempenho :

� Detecção de problemas operacionais� Ajuste de desempenho� Planejamento de capacidade

� Observar :� Medição de Infraestrutura (partes)� Medição de Aplicação (todo o ciclo)




Infra-estrutura de serviço na webISP´s

Backbone

Backbone

Banco de dados

Aplicação

ServidorWeb

EFG

Rede Corporativa

Ponto de testeLocal onde a medição é realizada

Agente de MediçãoQuem realiza a mediçãoou coleta de dados. Pode ser ativo ou passivo.

UsuárioUsuário

Usuário

Internet

AB

H

ARQUITETURA DE MEDIÇÃO

A e B = medições percebidas pelos usuáriosD = Inspeção de tráfego na redeE = S.O. medindo performance dos servidoresF = API monitorando tempo de resposta da AplicaçãoG = Análise de todo fluxo da redeH = Wan

D


PROCESSO DE MEDIÇÃO� Quais recursos mais usados em um sistema ?� Qual a largura de banda usada na rede ?� Que tempo consumiu a CPU das estações clientes ?� Qual tempo médio de uma transação, de ponta a ponta ?� Quanto tempo o servidor de e-mail consome diariamente ?� Quanto da largura de banda da rede está sendo consumida

por acesso a internet ?


MEDIÇÃO : OBSERVAR A OPERAÇÃO DE UM SISTEMA

POR UM PERÍODO DE TEMPO, REGISTRANDO VARIÁVEIS RELEVANTES


REPRESENTAÇÃO DO PROCESSO DE MEDIÇÃO


EspecificarMedições Especificar Medições : Decidir sobre as

variáveis a serem medidas. � Exemplo 1 : Rede Ethernet. Medições de

pacotes e colisões por segundo� Exemplo 2 : Aplicação de Streaming.

Qual a qualidade do sinal desejada na mídia ?

Especificarpontos de teste

Instrumentare coletar dados

Analisare transformar

dados




EspecificarMedições Especificar Pontos de teste : Determinar

onde os dados de desempenho serão coletados.� Como exemplo, é possível determinar

que o ponto de partida deve coletar dados sobre o tráfego que atravessa a LAN onde os servidores Web estão localizados.




dados




EspecificarMedições Instrumentar a coleta de dados : Depois de

selecionar as variáveis a serem observadas, deve-se distribuir ferramentas de medição para monitorar o sistema.� Dependendo das medições definidas,

pode-se ter de instalar várias ferramentas de medição, por diferentes pontos da web.




dados




EspecificarMedições Analisar e transformar dados : As

ferramentas de medição normalmente reúnem quantidades muito grandes de dados brutos, que correspondem a uma observação detalhada do sistema. Esses dados precisam ser analisados e transformados em informações significativas. Exs.tamanhos médios, numero de acessos, popularidade de arquivos, etc.




dados


MEDIÇÃO POR EVENTO� Monitores orientados a evento geram um

registro toda vez que ocorre um evento dentro de um conjunto de tipos determinados

� Um evento normalmente muda o estado do sistema, que é especificado por um conjunto de variáveis

� Ao ser detectado determinado evento um código especial chama uma rotina que gera informações como data, hora, tipo de evento, etc



MEDIÇÃO POR RASTREAMENTO� Semelhante a “Medição por evento”, só

que gera um registro do evento ocorrido e do estado do sistema no momento. Exemplo : Ao invés de só contar erros de transmissão, o rastreamento registraria o estado do sistema com as causas do erro.



MEDIÇÃO POR AMOSTRAGEM� As informações dos sistemas são coletadas em

instantes predefinidos� Ao invés de ocorrer por evento, ocorrem em

instante pré-determinado, especificado no início da sessão de monitoração

� Provoca impacto no resultado da medição (overhead).

� Se as amostragens forem maiores, maior overhead e menor precisão

� Quanto maior a precisão, maior o overhead� Normalmente utilizam-se monitores (Hw/Sw) e logs



CONCLUSÃO


CENÁRIO� Maturidade no nível de utilização da web

� Cada vêz mais a previsibilidade de crescimento é necessária

� Desafio de atender a crescente demanda de ambientes cada vez mais solicitados pela sociedade, contemplando :

� Disponibilidade� Segurança� Confiabilidade

CONCLUSÃO


CARACTERÍSTICAS DOS SERVIÇOS WEB� Os serviços web apresentam hoje :

� Larga escala e complexidade� Heterogeneidade� Operação e gerenciamento distribuído

� Propriedades a considerar nos projetos :� Confiança e segurança (missão crítica)� Escalabilidade (poder crescer quando precisa)� Disponibilidade e Confiabilidade (on-line sempre)

CONCLUSÃO


TÉCNICAS BASEADAS EM MODELOS� O trabalho de avaliação de desempenho

pode ser distribuído em modelos :� Carga de trabalho� Desempenho� Disponibilidade

� Teoria das filas, análise operacional e probabilidades

� Tempos de serviço e tempos de espera� Importante modelo de Custos ...

CONCLUSÃO


PESQUISA� Os problemas de desempenho

vividos pelo gestor de hoje podem ser parecidos com o gestor de outra organização

� Vários modelos e trabalhos de pesquisa disponíveis em livros e Internet

� Não existe um modelo de desempenho personalizado.

CONCLUSÃO


OBRIGADO !

Avaliação de desempenho

Documents

Transcript of Avaliação de desempenho