Apresentação - Otimização de Infraestruturas de Telecomunicações
Computing@FEUP2011 - redmine.fe.up.pt · (cpu,memória,comunicação) Real ... Introdução...
-
Upload
truongkiet -
Category
Documents
-
view
214 -
download
0
Transcript of Computing@FEUP2011 - redmine.fe.up.pt · (cpu,memória,comunicação) Real ... Introdução...
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Computing@FEUP 2011
Consórcio GridFEUP
CICA
13 de Julho de 2011
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Índice
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Agenda
Apresentação e apreciação das estatísticas sobre a utilizaçãodo GridFEUP
Descrição da situação actual
Decidir sobre a renovação do consórcio(ou criação de um novo)
Em caso afirmativo ao ponto anterior, discutir
estrutura do consórciomodelo de funcionamento da infraestruturahardware a adquirir
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Consórcio GridFEUP
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Utilização Histórica NxPy
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Utilização Histórica NxPy
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Utilização Histórica NxPy
Mais estatísticas disponíveis, e.g.
número de trabalhos,distribuição por utilizadores“tamanho” dos trabalhosetc
Para os grupos
relatório mais detalhado, enviar um e-mail para [email protected] as métricas desejadas
Dos grupos
dados de publicações com base em trabalhos que correram nosclusters?
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Clusters
GridUP(' 20 nucl. Opteron)
GridFEUP(' 64 nucl. Xeon)
INEB(' 60 nucl. PowerPC)
IDMEC(' 140 nucl. Opteron)
Magalhães(' 80 nucl. Xeon/Opteron)
IBM CAS(' 60 nucl. Xeon)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Performance
Teórica
número máximo de operações de vírgula flutuante por segundonunca é atingido (é sempre necessário aceder à memória, testarcondições, etc.)forma de cálculo: número máximo de operações por ciclo derelógio (dependente do hardware) � velocidade de relógio
Linpack
solução de um sistema denso de equações linearespode aproximar-se do valor teóricomede diferentes aspectos da performance(cpu, memória, comunicação)
Real
o inverso do tempo que os nossos trabalhos demoram a correr
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparações
Podemos usar a performance teórica só para comparar escalas
Os valores absolutos não dizem muito
Não comparar performances teóricas de arquitecturas muitodiferentes
e.g., podemos comparar Intel com AMDcom PowerPC pode ser mais complicadocom GPUs, Cell, etc. não faz sentido
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Performance Teórica Agregada
2004 2005 2006 2007 2008 2009 2010 20110
0.5
1
1.5
2
2.5
3R
pea
k (
TF
lops)
UP
NxPy
INEB
IDMEC
Magalhaes
CAS
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Utilização Actual
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Limitações
Processadores antigos
Sistemas operativos desactualizados
Rede ethernet
Consumo exagerado
Problemas de hardware
Fragmentação
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Administração de Sistemas
Documentação
Monitorização
Resolução de problemas de hardware/software
Interacção com Unidade de Administração de Sistemas
Estudo de novas soluções (e.g. Infiniband, GPUs, Clouds, etc.)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Apoio à Investigação
Apoio à escolha de recursos computacionais e submissão detrabalhos
Profiling, optimização e paralelização de aplicações
Apoio à análise de dados
Ferramentas de colaboração entre investigadores
Serviços externos (IBMC, FCUP, FEP...)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Máquinas virtuais
27 das 150 máquinas virtuais da UAS
Gestão de software e repositórios de controlos de versões
Condor
OpenNebula
OpenStack
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Em desenvolvimento
Computação em Máquinas Virtuais numa “Cloud” Privada
em uso no cluster do IBM CAS (OpenNebula + Condor)
em instalação nos PCs das salas de aulas (OpenStack)
integração com UP (StratusLab) ?
HPC
servidor de gestão centralizada de recursos computacionais
capacidade de execução de imagens personalizadas porgrupo/projecto
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
“Cloud” Computing
“Cloud” quer dizer muita coisa
IaaS = Infraestrutura como Serviço
e.g., Amazon
PaaS = Plataforma como Serviço
e.g., AppEngine
SaaS = Software como Serviço
e.g., Google Apps
No nosso contexto, só interessa a infraestrutura como serviço,como ferramenta de abstracção de hardware
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
HPC em “Cloud”?
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
HPC em “Cloud”?
A favor
imagens personalizadascontrolo porgrupo/projectoisolamento deprocessos e recursossubdivisão de máquinasreaisfacilidade de migração
Contra
pode haver perda deperformancepouca diferença emcpu e memóriamaior impacto emdisco e redemaior complexidadeindeterminismo?
Opinião: a virtualização pode ser bastante útil, mas éimportante manter a possibilidade de correr certas aplicaçõessem essa camada
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
HPC em “Cloud”?
A favor
imagens personalizadascontrolo porgrupo/projectoisolamento deprocessos e recursossubdivisão de máquinasreaisfacilidade de migração
Contra
pode haver perda deperformancepouca diferença emcpu e memóriamaior impacto emdisco e redemaior complexidadeindeterminismo?
Opinião: a virtualização pode ser bastante útil, mas éimportante manter a possibilidade de correr certas aplicaçõessem essa camada
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
HPC em “Cloud”?
(fonte: cloudscaling.com)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Amostra
66 respostasrecolhidas de forma anónimaem Junho/Julho de 2011através de solitação por e-mailpara as listas de distribuição de
docentesinvestigadoresbolseirosestudantes de doutoramento
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Categoria
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Área
(Outra: Eng. Ambiente)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Centro de Investigação
(Outros: LOME, CEMUC, LIM, SAPO Labs, Inesc-Robis, UGEI/LIO, Centro de
Mecânica, U. Coimbra, LABEST, LabES, UOSE Labs)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Instituto de Interface
(Outros: CEMUC, INESC, SAPO, LNEC, LAETA)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Tipo de trabalhos
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Aplicações
(Outras: Gromacs, LSDYNA, Visual Studio, Tno, Diana, R, Hadoop, Pig, Code,
SATURNE, EES e TRNSYS, Fluent, Prolog (Yap, SWI), Maven)
(Outro: MapReduce (Hadoop) )
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Soluções de hardware (1)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Soluções de hardware (2)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Soluções de hardware (3)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Serviços
Formação e Acompanhamento
Gestão
Submissão de trabalhosPreparação de imagens para máquinas virtuais
Programação e Optimização
Memória partilhada (OpenMP)Memória distribuída (MPI)Placas gráficas (Cuda)
Automação
WorkflowsAnálise de dadosVisualização
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 20110
0.5
1
1.5
2
2.5
3
Rp
eak (
TF
lops)
na FEUP
no CFP
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 20110
2
4
6
8
10
12
14
Rp
eak (
TF
lop
s)
na FEUPno CFPna QT
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 2011
10
20
Rp
eak (
TF
lop
s)
na FEUP
na FCUP
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 2011
10
20
30
40
50
Rp
eak (
TF
lop
s)
na FEUP
na FCUP
na UP
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 2011
50
100
150
200
Rpea
k (
TF
lop
s)
na FEUP
na FCUP
na UP
em PT
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Comparativo
Estimativas de performance teórica máxima(com base em conhecimento pessoal)
2004 2005 2006 2007 2008 2009 2010 2011
TFlops
PFlops
EFlops
Rpea
k
na FEUPna FCUPna UPem PTsoma Top500
(nota: performance em escala logarítmica)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Consumo
FEUP: 16 kW / TFlop
FCUP: 10 kW / TFlop
TOP500: 4 kW / TFlop
Para certas aplicações, é possível gastar menos de 1kW/TFlopcom GPUs
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Opções
2004 2005 2006 2007 2008 2009 2010 2011 2012 20130
0.5
1
1.5
2
2.5
3
Rpea
k (
TF
lops)
UP
NxPy
INEB
IDMEC
Magalhaes
CAS
?
Workstations/Servidores?
Expandir clusters actuais?
Novo cluster?
Blades vs RacksEthernet vs InfinibandNúmero de NúcleosQuantidade de RAMStorageGPUs
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Workstations
A favor
controlo individual
Contra
gestãoespaçoconsumoruído...
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Servidores
A favor
alojamento emdatacenterdensidadeconsumo
Contra
(pouco) mais caros queworkstations
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Blades
A favor
gestão integrada50% mais densos50% mais eficientes(energeticamente)
Contra
50% mais carosvendor lock-infalta de flexibilidade
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
GPUs
A favor
PerformanceConsumoPreço
Contra
Não serve para tudo(Ainda) não é imediatotirar partido delas
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Escalas
por � 100k€
192 a 240 núcleos1 GB ram por núcleo2 a 2.5 TFlops7.5 a 10 kW7 a 10 UInfiniband QDRpossibilidade de GPUs (à custa de CPUs)
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Alternativas
2004 2005 2006 2007 2008 2009 2010 2011 2012 20130
1
2
3
4
5
6
7
8
9
10R
pea
k (
TF
lop
s)
200k euros100k euros50k euros
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Outline
1 IntroduçãoAgendaEstatísticas
2 Infraestruturas e ServiçosInfraestruturasServiços
3 Em desenvolvimento“Cloud” Computing
4 Necessidades de ComputaçãoAlguns resultados do inquérito
5 Perspectivas futurasServiçosHardwareDiscussão
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Discussão
Que grupos querem/podem investir?
Com quanto?
Em que tipo de nodos?
Qual o modelo de gestão?
Consórcio GridFEUP Computing@FEUP 2011
Introdução Infraestruturas e Serviços Em desenvolvimento Necessidades de Computação Perspectivas futuras
Links
GridFEUP
http://grid.fe.up.pt
Notícias
http://blogs.fe.up.pt/computing
Monitorização
http://cromo.fe.up.pt/ganglia
Projectos de computação
http://redmine.fe.up.pt/projects/computing
Lista de discussão
http://sympa2.fe.up.pt/sympa/list/computing
Consórcio GridFEUP Computing@FEUP 2011