Projeto de Elasticidade e Evolução do Projeto FIBRE
-
Upload
fibre-testbed -
Category
Internet
-
view
41 -
download
1
Transcript of Projeto de Elasticidade e Evolução do Projeto FIBRE
FIBRE - Projeto de Elasticidade eEvolução do Plano de Dados daInfraestrutura de Experimentaçãodo FIBRE
Fernando Farias - UFPAMarcos Schwarz - RNP
Campinas, Novembro 2016
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
2
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
3
Motivação
• FIBREéhojeumdosprincipaisTestbedsemtecnologiaderedesdisponívelnaaméricalatina.
4
Motivação
• ParaoFIBRE2.0essaevoluçãovemsendoumadasprioridades,comoobjetivodevenceraslimitaçõesobservadasnoprojetoinicial.
5
Motivação
• Utilizarvirtualizaçãoparapermitiromaiornúmerodeexperimentospossíveis.
• Evoluirainfraestruturaenãodependerdesoftwaresdeterceiroparahabilitarexperimentos.
• Atualmente,oFIBREutilizao FlowVisorparapermitiravirtualizaçãodainfraestrutura.
• Noentanto,oFlowVisor apresentaosériedeproblemasemseudesenvolvimento
6
Motivação
7
LimitaçõesdoModelo:● Performance
Limitada● Nãopossui suporte
anovasfuncionalidades
● SoftwareDescontinuado
● NãopossuisucessorparaversõesdoOpenFlow1.0
Motivação• Diminuiroscustoscomequipamentoeaumentaraflexibilidadenaevoluçãoeadoçãodenovascaracterísticas
• Avaliarautilizaçãodoschamadoswhitebox,equipamentosaberto,semsoftwaresedecustosreduzidos.
• Alémdisso,avaliartambémaatualizaçãodeframeworksdeparaaceleraçãooplanodedados:
• Intel’sDataPlaneDevelopmentKit(DPDK)• Aceleraçãodoprocessamentodepacotes• Utilizaçãodenucleosparaprocessamentodepacotes
8
Motivação
9
• Adaptar novas novas opções de protocolos ao experimentador:
• Suporte a Openflow 1.3• Switches em Containers • Topologias Virtuais • Alocação de Recurso• Monitoramento• Etc...
Agenda• Motivação• Objetivos• Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
10
Objetivo
11
• O objetivo original do projeto era criar uma nova forma de virtualização independente da utilização do flowvisor:
• Utilizar Whitebox para criar datapaths virtual sob-demanda.
• Usar DPDK para aperfeiçoar e acelerar o processamento de pacotes
• Gerenciar o OpenVSwitch para criar instâncias virtuais do datapath e oferecê-las ao experimentador
• Viabilizar o uso do OpenFlow 1.3 em experimentos
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
12
SoluçãoInicial
13
• A solução adotada muda a visão de slice criado pelo flowvisor.
• Também remove a camada central responsável por gerenciar e controlar os slices criados
• Nesta solução adotamos a ideia elasticidade para switches, ou seja, habilita-se switches lógicos sob-demanda de acordo com a necessidade do experimentador
• Neste switch lógico é possível habilitar qualquer versão do OpenFlow, tanto individual quanto simultâneos
SoluçãoInicial
14
FIBRE 1.0 (Atual) FIBRE 2.0
SoluçãoInicial
15
• Prototipo 1.0
Equipamentos
16
• Server U L800
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embedded c/ suporte AES-NI
Chipset: Intel® "Rangeley", suporte a virtualização VT-x;
Memória: 1x 8GB DDR3 on 240P DIMM socket (expansível até 16GB em 2x240P DDR3 DIMM)
Interfaces de Rede: 6x Intel Gigabit, sendo 2xIntel i210AT e 4xIntel 88E1543 (igb(4), netmap ready)
Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads
E/S Físico: Pad de 4 teclas & Display LCM de 2 linhas (scriptáveis sim!)
Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc, 72Vdc
Consumo: 40W
Equipamentos
17
• Supermicro 5018A -TN7B
Processador: Intel® Atom C2758 "Rangeley" 8x2.41Ghz (Octa Core) Embedded c/ suporte AES-NI
Chipset: Intel® "Rangeley", suporte a virtualização VT-x;
Memória: 4x 240-pin DDR3 UDIMM slots Supports up to 64GB DDR3 ECC or non-ECC memory
Interfaces de Rede: Quad GbE LAN w/ Intel C2000 SoC i354 - 2 pairs LAN bypass, Single GbE LAN w/ Intel i210-AT,Dual GbE LAN w/ Intel Ethernet controller i350-AM2 - 1 pair LAN bypass
Recursos de Rede: Todos os 3 segmentos c/ bypass, WDT, RTC, MSI-X, CPU Affinity até 8 threads
E/S Físico: -
Alimentação: 110/220Vac ou (opcional) 36Vdc, 48Vdc, 72Vdc
Consumo: 200W Low Noise AC-DC power supply with PFC
Resultadosparciais
18
• Protótipo 1.0• Avaliação:
• Testar a performance do encaminhamento entre portas utilizando openflow 1.0
• Ambiente:• Hardware: ServerU Netmap L-800• Software: Ubuntu 16.04, DPDK 2.2.0, OVS 2.5.0• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET
• Metricas:• Latencia • Throughput• Perda de pacote
Resultadosparciais
19
• Protótipo 1.0
Resultadosparciais
20
• Protótipo 1.0
Resultadosparciais
21
• Protótipo 1.0
Resultadosparciais
22
• Protótipo 1.0
Resultadosparciais
24
• Por outro lado, o gráfico da latência permitiu observar a quantidade necessária de processadores para se manter um limite estável da latência, que ficou nos valores entre 3000 a 4000 us (microsegundos).
• Por fim, no gráfico da perda de pacote, observou que a quantidade de processadores utilizada na afinidade influência na perda de pacote, ou seja, a quantidade processadores não pode ser o valor mínimo (1 Core) e nem o valor máximo (8 Cores).
• Sendo o valor mínimo o mais problemático
Resultadosparciais
23
• No Throughput observa-se que para pacote de 64 bytes de payload. Há uma limitação no processamento
• Porém para pacote maiores que 64 bytes, a solução consegue transmitir a line rate.
• No entanto, o comportamento da latência se mostra preocupante, pois dependendo da quantidade de processadores usados na afinidade (Processador <-> Interface de rede), quase atinge o threshold de 10 ms.
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
25
Tunning
26
• Durante os testes do protótipo 1.0 observou-se que quando se cria a afinidade (processador <> interface) no DPDK o processador, ele não fica totalmente a interface DPDK.
• Observou que isso influenciou o desempenho do OpenVSwitch.
Tunning
27
Tunning
28
Tunning
29
Tunning
30
Tunning
31
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Trabalhos Futuros• Conclusões
32
SoluçãoRevisada
33
• Protótipo 2.0• Avaliação:
• Testar a performance do encaminhamento entre portas utilizando openflow 1.0
• Ambiente:• Hardware: ServerU Netmap L-800• Software: Ubuntu 16.10, DPDK 16.07, OVS 2.6.0• Gerador de Tráfego: JSDU SMARTCLASS ETHERNET
• Metricas:• Latencia • Throughput• Perda de pacote
SoluçãoRevisada
34
• Protótipo 2.0
SoluçãoRevisada
35
• Protótipo 2.0
SoluçãoRevisada
36
• Protótipo 2.0
SoluçãoRevisada
37
• Protótipo 2.0• Case 1
SoluçãoRevisada
38
• Protótipo 2.0• Case 1
OpenFlow 1.0 OpenFlow 1.3
SoluçãoRevisada
39
• Protótipo 2.0• Case 1
OpenFlow 1.0 OpenFlow 1.3
SoluçãoRevisada
40
• Protótipo 2.0• Case 1
OpenFlow 1.0 OpenFlow 1.3
SoluçãoRevisada
41
• Protótipo 2.0• Case 2
SoluçãoRevisada
42
• Protótipo 2.0• Case 2
SoluçãoRevisada
43
• Protótipo 2.0• Case 2
SoluçãoRevisada
44
• Protótipo 2.0• Case 2
SoluçãoRevisada
45
• Protótipo 2.0• Case 3
SoluçãoRevisada
46
• Protótipo 2.0• Case 3
SoluçãoRevisada
47
• Protótipo 2.0• Case 3
SoluçãoRevisada
48
• Protótipo 2.0• Case 3
SoluçãodeTransição
• AssoluçõesapresentadasdependemdodesenvolvimentodenovosAggregateManagersparaseremintegradasaoFIBRE2.0.
• ParaviabilizarousodoequipamentoWhiteboxnoFIBREatual(1.0)baseadoemOCF,asprimeirasunidadessendoentreguesàsilhasforamconfiguradascomapenasumabridgecomOF1.0.
• MaspoderãoserestendidasparaassoluçõesapresentadasacimaparatestesouquandooFIBRE2.0estiveremoperação.
Agenda• Motivação• Objetivos • Solução Inicial• Equipamentos • Resultados Parciais• Tunning• Solução Revisada• Conclusões e Trabalhos Futuros
50
Conclusões
• Otrabalhofoirealizadoem6mesesutilizandodoistiposdeHardwares
•ServerUL800•Supermicro5018A-TN7B
•OsmelhoresresultadosdedesempenhoforamobservadosnoL800.FicoupendentevalidarseotunningnoSuperMicroteráosmesmosresultados.•ApartirdoTunningutilizadoowhiteboxtemumdesempenhoparecidocomodoSwitchPronto.•Alatênciamelhoroubastante,masaindaestamosembuscadenovosvalores.
TrabalhosFuturos
•Avaliardesempenhocomportas10G•AnalisaraplicabilidadenaFIBREnet•ReplicarsoluçãoemwhiteboxBroadcom
•Ex:Pica8Pronto3295/3297comPicOS(4portas)•ExplorarnovasfeaturesdoOVSquandodisponíveis
•Meters,QinQnativo…•Homologarnovosequipamentos
•Maiordensidadedeportas•Suporteanovastécnologias(HyperThreads,VT-d,Hugepages1G)
•ValidarsoluçãonoCentOSquepossuimaisopçõesdetunning,ex:perfilnetwork-latency
TrabalhosFuturosFabricante SuperMicro Nexcom Lanner Lanner
Modelo 5018D-FN8T NSA 5160 NCA-4010A NCA-5510A
Chipset Xeon® Brodwell D-1500 Family
Xeon® Brodwell D-1500 Family
Xeon® Brodwell D-1500 Family
Xeon® Broadwell E5-2600 v4
Cores 4 6 8 18
Threads 8 12 16 36
HyperThreads Sim Sim Sim Sim
1G HugePages Sim Sim Sim Sim
VT-d Sim Sim Sim Sim
Interfaces de Rede
6x 1GbE RJ452x 10GE SFP+1x PCIe 3.0 x8 slot:- Up to 4x1GE- Up to 2x10GE- Up to 2x40GE
8x 1GbE RJ452x Expansion slot:- Up to 16x 1GE- Up to 8x 10GE
16x 1GbE RJ452x 10GbE SFP+1x Expansion slot:- Up to 8x1GE- Up to 4x10GE- Up to 2x40GE
4x Expansion slots:- Up to 32x1GE- Up to 16x10GE- Up to 8x40GE
Price $761.35 $1,758.00 $1,560.00*
Thank you / ObrigadoFernando Farias (UFPA)Marcos Schwarz (RNP)
www.facebook.com/fibre.project
www.fibre.org.br