Post on 26-Jan-2017
BI in de cloudBatch processen van dagen naar
uren
Arie Twigt
|
Deze sessie
• BI in de cloud• Big Data• Microsoft Azure Batch• Business case.
2
|
BI in de cloudBusiness Intelligence resources die zijn geinstalleerd en runnen op een externe server (de cloud). (Marston et al., 2011, Benlain & Hess, 2011, Seruga & Hwang, 2012).
Voorbeelden:
Database DashboardClusters/VM’s 3
|
Efficientie Business Agility Kostenvoordelen Universele toegang tot middelen Schaalbaarheid
4
Kansen BI in de cloud
|
Uitdagingen BI in de cloud Privacy en data controle issues Security en betrouwbaarheid
5
|
Big data?Big data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.Gartner
http://www.gartner.com/it-glossary/big-data/
In dit geval:“Data hoeveelheden te groot om te verwerken op een enkele machine.”
6
|
Financiele modellen en lange wachttijden
Verwerken van financiele modellen:
• Redelijk handelbare input data (bijv. 100 MB) met data over bijv.:
• Klantportefuille beleggingen• Hypotheken
• Toepassing (wiskundige) calculaties:• Interpolatie• Kasstroom projecties• Solver/goalseek• Tal van andere calculaties
• Veel output data: • Bijvoorbeeld data met kasstromen
7
|
Is data Big DataBig data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.
• De output is high-volume;• Het gehele proces te zwaar om op een enkele computer uit te
voeren;• Verdeel de calculaties over meerdere computers• Verzamel de uitkomsten van de computers en stel het
resultaat samen.
8
|
Microsoft Azure Batch Services
9Sogeti PowerPoint Referentie 2014
|
Waarom Azure Batch?
10
• Verdeel een grote taak in kleinere taken
• Laat kleinere taken parallel uitgevoerd worden
• Aantal benodigde computers beschikbaar voor taken
|
Het proces
Task1 Node
1
Node 1
Node 1
Node 1
Node 1
Task1
Task1
Task1
Task1
Task1
Task1
Task1
Task1
Task1
Dataset
100.000 records
Input dataset
Job: 10 tasks
10.000 records per task
Pool: 5 nodes
2 tasks per node
|
Architectuur
12
|
4 scenario’s Per rate
Per kasstroomPer hypotheek
Case: Hypotheekwaarderingen
13
360 kasstrome
n per hypotheek
2 rates per hypotheek per kasstroom
100.000 hypotheken
|
Gegenereerde data
500.000 * 360 * 2 * 4 =
1.440.000.000
|
Onderdelen
15
input
|
Het proces
16
|
Azure Batch Explorer
17
|
Azure Batch Explorer – Heatmap
18
|
16 nodes
19
|
Azure Batch pool time lapse
20
|
Azure Storage Explorer
21
|
Azure SQL Data Warehouse - Polybase
22
|
Business case
23
• Runtijden significant teruggebracht;• Databestanden altijd beschikbaar
in de cloud;• Key informatie aan je vingertoppen
met Power BI op de iPad.
|
Cloud BI, een Big Data case
24
Efficientie: Snel en makkelijk een groot aantal computers gebruiken en weer afsluiten
Business Agility: Door snelle doorlooptijden snel kunnen inspelen op veranderingen in de map door snelle inzichten in resultaten
Kostenvoordelen: Betaal alleen wat je gebruikt en nodig hebt
Universele toegang tot middelen: Mogelijkheid om overal met de Microsoft Azure credentials toegang te krijgen tot data
Schaalbaarheid: Eenvoudig capaciteit schalen voor wat nodig is
|
Verdeel en heers
25
|
Vragen?
26