Post on 04-Jul-2015
description
Harald Kikkers
ha.kikkers@itcg.nl I T C G
IT Consultancy Group bv
Friesestraatweg 215
9743 AD Groningen
…maar mág het ook?
I T C G …maar mág het ook?
2
Harald
Kikkers ITCG | DATPROF
I T C G Overeenkomst tussen…
3
ig Data
usiness Intelligence ?
&
I T C G De letter…
4
I T C G En zou je een “B” film maken…
5
Bron: http://www.pastemagazine.com/.../the-100-best-b-movies-of-all-time.html
39. Shark Attack 3: Megalodon
(2002 / David Worth)
32. The Incredible Shrinking Man
(1967 / Jack Arnold)
18. Braindead
(1992 / Peter Jackson)
I T C G Business case voor B-films?
• Vele liefhebbers
• ‘Bewezen technieken’, voldoende matige acteurs
• Goedkoop
• Positieve business case
– Duidelijk doel
– Lage kosten
– Goed haalbaar
6
I T C G Big data & BI projecten
Onduidelijkheid? “NEE!”
versie-nummer 7
usiness case?
Doel Haalbaarheid Voordelen Kosten
I T C G Peter Jackson…
8
Braindead (1992), maar ook…
I T C G The Lord of the Rings
Doel
• A-film / blockbuster
Haalbaarheid
• Techniek garandeert succes?
Business case?
9
I T C G Suggestie / werkelijkheid?
10
Kunst-project BI-project
I T C G Betrouwbaarheid informatie!
11
Business Case
Doel
Betrouwbaarhei
d
Informatie
Kosten Haalbaarheid
I T C G Betrouwbaarheid
12
I T C G Big Data = uitdaging!
13
I T C G LOFAR
14
I T C G LOFAR – data & proces
15
Glasvezel
verbindingen
Duizenden antennes
A/D-converters Super computer
Wetenschappelijke
analyse
I T C G Universitair medisch centrum
versie-nummer 16
Zorg, onderzoek & onderwijs
Systemen Foto’s, tekst en tabellen
Clinical Data Repository
I T C G Problemen oneerlijk verdeeld?
• Gelukkig niet
• Ook ‘Small Data’ projecten
bieden geweldige faal-kansen!
• Data-problemen
• Proces-problemen
17
Facebook Google
amazon.com
I T C G Informatie-snoepwinkel…
18
I T C G Wie ben ik? Wat wil ik?
19
Vernieuwer?
Volger
?
I T C G Chocola van te maken…?
20
Bron
Blok D.
Piet Z.
Klaas S.
D. Blok
V
M
M
F
Man G.H. M
Naam Geslacht Orderbedrag Valuta
EUR
EUR
DKK
EUR
EUR
25
100
250
50
75
Aantal klanten?
(zelfde naam en geslacht) Gemiddelde besteding?
10
0
12
5
16
7
57 71 95
5 4 3
I T C G Proces-problemen
21
I T C G Onderken én elimineer bedreigingen!
• Vele (vaak ogenschijnlijk klein)
• Kunnen jouw dag verpesten!
22
I T C G Kunnen wij het maken?
• Juiste architectuur kiezen
• Data- en proces-problemen onderkennen én oplossen
• Binnen beperkte tijd
• Tegen beperkte kosten
23
I T C G
Kenmerken bronnen
• Aantal bronnen?
• Mate van overlap?
• Complexiteit meta-data?
• Hoeveelheid data?
• Mutatiegraad en aanwas?
• Kwaliteit data?
Kenmerken gebruiksdoel
• Vaste of variabele vraag?
• Continue of periodieke
opvraging?
• Aggregatie of details?
• Indicatief of exact?
• Historisch of actueel?
24
Architectuur
I T C G Architectuur: Historie…?
25
Ja hoor, we
ondersteunen
historie!
…van meta data?
…van transformatieregels?
…van brondata?
…van afgeleide gegevens?
…van mutaties op brondata?
…van mutaties op afgeleide gegevens?
…?
I T C G
H S E
Veel bronnen?
• Sturen op genericiteit koppelvlakken
– Afspraken (GLO’s)
– Ontkoppeling
– Techniek
26
E S H E S H
I T C G
H L E
Complexe meta-data?
27
E L H E L H M M M
Meta Data
T T T
O O O
Q Q Q
Software generatie
I T C G Doel en middel
28
I T C G Optimaliseren maak-proces
• Meteen focus op data kwalitiet (geen GI-GO!)
• AGILE methode (iteratief!)
• Big vertraging door testen met Big Data?
29
AGILE bouw
Big Data test
I T C G Small Data test
30
AGILE bouw
‘Small Data’ test
AGILE bouw
Big Data test
I T C G Testen met subsets
31
S
I T C G Kunnen wij het maken?
32
“JA!!!”
AGILE
Tooling
Snelheid
Performance
Betrouwbaarheid “Alles in place”
Productiviteit
Efficiency
Binnen budget
Duidelijke doelstelling
Op planning
Architectuur
I T C G …maar mág het ook?
33
Eigen organisatie
Publiek Wet- en regelgeving
Gevoelige data?
I T C G Eigen organisatie
34
I T C G Publiek
35
I T C G Wet- en regelgeving
36
I T C G Business case – Kosten gevoelige
data
37
Risico’s
• Imago-schade
• Reputatie-schade
• Geldboetes
Maatregelen
• Beveiliging
• Screening
• Subsetting
• Anonimisering
• …
I T C G Geanonimiseerd testen
38
S
S
A
I T C G Anonimisering
39
‘Blank’ ‘Blur’ ‘Shuffle’ ‘Subset’
I T C G Geanonimiseerde analyse
40
A
I T C G Samenvatting
41
Business case? Kunnen wij het maken? …maar mág het ook?
I T C G Napraten…
42
E L
H
T
O
Q S
A
M