Post on 01-Jun-2018
8/9/2019 Perpetual Analytics
1/39
B u s
i n e s s U n i t o r P r o d
u c t N a m e
I B M
E n t i t y A n a l y t i c
S o l u t i o n s
P
e r p e t u a
l A n a l y t
i c s
D
a t a f i n d s
t h e d a t a …
R e l e v a n c e
f i n d s t h e
u s e r
J e f f J o n a s , C h i e f
S c i e n t i s t , I B M
E n t i t y A n a l y t i c s
B l o
g g i n g a t w w w . J
e f f J o n a s . T y p e P
a d . c o m
8/9/2019 Perpetual Analytics
2/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
M y
B a c k g r o u n d
!
F o u n d
e d S y s t e m s R e
s e a r c h & D e v e
l o p m e n t ( S R D ) i n 1 9 8 3
!
M o v e d
h e a d q u a r t e r s
t o L a s V e g a s i n e a r l y 9 0 ’ s
!
W o r k e d w i t h t h e g a m i n g i n d u s t r y t
o h e l p t h e m b e
t t e r
u n d e r s t a n d w h o t h e y w e r e d o i n g b u
s i n e s s w i t h – r
e s u l t i n g i n
t h e N O R A ( N o n - O b v
i o u s R e l a t i o n s h i p A w a r e n e s s )
t e c h n o l o g y
!
F u n d e
d b y I n - Q - T e l , t h e C I A ’ s v e n
t u r e c a p i t a l a r
m , i n 2 0 0 1
!
B r o u g h t i n a p r o f e s s
i o n a l m a n a g e m e n t t e a m i n 2 0 0 2
!
A c q u i r e d b y I B M J a n u a r y 2 0 0 5
!
N o w t
h e C h i e f S c i e n
t i s t o f t h e I B M E n t i t y A n a l y t i c s
8/9/2019 Perpetual Analytics
3/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
I f a . 6 %
d
i f f e r e n c
e
m a t t e r s t h i s
m u c h …
…
n o w o n d
e r
t r a d i t i o n a l
i n
f o r m a t i o n
s y s t e m s l a c k s o
m u c h
i n t e l l i g e n c
e !
8/9/2019 Perpetual Analytics
4/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
K n o w i n g W h a t
Y o u K n o w a
n d H a v i n g a n
I n t e g r a t e d
P i c t u r e
i s F u n d a m e n t a l t o R e a l - t i m e U n d e r s t a n d i n g
= P e r s i s
t e n t C o n t e x
t
i s F
u n d a m e n t a l
t o P e r p e t u a l A n a l y t i c s
8/9/2019 Perpetual Analytics
5/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
D o
m a i n s o f C
o n t e x t
!
W h o
, w h a t , w h e r e , w h e n
!
S a m e , s i m i l a r , r e l a t e d , d i
s s i m i l a r
8/9/2019 Perpetual Analytics
6/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
S c o p e o f t h i s P r e s e n t a t i o n
!
W h o
= I d e n t i t i e s ( p e o p l e
a n d o r g a n i z a t i o n s )
!
S a m e = S e m a n t i c R e s o l u t
i o n
T h e R o l e o f
I d e n t i t y
R e s o l u t i o
n
T o w a r d s P e r p e t u a l A n a l y t i c s .
8/9/2019 Perpetual Analytics
7/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
I d e n t i t i e s , E v e n t s , S e n s o r s a n d O
b s e r v a t i o n
s F E A T U R E S :
M a r
k R a n d a l S m i t h
1 2 3 M a i n S t r e e t
7
1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4
I d e n t i t i e s
R a n d a l S m i t h
D O B : 0 6 / 0 7 / 7
4
7 1 3 7 3 1 5 5 7 7
M
a r k R a n d y S m
i t h
1
2 3 M a i n S t r e e
t
7
1 3 7 3 1 5 5 7 7
R e c o r d # A - 7 0
1
R e c o r d # B - 9 1
0 3
O b s e r v a t i o n s
P r
o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
S e n s o r s
E v e n t s
I n t e r n e t
I n q u i r y
A r r e s t
U
n k n o w a b l e
P a r t i t i o n e d
8/9/2019 Perpetual Analytics
8/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
C o n s i d e r t h e
Q u e r y A g a i n s t t h e O
b s e r v a b l e
s
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7
7
M a r k R a n d y S
m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
R e c o r d # A -
7 0 1
T h e Q u e r y
R e c o r d # B -
9 1 0 3
S
e n s o r s
O b s e r v a t i o n s
8/9/2019 Perpetual Analytics
9/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
D i s c o v e r a b l e
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7
7
M a r k R a n d y S
m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
T h e Q u e r y
R e c o r d # A -
7 0 1
R e c o r d # B -
9 1 0 3
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
S
e n s o r s
O b s e r v a t i o n s
8/9/2019 Perpetual Analytics
10/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
O t
h e r O b s e r
v a b l e s … a r e U n d i s c o
v e r a b l e
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7
7
M a r k R a n d y S
m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
T h e Q u e r y
R e c o r d # A -
7 0 1
R e c o r d # B -
9 1 0 3
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
S
e n s o r s
O b s e r v a t i o n s
8/9/2019 Perpetual Analytics
11/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
I d e n t i t y R e s o l u t i o n … R
e c o n s t r u c t s C o n t e x t
R a n d a l S m i t h
D O B : 0 6 / 0 7 /
7 4
7 1 3 7 3 1 5 5 7 7
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
R e c o r d # A - 7
0 1
R e c o r d # B - 9
1 0 3
S
e n s o r s
O b s e r v a t i o n s
F E A T U R E
S :
M a r
k R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t
r e e t
7 1 3 7 3 1 5 5
7 7
D O B 0 6 / 0 7
/ 7 4
R e c o n s t r u c t e d
I d e n t i t i e s
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
8/9/2019 Perpetual Analytics
12/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
F e a t u r e a n d E v e n t R e c o
n s t r u c t i o n
R a n d a l S m i t h
D O B : 0 6 / 0 7 /
7 4
7 1 3 7 3 1 5 5 7 7
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
R e c o r d # A - 7
0 1
R e c o r d # B - 9
1 0 3
O b s e r v a t i o n s
E v e n t s :
I n t e r n e t I n q u i r y
A r r e s t
R e c o n s t r u c t e d
I d e n t i t i e s
S
e n s o r s
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
8/9/2019 Perpetual Analytics
13/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
C o n s t r u c t e d
C o n t e x t i s
P e r s i s t e d
i n a D a t a b
a s e
R a n d a l S m i t h
D O B : 0 6 / 0 7 /
7 4
7 1 3 7 3 1 5 5 7 7
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
R e c o r d # A - 7
0 1
R e c o r d # B - 9
1 0 3
O b s e r v a t i o n s
P e r s i s t e
n t
C o n t e x
t
M a r k
F E A T U R E S :
M a r k
R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4
S
e n s o r s
P r o s p e c t
D a t a b a s e
F r a u d
D a t a b a s e
8/9/2019 Perpetual Analytics
14/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
M u
l t i - S e n s o r
F u s i o n R e - C o n s t r u c t
s t h e U n k n o w a b l e
R e c o n s t r u c t e d
I d e n t i t y
F E A T U R E S :
M a r k R a
n d a l S m i t h
1 2 3 M a
i n S t r e e t
7 1 3 7
3 1 5 5 7 7
D O B 0
6 / 0 7 / 7 4
I d e n t i t y
S
e n s o r s
F E A T U R E S :
M
a r k R a n d a l S m i t
h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4
U n k n o w a b l e
K n o w a b l e !
8/9/2019 Perpetual Analytics
15/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
M o
r e O b s e r v
a t i o n s = B e t t e r R e c o
n s t r u c t i o n
F E A T U R E
S :
M a r
k R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t
r e e t
7 1 3 7 3 1 5 5
7 7
D O B 0 6 / 0 7
/ 7 4
F E A T U R E S :
M a r k R a n d y S m i t h , R a n d a l S m i t h , R a n d y S m i t h
1 2 3 M a i n S t r e
e t , F l a t 6 2 0 L e n n o x G a r d e n s
7 1 3 7 3 1
5 5 7 7 , 7 9 6 0 6 4
0 3 0 4
D O B 0 6 / 0 7 / 7
4 , P a s s p o r t : 0 0 1 0 0 3 4 2 9 0 0 2
2 O b s e r v a t i o n s
6 O b s e r v a t i o n s
M o r e O b
s e r v a t i o n s
M o r e
8/9/2019 Perpetual Analytics
16/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
N o
w t h e U n - d i s c o v e r a b
l e …
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
M a r k R a n d y S
m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
R e c o r d # A -
7 0 1
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7
7
R e c o r d # B -
9 1 0 3
Q u e r i e s
8/9/2019 Perpetual Analytics
17/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
… A f t e r C o n t
e x t R e c o n s t r u c t i o n …
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1
5 5 7 7
R e c o r d # A - 7 0 1
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7 7
R e c o r d # B - 9 1 0 3
F E A T U R E
S :
M a r k R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4 P
e r s i s t e n t
C o n t e x t
O b s e
r v a t i o n s
8/9/2019 Perpetual Analytics
18/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
E n a b l e s a N e
w P a r a d i g m
i n R e a l - t i m e D i s c o v e r y
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
F E A T U R E
S :
M a r k R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1
5 5 7 7
R e c o r d # A - 7 0 1
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7 7
R e c o r d # B - 9 1 0 3
Q u e r i e s
P e r s i s t e n t
C o n t e x t
O b s e
r v a t i o n s
8/9/2019 Perpetual Analytics
19/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
A d
d i t i o n a l l y … A l l D a t a
i s F i r s t T r
e a t e d a s Q
u e r y
M a r c R S m i t h
1 2 3 M a i n S t
7 1 3 7 3 0 5 7 6
9
T h e q u e r y c o u l d b e :
- A u s e r
w i t h a q u e
s t i o n
O r , a
l s o c o u l d b e d a t a :
- A n e w i n v e s t i g a t i o n
- A b a c k
g r o u n d c h e c k
- A n e w a c c o u n t
- A n a d d
r e s s c h a n g e
- D e c e a s
e d p e r s o n s
Q u e r i e s
8/9/2019 Perpetual Analytics
20/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
A n
d … A n y Q
u e r y c a n b
e T r e a t e d
a s D a t a …
E m i l e S w e l t e r
S a n F r a n c i s c o
1 2 / 0 3 / 7 2
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1
5 5 7 7
R e c o r d # A - 7 0 1
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7 7
R e c o r d # B - 9 1 0 3
?
Q u e r i e s
P e r s i s t e n t
C o n t e x t
O b s e
r v a t i o n s
8/9/2019 Perpetual Analytics
21/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
… I n W h i c h C
a s e t h e Q
u e r y c a n S
t i c k ( P e r s i s t )
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1
5 5 7 7
R e c o r d # A - 7 0 1
R a n d a l S m i t h
D O B : 0 6 / 1 7 / 7 4
7 1 3 7 3 1 5 5 7 7
R e c o r d # B - 9 1 0 3
P e r s i s t e n t
C o n t e x t
O b s e
r v a t i o n s
Q u e r i e s
E m i l e S w e l t e r
S a n F r a n c i s c o
1 2 / 0 3 / 7 2
8/9/2019 Perpetual Analytics
22/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
N o
t a b l e , S t i c
k i n t h e S a m e D a t a S p a c e
P e r s i s t e n t
C o n t e x t
8/9/2019 Perpetual Analytics
23/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
N o
w , N e w O b
s e r v a t i o n s A n s w e r P
e r s i s t e n t Q u e r i e s
Q
u e s t i o n a n s w e r e
d
w h
e n i t b e c o m e s t r u e !
E m i l e e S w e l t e r
3 2 1 O v i n g t o n P l a c e
S a n F r a n c i s c o
0 3 / 1 2 / 7 2
N e w O b
s e r v a t i o n
P e r s i s t e n t
C o n t e x t
E m i l e S w e l t e r
S a n F r a n c i s c o
1 2 / 0 3 / 7 2
Q u e r i e s
8/9/2019 Perpetual Analytics
24/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
T h
i s i s I d e n t
i t y R e s o l u t i o n
R a n d a l S m i t h
D O B : 0 6 / 0 7 /
7 4
7 1 3 7 3 1 5 5 7 7
M a r k R a n d y S m i t h
1 2 3 M a i n S t r e
e t
7 1 3 7 3 1 5 5 7 7
P h
o n e B o o k
D
a t a b a s e
W a t c h L i s t
D a t a b a s e
R e c o r d # A - 7
0 1
R e c o r d # B - 9
1 0 3
O b s e r v a t i o n s
P e r s i s t
e n t
C o n t e
x t
M a r k
F E A T U R E S :
M a r k
R a n d y S m i t h , R a n d a l S m i t h
1 2 3 M a i n S t r e e t
7 1 3 7 3 1 5 5 7 7
D O B 0 6 / 0 7 / 7 4
S
e n s o r s
8/9/2019 Perpetual Analytics
25/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r S
e m a n t i c a l l y
r e c o n c i l e d
o b s e r v a t i o n s
a r e
n e c e s s a r y t o
u n
d e r s t a n d i n g
c o n t e x t .
H a n d l i n g t h i s i n
r e a l - t i m e , a t s c a l e
a n d i n a
s u s t a i n a b l e m a n n e r
i s t h e h a r d p
a r t !
8/9/2019 Perpetual Analytics
26/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
P e r p e t u a l A n a l y t i c s : T h
e G a m e C h
a n g e r
T h e “ d a t a f i n d s t h e d a t a ” …
a n d r e l e v a n c e
f i n d s t h
e c o n s u m e r .
8/9/2019 Perpetual Analytics
27/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
1 s t p r i n c i p a
l
I f y o u
d o n o t p r o c e
s s e v e
r y
a
r r i v i n g
p i e c e
o f d a t a f i r s t
l i k e
a
q u e r y
… t h e n
y o u w i l l n o t k
n o w
i f
y o u h o
l d c o n t e n t t h
a t m a t
t e r s
… u n t i l s o
m e o n e
a s k s .
8/9/2019 Perpetual Analytics
28/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
2 n d p
r i n c i p a
l
I f y o u d o n o
t a s s e m b l e a n d
p e r s i s t c o n t e x t o n d a
t a s t r e a m s
… c o m p u t a t i o n a l c o s t s f o
r
a f t e r -
t h e - f a
c t a s s e
m b l y a
r e
u n b e
a r a b l e
.
8/9/2019 Perpetual Analytics
29/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
P e r p e t u a l A n a l y t i c s R e q
u i r e s …
!
P e r s i s t e n t
C o n t e x t
–
R e c e i v e d
d a t a i s r e c o n c i l e d t o
h i s t o r i c a l h o l d i n g s a n d p e r s i s t e d ( v e r s u s
c o n t e x t - o n - t h e -
f l y )
!
T e t h e r e d t o S o u r c e S y s t e m s
–
P r o c e s s i n
g o f a d d s , c h a n g e s a n d d e l e t e s f r o m s o u r c e s y s t e m s
!
F u l l A t t r i b
u t i o n
–
E v e r y r o w
m u s t r e t a i n i t s p e d i g r e e ( n o d a t a s u r v i v o
r s h i p p r o c e s s i n g )
!
D a t a a n d Q
u e r y E q u a l i t y
–
P r o c e s s i n
g n e w o b s e r v a t i o n s a
s a q u e r i e s
–
P e r s i s t i n g
q u e r i e s a s d a t a ( a s s e l e c t e d a n d w i t h e x p i r a t i o n s )
!
S e q u e n c e N e u t r a l i t y
–
N e w d a t a
c o r r e c t s p r e v i o u s o u
t c o m e s i m p r o v i n g a c c u r a c y o v e r t i m e
–
T h e d a t a b a s e e n d - s t a t e i s t h e
s a m e d e s p i t e t h e a r
r i v a l o r d e r o r t i m i n g
o f t h e d a t a
8/9/2019 Perpetual Analytics
30/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
S e
q u e n c e N e
u t r a l i t y i s
C r i t i c a l f o
r C o n t e x t
S t a b i l i t y
S t a b l e
(
e . g . , A n a l y t i c s w i t h
S
e q u e n c e N e u t r a l i t y )
D a t a L o
a d i n g O v e r T i m e
P e r c e n t o f E r r o r
R e l o a d
# 1 1
R e l o
a d # 1 2
U n s t a b l e
( e . g . , d a t a w a r e h o u s i n g
w h i c h r e q u i r e s p e r i o d i c
r e l o a d s t o h a n d l e d a t a d r i f t )
D r i f t
8/9/2019 Perpetual Analytics
31/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
S e m a n t i c R e c o n c i l i a t i o n : 2 3
Y e a r s o f P r
a c t i c a l E x p e
r i e n c e
!
D e t e r m i n i s t i c w i t h r e a l - t
i m e a n d s e l f - c o r r e c t i n g p r o b a b i l i s t i c
t h r e s h o l d i n g i s e s s e n t i a l
t o d e l i v e r t h e h i g h e s t p o s s i b l e a
c c u r a c y
a n d s c a l a
b i l i t y
!
S u s t a i n a b i l i t y r e q u i r e s :
–
N o d e p e n d e n c e o n t r
a i n i n g d a t a s e t s ( i n i t i a l o r o t h e r w i s e )
–
N o m e r g e a n d p u r g e ( d a t a s u r v i v o r s h i p ) p r o c e s s i n g
–
N o i n - m e m o r y f u l l d a
t a s e t p e r s i s t e n c e
!
F e d e r a t e
d ( i . e . , c o n t e x t - o n - t h e - f l y ) m a t c
h i n g / l i n k a g e a r c
h i t e c t u r e s
c a n n o t s c a l e
!
T h e g r e a
t e s t d e g r e e o f d i s c o v e r y a n d i n t
e l l i g e n c e c o m e s
f r o m
a n a l y t i c s
o n d a t a s t r e a m s ( v e r s u s b a t c h p r o c e s s i n g )
!
T h e m o s t c o m p l e x i t y i s c
a u s e d b y a t t e m p
t i n g S e q u e n c e N
e u t r a l i t y
a t s c a l e
8/9/2019 Perpetual Analytics
32/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
C u r r e n t l y A v a i l a b l e T e c
h n o l o g y
!
C o n t e x t
–
S a m e i d e
n t i t i e s ( I d e n t i t y R e s o l u t i o n )
–
R e l a t e d i d e n t i t i e s ( R e l a t i o n s h i p R e s o l u t i o n )
!
S t r e a m i n g
c o n t e x t o f
–
P e o p l e
–
O r g a n i z a t i o n s
–
C e r t a i n d i s c e r n a b l e o b j e c t s ( e
. g . , b o a t s , p l a n e s , e t c
. )
!
S c a l a b i l i t y
–
3 B r o w s , 6 0 0 M r e s o l v e d e n t i t i e s , > 2 , 0 0 0 c o n t e x t u a
l i z e d o b s e r v a t i o n s p e r s e c o n d
!
S u s t a i n a b i l i t y
–
S i g n i f i c a n t s e q u e n c e n e u t r a l i t y p r o c e s s i n g a t i n g e s
t i o n
8/9/2019 Perpetual Analytics
33/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
L a t e s t A d v a n
c e : A n o n y m o u s R e s o l u t i o n
A
n e w t e c h n i q u e t h a t a l l o w s “ n ” d a t
a h o l d e r s t o s h a r e
a n o n y m i z e d i d e n t i t y - b a s
e d o b s e r v a
t i o n d a t a …
w h e r e b y c o n t e x t i s a s s e
m b l e d a n d p e r s i s t e d w
h i l e t h e
d a t a r e m a i n s
i n a c r y p t o
g r a p h i c f o r
m …
r e
s u l t i n g i n a
m o r e s e c u r e a n d p r i v a
c y - e n h a n c i n g w a y
t o
d e l i v e r m u
l t i - p a r t y , l a r g e - s c a l e p
e r p e t u a l a n
a l y t i c
s y
s t e m s
8/9/2019 Perpetual Analytics
34/39
8/9/2019 Perpetual Analytics
35/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
B l o
g g i n g A b o u t A l l O
f T
h i s A t :
w w w
. J e f f J o
n a s . T y p e P a d . c o m
I n f o r m a t i o n M a n a g e m e n t
P r i v a c y
N a t i o
n a l S e c u r i t y
a n
d T r i a t h l o n s
8/9/2019 Perpetual Analytics
36/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
T h e N
e x t B i g L e a p
I n t e g r a t
e d o b s e r v a t
i o n s
w h i c h a r e … c o
n t e x t u a l l y r
e c o n c i l e d
i n …
r e a l - t i m e
w i t h … s e q u e
n c e n e u t r a l
l e a r n i n g
w h e r e … d a t a a n d h y p o t h e s e s c o e x i s t
c r e a t i n g … p e r s i s t e n t a w
a r e n e s s
t o w a r d n e w l e v e l s
o f … a c t i v e
i n t e l l i g e n c e
8/9/2019 Perpetual Analytics
37/39
B u s
i n e s s U n i t o r P r o d
u c t N a m e
I B M
E n t i t y A n a l y t i c
S o l u t i o n s
P
e r p e t u a
l A n a l y t
i c s
D
a t a f i n d s
t h e d a t a …
R e l e v a n c e
f i n d s t h e
u s e r
J e f f J o n a s , C h i e f
S c i e n t i s t , I B M
E n t i t y A n a l y t i c s
B l o
g g i n g a t w w w . J
e f f J o n a s . T y p e P
a d . c o m
8/9/2019 Perpetual Analytics
38/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
S a t u r a t e d O b s e r v a t i o n s = C o m p l e
t e R e c o n s t r u c t i o n
O b s e r v
a t i o n s
U n i q u e O b j e c t s
T r u e P o p u l a t i o n
C o m p l e t e
R e c o n s t r u
c t i o n
H e r e
!
8/9/2019 Perpetual Analytics
39/39
IBMEntit
yAnalyticSolutions
P e r p e t u a l A n a l y t i c s D a t a f i n d s d a t a a n d r e l e v a n c e f i n d s t h e u s e r
o n t r a s t :
H u m a n C o n
t e x t u a l i z a
t i o n
C o n s c i o
u s – s t r e
a m i n g c o n t e x t u a l i z a t i o n
D r e a m i n g – d e e p
r e - c o n t e x t u a l i z a t i o n
R e l e v a n c e o f t h i s n o t i o n :
–
W e h a
v e a l o n g w a
y t o g o t o w a
r d s i n t e l l i g e
n c e o n
s t r e a m s b e f o r e w e m u s t r e s o r
t t o o f f - l i n e
p r o c e s s i n g