L’approche Big Data en finance de marché 2/2
8
L'approche Big Data en finance de marché
-
Upload
novencia-groupe -
Category
Documents
-
view
1.799 -
download
0
Transcript of L’approche Big Data en finance de marché 2/2
L'approche Big Data en finance de marché
Big data et la finance
• Une tendance : forte croissance du volume d'information
• Une problématique : stocker, capacité à traiter et restituer
• Application à la Finance de marché :
– Trading Flow
– Market data et données de référentiels
– Gestion du Risk
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 2
Les différentes approches et technologies
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 3
MapReduce OLAP
NoSQL
- Hadoop (Avro, HBase, Hive, Pig,…) - Google Research 2004 : Map Reduce one
simple Data Processing on Large Clusters
- Les 12 règles d’Edgard F. Codd de 1993 - MDX en 1997 avec Mosha Pasumansky - Des produits chez Oracle, SAP et Adobe
- Key Value Store - Column Family Store - Document Store (MongoDB) - Graph Database (Neo 4j) 2000
L'approche QuartetFS
OLAP in memory
– Des standards (MDX), intégration datasource dans Excel
– Calculs runtime
– Intégration en temps réel
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 4
Java et son écosystème
Entre le Framework et le produit
Travailler sur un projet ActivePivot
• Partie intégration … Partie développement
• Des composants fournis adhoc (sécurité, GUI, ...)
• Des problématiques sous jacentes riches qui induisent des développements intéressants
– Intégration dans le SI
– Des JVM un peu hors norme
– Travail sur les performances, optimisation, arbitrage de contraintes
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 5
Sur le terrain : du POC à la production
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 6
Le POC avec QuartetFS
L'intégration dans le système
d‘information
Au delà du POC : développer les fonctionnalités
Benchmarks, tests,
optimisations
Accompagner les utilisateurs vers un
outil différent
Travail d’adaptation aux standards de la maison
Processus et systèmes IT
Possibilité de rester dans Excel ActivePivot Live garde une
approche TDC Attention ce n’est pas un
report fermé, mais au contraire dynamique :
• Liberté de composition • Arrivée de données au
fil de l’eau • Calculs à la demande
de visualisation • Reflet des intégrations
Et après … : maintenance et évolution
• Suivi de production facilité
– Tooling fourni par QuartetFS
– Technologies standards (Webservice, MBean, JConsole, logger)
– Développement maison pour affiner
• Les évolutions
– Positionner le curseur entre développer et utiliser
– Sortie régulière de versions QuartetFS
– Tester, benchmarker régulièrement les impacts
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 7
Sur le terrain : la collaboration avec QuartetFS
03/12/2013 Groupe NOVENCIA - 25 Rue de Maubeuge 75009 PARIS - Tél. : 01 44 63 53 13 - Fax : 01 44 63 53 14 - www.novencia.com - [email protected] 8
