NeuroBayes® - a modern Moderne statistische Methoden als ...feindt/GridKA.pdf · pendulum,...
Transcript of NeuroBayes® - a modern Moderne statistische Methoden als ...feindt/GridKA.pdf · pendulum,...
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Moderne statistische Methoden als Basis für individualisierte Risikovorhersage
Prof. Dr. Michael Feindt Institut für Experimentelle Kernphysik Universität Karlsruhe
Wissenschaftlicher Beirat der
Phi-T Physics Information Technologies GmbH
NeuroBayes® - a modern analysis technique from High Energy Physics and its way as prognosis tool into business
Prof. Dr. Michael Feindt
Vorstand KCETA Universität Karlsruhe, KIT
Wissenschaftlicher Beirat Phi-T Physics Information Technologies GmbH
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Prof. Dr. Michael Feindt
Vorstand CETA Universität Karlsruhe
Wissenschaftlicher Beirat Phi-T Physics Information Technologies GmbH
NeuroBayes® - a modern analysis technique from High Energy Physics and its way as prognosis tool into business
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Predictable
The result of simple classical physics processes is exactly predictable (one cause leads to one definite unique result, determinism)
Examples:
pendulum, planets, billard, electromagnetism…
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Unpredictable
Purely random processes are not predictable at all (even if the initial conditions are completely known!)
Examples:
Lottery (Too many tiny influences and branchings, deterministic chaos)
radioactive decay (quantum mechanics)
electronic noise
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Probability
Many systems in nature and life: Mixture of predictable and unpredictable (quasi-) random or chaotic components.
Probability statements, statistics.
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Extraction of a predictable component from empirical data (or Monte Carlo simulations)
Statistically relevant predictions for future events
Individualisisation of probability statements:
conditional probabilities: f(t|x), dependent on individual event with properties x instead of general (a priori) probability f(t)
mean event
individual event
Our core technology:
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Particle physics experiments Many 1.000.000.000 identical experiments for many years: Collisions of e.g. electrons and positrons (at LEP)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
OPA
L ex
perim
ent
at L
EP
Quantum Mechanics: In every collision something else happens!
Experiments: Observe mean values, distributions, correlations, determine parameters (mean lifetime, spin, parity etc) from that.
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural networks
Neural networks: Self learning procedures, copied from nature
Parietal Cortex Frontal Lobe
Motor Cortex
Temporal Lobe
Brain Stem
Occipital Lobe
Cerebellum
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural networks
The information (the knowledge, the expertise) is coded in the connections between the neurons
Each neuron performs fuzzy decisions
A neural network can learn from examples
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural Network
basic functions
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural network transfer functions
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural network training
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Neural network training Difficulty: find global minimum of highly non-linear function in high (~ >100) dimensional space. Imagine task to find deepest valley in the Alps (just 2 dimensions)
Easy to find the next local minimum...
but globally... ...impossible!
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Naïve neural networks and criticizm We‘ve tried that but it didn‘t give good results - Stuck in local minimum - Learning not robust We‘ve tried that but it was worse than our 100 person-years analytical high tech algorithm - Selected too naive input variables - Use your fancy algorithm as INPUT ! We‘ve tried that but the predictions were wrong - Overtraining: the net learned statistical fluctuations Yeah but how can you estimate systematic errors? - How can you with cuts when variables are correlated? - Tests on data, data/MC agreement possible and done.
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Address all these topics and build a professional robust and flexible neural network package for physics, insurance, bank and industry applications: NeuroBayes®
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes® principle
NeuroBayes® Teacher: Learning of complex relationships from existing data bases (e.g. Monte Carlo)
NeuroBayes® Expert: Prognosis for unknown data
Output
Input
Sign
ific
ance
con
trol
Postprocessing
Preprocessing
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Probability that hypothesis is correct (classification) or probability density for variable t
How it works: training and application Historic or simulated data
Data set a = ... b = ... c = ... .... t = …!
Actual (new real) data
Data set a = ... b = ... c = ... .... t = ?
Expert system
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Classification: Binary targets: Each single outcome will be “yes“ or “no“ NeuroBayes output is the Bayesian posterior probability that answer is “yes“ (given that inclusive rates are the same in training and test sample, otherwise simple transformation necessary).
Examples: > This elementary particle is a K meson. > This event is a Higgs candidate. > Germany will become soccer world champion in 2010. > Customer Meier will have liquidity problems next year. > This equity price will rise.
NeuroBayes® task 1: Classifications
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes® task 2: Conditional probability densities
Probability density for real valued targets: For each possible (real) value a probability (density) is given. From that all statistical quantities like mean value, median, mode, standard deviation, percentiles etc can be deduced.
Examples: > Energy of an elementary particle (e.g a semileptonically decaying B meson with missing neutrino) > Q value of a decay > Lifetime of a decay > Price change of an equity or option > Company turnaround or earnings
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Prediction of the complete probability distribution – event by event unfolding -
Mode Expectation value
Standard deviation volatility
Deviations from normal distribution, e.g. crash probability
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Conditional probability densities in particle physics
What is the probability density of the true B momentum in this semileptonic B candidate event taken with the CDF II detector
with these n tracks with those momenta and rapidities in the hemisphere, which are forming this secondary vertex with this decay length and probability, this invariant mass and transverse momentum, this lepton information, this missing transverse momentum, this difference in Phi and Theta between momentum sum and vertex topology, etc pp
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
After having looked outside the ivory tower, realized:
These methods are not only applicable in physics
<phi-t>: Foundation of private company out of University of Karlsruhe, initially sponsored by exist-seed- programme of the federal ministery for Education and Research BMBF
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
2000-2002 NeuroBayes®-specialisation for economy at the University of Karlsruhe
Oct. 2002: GmbH founded, first industrial projects
June 2003: Removal into new office 199 sqm IT-Portal Karlsruhe
May 2008: Expansion to 700 sqm office Foundation of sub-company Phi-T products&services
Exclusive rights for NeuroBayes® Staff all physicists (almost all from HEP) Continuous further development of NeuroBayes®
History
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
(among others): BGV and VKB car insurances AXA and Central health insurances Lupus Alpha Asset Management dm drogerie markt (drugstore chain) Otto Versand (mail order business) Libri (book wholesale) Thyssen Krupp (steel industry)
Customers:
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Press (Die Welt, 21. April 2006)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Main message: NeuroBayes is a very powerful algorithm • robust – (unless fooled) does not overtrain, always finds good solution - and fast • can automatically select significant variables • output interpretable as Bayesian a posteriori probability • can train with weights and background subtraction • has potential to improve many analyses significantly • in density mode it can be used to improve resolutions (e.g. lifetime in semileptonic B decays) NeuroBayes is easy to use • Examples and documentation available • Good default values for all options fast start! • Direct interface to TMVA available • Introduction into root planned
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
<phi-t> NeuroBayes®
> is based on neural 2nd generation algorithms, Bayesian regularisation, optimised preprocessing with transformations and decorrelation of input variables and linear correlation to output. > learns extremely fast due to 2nd order methods and 0-iteration mode > is extremly robust against outliers > is immune against learning by heart statistical noise > tells you if there is nothing relevant to be learned > delivers sensible prognoses already with small statistics > has advanced boost and cross validation features > is steadily further developed
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ramler-plot (extended correlation matrix)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ramler-II-plot (visualize correlation to target)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Visualisation of single input-variables
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Visualisation of correlation matrix
Variable 1: Training target
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Visualisation of network performance
Purity vs. efficiency
Signal-effiziency vs. total efficiency (Lift chart)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Visualisation of NeuroBayes network topology
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Some applications in high energy physics
DELPHI: (mainly predecessors of NeuroBayes in BSAURUS) Kaon, proton, electron id Optimisation of resolutions inclusive B- E, φ, θ, Q-value B**, Bs** enrichment B fragmentation function Limit on Bs-mixing B0-mixing B- F/B-asymmetry B-> wrong sign charm
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Some applications in high energy physics
CDF II: Electron ID, muon ID, kaon/proton ID Optimisation of resonance reconstruction in many channels (X, Y, D, Ds , Ds**, B, Bs, B**,Bs**) Spin parity analysis of X(3182) Inclusion of NB output in likelihood fits B-tagging for high pt physics (top, Higgs, etc.) Single top quark production search Higgs search B-Flavour Tagging for mixing analyses (new combined tagging) B0, Bs-lifetime, ΔΓ, mixing, CP violation
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Some applications in high energy physics
Very recently: CMS: B-tagging
Belle: Continuum suppression B full reconstruction B flavour tagging
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
More than 40 diploma and Ph.D. theses…
from experiments DELPHI, CDF II, AMS and CMS used NeuroBayes® or predecessors very successfully.
Many of these can be found at www.phi-t.de Wissenschaft NeuroBayes
Talks about NeuroBayes® and applications: www-ekp.physik.uni-karlsruhe.de/~feindt Forschung
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes soft electron identification for CDF II (Ulrich Kerzel, Michael Milnik, M.F.)
Thesis U. Kerzel: on basis of Soft Electron Collection (much more efficient than cut selection or JetNet with same inputs) - after clever preprocessing by hand and careful learning parameter choice this could also be as good as NeuroBayes®
Just a few examples…
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Just a few examples…
NeuroBayes® selection
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Just a few examples… First observation of B_s1 and most precise of B_s2*
Selection using NeuroBayes®
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Nice new methods… Training with weighted events (e.g for JPC-determination)
Data-only training with sideband subtraction (i.e. negative weights)
Construction of weights for MC phase space events such that they are distributed like real data
Brand new: Interpretation of NeuroBayes output as Bayesian a posteriori probability allows to avoid cuts on output variable but instead -- inclusion into likelihood-fits (B-mixing, CP-violation) -- usage with sPlot to produce “background free“ plots
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Example for data-only training (on1.resonance) (scan through cuts on network output)
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes Bs to J/ψ Φ selection without MC (Michal Kreps)
soft preselection, input to first NeuroBayes training
soft cut on net 1, input to second NeuroBayes training
cut on net 2
all data
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes Bs to J/ψ Φ selection without MC (Michal Kreps)
Significance S/B
# Signal #Background
N_signal = 757.4+-28.7, mass 5366.6 +- 0.4 MeV lifetime 432.3 +- 17.6 mu
no lifetime bias by input variables or NeuroBayes
NNout
NNout
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Successful in competition with other data-mining- methods
World‘s largest students competion: Data-Mining-Cup
2005: Fraud detection in internet trading 2006: price prediction in ebay auctions 2007: coupon redemption prediction 2008: lottery customer behaviour prediction
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Phi-T: Applications of NeuroBayes® in Economy
> Medicine and Pharma research e.g. effects and undesirable effects of drugs early tumor recognition > Banks e.g. credit-scoring (Basel II), finance time series prediction, valuation of derivates, risk minimised trading strategies, client valuation > Insurances e.g. risk and cost prediction for individual clients, probability of contract cancellation, fraud recognition, justice in tariffs > Trading chain stores: turnover prognosis for individual articles/stores Necessary prerequisite: Historic or simulated data must be available!
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Individual risk prognoses for car insurances:
Accident probability Cost probability distribution Large damage prognosis Contract cancellation prob.
very successful at
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Turnover prognosis for mail order business
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Presse
Physicists modernise sales management …
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Prognosis of individual health costs
Kunde N. 00000
Mann, 44
Tarif XYZ123 seit ca. 17 Jahre
Pilot project for a large private health insurance
Prognosis of costs in following year for each person insured with confidence intervals
4 years of training, test on following year
Results:
Probability density for each customer/tarif combination
Very good test results!
Has potential for a real and objective cost reduction in health management
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Test
VDI-Nachrichten, 9.3.2007
Prognosis of financial markets NeuroBayes® based risk averse market neutral fonds for institutional investors
Lupus Alpha NeuroBayes® Short Term Trading Fonds (up to now 20 Mio €, aim: 250 Mio € end of 2008)
Test
Börsenzeitung, 6.2.2008
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Prognosis of sports events from historical data
Results: Probabilities for home - tie - guest
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
The <phi-t> mouse game: or: even your ``free will´´ is predictable
//www.phi-t.de/mousegame
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
NeuroBayes® for Grid optimisation?
If you have a prediction task and you have monitor data or Monte Carlo simulation data…
Probably NeuroBayes® can help you!
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Bindings and Licenses NeuroBayes® is commercial software. Special rates for public research. Essentially free for high energy physics research. License files needed. Separately for expert and teacher. Please contact Phi-T.
NeuroBayes core code written in Fortran. Libraries for many platforms (Linux, Windows, …) available. Bindings exist for C++, Fortran, java, lisp, etc.
Code generator for easy usage exists for Fortran and C++. New: Interface to root-TMVA available (classification only) Integration into root planned
Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung Spiel Idee NeuroBayes A B Hintergrund Anwendung Beispiel Projekt l Projekt ll Historie Ablauf Start Idee Summary A
Michael Feindt NeuroBayes® GridKA School 8. Sept. 2008
NeuroBayes
Documentation Basics: M. Feindt, A Neural Bayesian Estimator for Conditional Probability Densities, E-preprint-archive physics 0402093
M. Feindt, U. Kerzel, The NeuroBayes Neural Network Package, NIM A 559(2006) 190
Web Sites: www.phi-t.de (Company web site, German & English) www.neurobayes.de (English site on physics results with NeuroBayes & all diploma and PhD theses using NeuroBayes) www-ekp.physik.uni-karlsruhe.de/~feindt (some NeuroBayes talks can be found here under -> Forschung)