2017 06 15 Machine Learning WIRA - campus-industrie.eu · Les réseaux de neurones artificiels...
Transcript of 2017 06 15 Machine Learning WIRA - campus-industrie.eu · Les réseaux de neurones artificiels...
1
Etat de l’Art du Machine Learning
Université de Haute-Alsace
INTELLIGENCE ET MACHINE LEARNING :
UN CHALLENGE POUR LES INDUSTRIES ?
Etat de l’Art du Machine Learning
Pr. Patrice Wira
Université de Haute Alsace / Laboratoire MIPS
Mulhouse, 15 juin 2017
2
Etat de l’Art du Machine Learning
Université de Haute-Alsace
Intelligence et machine learning : un challenge pour les industries ?
Jeudi 15 juin de 14h00 à 15h30
Etat de l’Art du Machine LearningPatrice WIRA - Professeur des Universités en traitement du signal
et en informatique, membre du laboratoire MIPS de l’UHA
Le machine learning – ou apprentissage automatique – n’est pas une discipline nouvelle (on parlait
d’intelligence artificielle dans les années 60). Mais elle prend tout son sens avec l’arrivée des Big Data.
Le machine learning consiste en la mise en place d’algorithmes ayant pour objectif d’obtenir une
analyse prédictive à partir de données, dans un but précis. C’est un processus de fonctionnement d’un
système d’intelligence artificielle par lequel le système est doté d’un système d’apprentissage.
Les applications du machine learning sont aujourd’hui très présentes dans notre quotidien mais ce n’est
qu’un début. Les taux de croissance du chiffres d’affaires sont de 53% entre 2015 et 2020 et les
perspectives de marché pour les années à venir de 11 milliards de $
AI, machine learning : de quoi parle-t-on réellement ? Quelles opportunités, quel challenge pour votre
entreprise ?
3
Etat de l’Art du Machine Learning
Université de Haute-Alsace
Modeling, Intelligence, Processes and Systems
Le laboratoire MIPS
• located in 2 cities (Mulhouse and Colmar)
• approx. 100 researchers, among them• 15 Full Pr.• 30 Ass. Pr.• 60 PhD students• 4 technicians and 1 secretary
• Partnerships with: Renault, Peugeot-Citroen, BMW, Messier-Bugati, Airbus, Thales, Mars500, Valeo, Clemessy, Michelin, Thomson, ISL, etc.
• 5 teams:
MIAM: Modelling and identificationin automatics and mechanics
1
2
3
4
5
FOTI : Optical functions and information processing
LSI: Software Engineering
IMTI: Microscopy Imaging, Image Processing, Signal and Learning
T&R: Telecommunications and Networks
4
Etat de l’Art du Machine Learning
Université de Haute-Alsace
Sommaire
1. Introduction
2. Motivations et origines
3. Principes et principaux concepts
4. Outils, bibliothèques et implémentations
5. Directions futures
6. Références
Intelligence et machine learning : un challenge pour les industries ?
Etat de l’Art du Machine Learning
6
Etat de l’Art du Machine Learning
Université de Haute-Alsace
1. Introduction
• Machine Learning – Apprentissage automatique
L'apprentissage automatique
ou apprentissage statistique
(machine learning en anglais),
champ d'étude de l'intelligence
artificielle, concerne la
conception, l'analyse, le
développement et
l'implémentation de méthodes
permettant à une machine (au
sens large) d'évoluer par un
processus basé sur les données
plutôt que par des algorithmes
déterministiques classiques.
*
* Knowledge Discovery in Databases
7
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. MOTIVATIONS
ET ORIGINES
8
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. Motivations et origines
• Un neurone formel
En 1943, Mac Culloch et Pitts proposnt un formalisme mimant les neurones biologiques et capable de mémoriser des fonctions booléennes simples. En 1947, Hebb réussira à les concrétiser [1].
Les réseaux de neurones artificiels réalisé à partir de ce types de neurones sont ainsi inspirés du systèmes nerveux. Ils sont conçus pour reproduire certaines caractéristiques des cellules biologiques par le fait qu’ils sont :
• massivement parallèles ;
• capables d’apprendre ;
• capables de mémoriser l’information dans les connexions entre les neurones ;
• capables de traiter des informations incomplètes.
9
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. Motivations et origines
• Un neurone formel dendrite
noyau (cellule de Schwann)
gaine de myéline (cellule de Schwann)axone
noyau
corps cellulaire
arborisation terminale
∑
D’un neurone biologique simplifié
à un neurone formel :
f( )
fonction d’agrégation
poids synaptiques
1 sortie
1w
2w
3w
1x
2x
3x
10
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. Motivations et origines
• L’apprentissage
L’apprentissage est le processus qui consiste à calculer les poids optimaux d’un neurone
pour avoir la meilleure sortie possible. Il existe 2 écoles de pensées :
• 1 pensée plus intuitive, le Perceptron de Rosenblatt (1958) [3]
• 1 pensée purement mathématique, l’Adaline de Widrow (1960) [4]
Le neurone formel est inséré dans une architecture plus globale – un réseau de
neurones, il existe diverses architectures et différents types de réseaux de neurones.
L’apprentissage des neurones dépend de l’architecture (organisation des neurones), de la
stratégie d’apprentissage et du contexte du problème à traiter (données disponibles).
11
Etat de l’Art du Machine Learning
Université de Haute-Alsace
• L’apprentissage au fil du temps
2. Motivations et origines
12
Etat de l’Art du Machine Learning
Université de Haute-Alsace
1940 1960 1980 2000 2020
• L’apprentissage au fil du temps
2. Motivations et origines
Pour les réseaux de neurones artificiels, des évolutions majeures surviennent environs
tous les 20 ans. Les premières approches statistiques sont déjà en place depuis 1900, les
progrès se font de manière plus régulière.
les bases du
neurone formel
nouveaux
neurones
+ réseaux +
règles
d’apprentissage
nouveaux
réseaux + règles
d’apprentissage
nouvelles règles
d’apprentissage
+ explosion des
données &
applications
…
Motivation electrical engineering computer science Internet (big data)
biologique
13
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. Motivations et origines
• L’apprentissage a du s’adapterSchéma d’un réseau ADALINE proposé en 1960 par Widrow [4]
� Les débuts sont expérimentaux et
issus du traitement du signal.
� Suivent les premières
formalisations mathématiques.
� Les implémentations deviennent
concrètes grâce à l’évolution de
l’informatique.
� Depuis 2015, la puissance de calcul
ne constitue plus une limite.
� Il est nécessaire d’introduire des
nouveaux concepts théoriques
pour traiter les données massives.
14
Etat de l’Art du Machine Learning
Université de Haute-Alsace
2. Motivations et origines
Global Information Storage Capacity
(in optimallycompressed bytes)
• L’apprentissage a du s’adapter
avec l’explosion des données
2017
15
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. PRINCIPES ET
PRINCIPAUX CONCEPTS
16
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
Machine Learning
Vue générale des concepts
17
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Précision/interprétabilité
18
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Apprendre des données
Le but visé est de pouvoir faire le lien entre 2 espaces sans utiliser une description physique
qui explicite ce lien (une fonction mathématique)... avec un ensemble de neurones formels
connectés.
Machine Learning
esp
ace
de
so
rtie
esp
ace
d’e
ntr
ée
processus d’apprentissage ==boite magique/
19
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Apprendre des données
Le but visé est de pouvoir faire le lien entre 2 espaces sans utiliser une description physique
qui explicite ce lien (une fonction mathématique)... avec un ensemble de neurones formels
connectés.
Machine Learning
esp
ace
de
so
rtie
esp
ace
d’e
ntr
ée
f1( )
f2( )
f3( )
f4( )
f5( )
20
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Apprendre avec différentes architectures neuronales
Jordan network
multilayer feedforward network competitive networkfully recurrent network self-organizing map
partial recurrent network with dual connections
recurrent network with self connections
"reservoir" network
21
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Apprentissage profond (deep learning) [6]
22
Etat de l’Art du Machine Learning
Université de Haute-Alsace
3. Principes et principaux concepts
• Apprendre
mémorisation
généralisation
Ouvrages accessibles en français : [7] et [8]
23
Etat de l’Art du Machine Learning
Université de Haute-Alsace
4. OUTILS, BIBLIOTHÈQUES
ET IMPLÉMENTATIONS
24
Etat de l’Art du Machine Learning
Université de Haute-Alsace
4. Outils, bibliothèques et implémentations
• Les logiciels complets
• Les sociétés expertes
• Les bibliothèques
open-source
• De traitement du signal et d’automatique : Matlab, etc.
• De calculs scientifiques : Wolfram, Mathematica, etc.
• De Data Scientists : RapidMiner, KNIME, R…
• IBM : Watson
• Des startup (françaises)
• …
open source
Theano http://deeplearning.net/software/theano/
Scikit-learn http://scikit-learn.org/stable/
Deeplearning for Javahttp://deeplearning4j.org/
Keras: Deep Learning library for Theano and TensorFlowhttps://keras.io/
Caffe http://caffe.berkeleyvision.org/
cuda-convnethttps://github.com/dnouri/cuda-convnet
Torch7 http://torch.ch/
cxxnet https://github.com/antinucleon/cxxnet
cuBLAS https://developer.nvidia.com/cuBLAS
25
Etat de l’Art du Machine Learning
Université de Haute-Alsace
4. Outils, bibliothèques et implémentations
• Les bibliothèques disponibles pour tous
Company Cloud Machine Learning Platform Deep Learning Now Open source
Amazon Amazon Machine learning https://aws.amazon.com/fr/machine-learning/DSSTNE: Deep Scalable Sparse Tensor Network Engine https://github.com/amznlabs/amazon-dsstne
Baidu None Deep Speech·2 http://usa.baidu.com/deep-speech-lessons-from-deep-learning/
Facebook None TorchNet https://github.com/torchnet/torchnet
Google Google NEXT·Cloud· Platform TensorFlow https://www.tensorflow.org/
IBM IBM·Watson·Analytics http://www-03.ibm.com/software/products/fr/watson-analyticsIBM·System ML http://researcher.watson.ibm.com/researcher/view_group.php?id=3174
Microsoft Azure Machine Learning https://azure.microsoft.com/en-us/services/machine-learning/Cognitive Toolkit (previously CNTK - Computational Network Toolkit)https://www.microsoft.com/en-us/research/product/cognitive-toolkit/
Twitter None Twitter Cortex https://engineering.twitter.com/cortex
Yahoo None CaffeOnSpark https://github.com/yahoo/CaffeOnSpark
Nvidia Deep Learning Software https://developer.nvidia.com/deep-learning
26
Etat de l’Art du Machine Learning
Université de Haute-Alsace
4. Outils, bibliothèques et implémentations
• Les principales applications :
AI and machine learning in the enterprise *
• Rechearch
• Consumer behavior analysis
• Fraud detection
• Market projection / sales forcasting
• Internet and IT security monitoring
• Office automation
* Source: CBS Interative Inc. Data based on an online survey of 234 IT professionals,
conducted in September 2016.
27
Etat de l’Art du Machine Learning
Université de Haute-Alsace
4. Outils, bibliothèques et implémentations
Apport du Machine Learning
design
concept
opération
vente production
28
Etat de l’Art du Machine Learning
Université de Haute-Alsace
5. DIRECTIONS FUTURES
29
Etat de l’Art du Machine Learning
Université de Haute-Alsace
5. Directions futures
• Les verrous technologiques
• Les verrous scientifiques
• Plus de retour d’expérience
• Implémentations pures de calculs scientifiques : mémoire,
128, 256, 512 bytes…
• Parallélisme…
• Nouveaux concepts : architectures et règles d’apprentissage
• Rapprochement entre statistiques et architectures neuronales (interprétabilité)
• Nouveau modèle de base de données (big data)
• Etc.
• Actuellement les applications à très grande échelle et temps-réel sont presque
uniquement limitées au Web. Depuis 2000, des investissements privés,
universitaires et publics importants, notamment de la part du GAFA (Google, Apple,
Facebook, Amazon) ont été déployés.
30
Etat de l’Art du Machine Learning
Université de Haute-Alsace
5. Directions futures
• Interprétation
• Actuellement, le test de Turing (1950) est utilisé pour
"mesurer" l’intelligence d’une machine [2].
• Intelligence artificielle / intelligence humaine…
il existe plusieurs intelligences humaines selon Gardner [5] :
1. Linguistic
2. Musical
3. Logical-Mathematical
4. Intrapersonal
5. Bodily-Kinestthetic
6. Spacial
7. Interpersonal
8. Naturalistic
2 5
6 7
4 1
8
3
32
Etat de l’Art du Machine Learning
Université de Haute-Alsace
6. Références
• Bibliographie[1] Hebb D. O., The organization of behaviour. Wiley & Sons, 1947.
[2] A. Turing, "Computing Machinery and Intelligence," Mind, vol. LIX, pp. 433–460, 1950.
[3] F. Rosenblatt, "The Perceptron: A Probalistic Model for Information Storage &
Organization in the Brain," Psychological Review, vol. 65, pp. 386-408, 1958.
[4] B. Widrow and M. Hoff, "Adaptive switching circuits," IRE WESCON Convention Recor,
New York, pp. 96-104, 1960.
[5] H. Gardner, Frames of Mind : the Theory of Multiple Intelligence. New York: Basic
Books, 1983.
[6] Y. Lecun and Y. Bengio, "Convolutional networks for images, speech, and time-series,"
The handbook of brain theory and neural networks, M. A. Arbib, Ed., ed: MIT Press, 1995.
[7] P. Borne, M. Benrejeb, and J. Haggège, Les réseaux de neurones - Présentation et
applications. Paris: Technip, 2007.
[8] Notes de cours IFT6266, Y. Bengio, Introduction aux algorithmes d’apprentissage
profonds, Université de Montréal, 2012
http://www.iro.umontreal.ca/~bengioy/ift6266/H12/html/contents.html
33
Etat de l’Art du Machine Learning
Université de Haute-Alsace
MERCI DE VOTRE ATTENTION
Pr. Patrice Wira
Université de Haute Alsace / Laboratoire MIPS