Apprentissage Statistique 04-06-2019 Automatants Apprentissage statistique Apprentissage statistique

download Apprentissage Statistique 04-06-2019 Automatants Apprentissage statistique Apprentissage statistique

of 80

  • date post

    04-Jan-2020
  • Category

    Documents

  • view

    6
  • download

    1

Embed Size (px)

Transcript of Apprentissage Statistique 04-06-2019 Automatants Apprentissage statistique Apprentissage statistique

  • Amphi de révision Apprentissage Statistique

    04-06-2019

    Automatants

  • Apprentissage statistique

    Apprentissage statistique

    Supervisé Non supervisé

    Régression Classification Réduction de dimensions

    Partitionnement

  • Apprentissage supervisé

    Variable à expliquer

    𝑌

    Variable explicatives

    𝑋

    Modèle statistique 𝑝𝜃(𝑌|𝑋)

    Consommation d’électricité d’une

    ville ℝ

    Température, Heure,

    Ensoleillement, Proportion en

    vacances… ℝ4

    Apprentissage

    Estimation des paramètres du modèle 𝜃→ fonction de décision

    Nouvelles entrées Prédictions

  • Apprentissage supervisé

    Variable à expliquer

    𝑌

    Variable explicatives

    𝑋

    Modèle statistique 𝑝𝜃(𝑌|𝑋)

    Consommation d’électricité d’une

    ville ℝ

    Température, Heure,

    Ensoleillement, Proportion en

    vacances… ℝ4

    Apprentissage

    Estimation des paramètres du modèle 𝜃→ fonction de décision

    Nouvelles entrées Prédictions

    Régressionℝ𝒎 ℝ𝒏

  • Apprentissage supervisé

    Régressionℝ𝒎 ℝ𝒏

    Variables à expliquer

    𝑌

    Variables explicatives

    𝑋

    Modèle statistique

    linéaire

  • Apprentissage supervisé

    Régressionℝ𝒎 ℝ𝒏

    Variables à expliquer

    𝑌

    Variables explicatives

    𝑋

    Modèle statistique entrainé

  • Apprentissage supervisé

    Variable à expliquer

    𝑌

    Variable explicatives

    𝑋

    Modèle statistique 𝑝𝜃(𝑌|𝑋)

    Chiffre {1, 2, 3, … }

    Valeurs des pixels d’une image

    ℝ𝑛

    Apprentissage

    Estimation des paramètres du modèle 𝜃→ fonction de décision

    Nouvelles entrées Prédictions

    Classificationℝ𝒎 {𝐴, 𝐵, 𝐶, … }

  • Apprentissage statistique

    Apprentissage statistique

    Supervisé Prédire Y connaissant X

    Non supervisé

    Régression 𝑌 ∈ ℝ𝑑

    Classification 𝑌 ∈ {𝐴, 𝐵, 𝐶, … }

    Réduction de dimensions

    Partitionnement

  • Apprentissage non supervisé

    Vecteurs de représentation

    Variables 𝑋

    Modèle Valeurs des pixels d’une image 8x8

    ℝ64

    Apprentissage

    Estimation des paramètres du modèle 𝜃→ fonction de description

    Nouvelles entrées Représentations

    Représentation de l’image d’un

    chiffre en dimension 2

    ℝ2

  • Apprentissage non supervisé

    1 image de chiffre décrite par 64 réels 1 image de chiffre décrite par 2 réels

    Variable initiales Vecteurs de

    représentation obtenues après entrainement

  • Apprentissage non supervisé

    1 vecteur décrit par 3 réels 1 vecteur décrit par 2 réels

    Variable initiales Variable de

    représentation obtenues après entrainement

  • Apprentissage non supervisé

    Vecteurs de représentation

    Variable 𝑋

    Modèle Valeurs des pixels d’une image 8x8

    ℝ64

    Apprentissage

    Estimation des paramètres du modèle 𝜃→ fonction de description

    Nouvelles entrées Représentations

    Représentation de l’image d’un

    chiffre en dimension 2

    ℝ2

  • Apprentissage non supervisé

    Vecteurs de représentation

    Variable 𝑋

    Modèle Valeurs des pixels d’une image 8x8

    ℝ64

    Estimation des paramètres du modèle 𝜃→ fonction de description

    Nouvelles entrées Représentations

    Représentation de l’image d’un

    chiffre en dimension 2

    ℝ2

    Apprentissage

    Réduction de dimensions

    ℝ𝒎 ℝ𝒏

  • Apprentissage non supervisé

    Vecteurs de représentation

    Variable 𝑋

    Modèle

    Âge, temps passé sur FB,

    Préférence politique… ℝ3

    Estimation des paramètres du modèle 𝜃→ fonction de description

    Nouvelles entrées Représentations

    1 catégorie par personne

    {𝐴, 𝐵, 𝐶, … }

    Apprentissage

    Clustering / Partitionnement

    ℝ𝒎 {𝐴, 𝐵, 𝐶, … }

  • Apprentissage non supervisé

    1 vecteur décrit par 2 réels 1 vecteur décrit par une catégorie

    Variable initiale Vecteurs de

    représentation obtenue après entrainement

  • Apprentissage statistique

    Apprentissage statistique

    Supervisé Prédire Y connaissant X

    Non supervisé Caractériser 𝑋 par ෨𝑋

    Régression 𝑌 ∈ ℝ𝑑

    Classification 𝑌 ∈ {𝐴, 𝐵, 𝐶, … }

    Réduction de dimensions ෨𝑋 ∈ ℝ𝑑

    Partitionnement ෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }

  • Apprentissage supervisé

  • Apprentissage statistique

    Apprentissage statistique

    Supervisé Prédire Y connaissant X

    Non supervisé Caractériser 𝑋 par ෨𝑋

    Régression 𝑌 ∈ ℝ𝑑

    Classification 𝑌 ∈ {𝐴, 𝐵, 𝐶, … }

    Réduction de dimensions ෨𝑋 ∈ ℝ𝑑

    Partitionnement ෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }

  • Régression linéaire

    Fonction de prédiction : 𝑓𝜃: 𝑥 ↦ 𝜃𝑥

    X Y Y prédit

    0.2 0.25 0.097393

    0.39 1 0.194943

    0.68 1.24 0.223750

    0.87 1.6 0.251037

  • Régression linéaire

    X Y Y prédit

    0.2 0.25 0.097393

    0.39 1 0.194943

    0.68 1.24 0.223750

    0.87 1.6 0.251037

    Fonction de perte : 𝐿 𝑦, ℎ(𝑥) = ‖𝑦 − ℎ(𝑥)‖²

    Fonction de prédiction : ℎ𝜃: 𝑥 ↦ 𝜃𝑥

  • Régression linéaire

    Fonction de prédiction : ℎ𝜃: 𝑥 ↦ 𝜃𝑥

  • Régression linéaire

    Fonction de prédiction : ℎ𝜃: 𝑥 ↦ 𝜃𝑥

  • D’autres modèles

    𝑔 𝔼 𝑌 𝑋 = ෍

    𝑚=1

    𝑀

    𝛽𝑚𝜓𝑚(𝑋)

    Ce qu’on cherche à modéliser

    Fonction quelconque

    Fonctions de base

    𝑔 𝔼 𝑌 𝑋 = 𝑥 = 𝛽0 + 𝛽 𝑇𝑥

    Ce qu’on cherche à modéliser

    Fonction quelconque

    Modèle linéaire généralisé

    Paramètres variables

    Modèle linéaire généralisé à expansion de base

  • Classification : k plus proches voisins

  • Classification : k plus proches voisins

  • Classification : k plus proches voisins

  • Classification : arbres de décision

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Sélection d’une partition

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82

    Perte : 0.63

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82

    Perte : 0.63

    Perte : 0.55

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82

    Perte : 0.63

    Perte : 0.55

    Perte : 0.85

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Perte : 0.82

    Perte : 0.63

    Perte : 0.55

    Perte : 0.85

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

    Sélection de la meilleure frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

    Sélection de la meilleure frontière

  • Classification : arbres de décision

    𝑥1

    𝑥2

    Sélection d’une partition

    Sélection d’une variable (et d’un sens

    Estimation de la frontière

    Sélection de la meilleure frontière

  • Classification → Régression

    Variable à expliquer

    𝑌