1 - 11 - Corrélation et régression linéaire Version 1.2.
-
Upload
agate-godet -
Category
Documents
-
view
135 -
download
1
Transcript of 1 - 11 - Corrélation et régression linéaire Version 1.2.
1
- 11 -
Corrélation et régression linéaire
Version 1.2
Sujets abordés
Corrélation de Pearson et de Spearman Régression linéaire simple Régression linéaire multiple Hétéroscédasticité Autocorrélation Multicolinéarité
2
3
Lien de dépendance
L’analyse de la dépendance entre deux variables se fait généralement via :
Un nuage de points
L’analyse de corrélation
Coefficient de Pearson (linéaire)
Corrélation de Spearman (basée sur les rangs)
4
Lien de dépendance
Nuage de point
4
Nuage de points
5 000 $
7 500 $
10 000 $
12 500 $
15 000 $
0 $ 25 $ 50 $ 75 $ 100 $ 125 $ 150 $
Prix du baril de pétrole (USD)
S&
P/T
SX
Co
mp
os
ite
(C
AD
)
5
Lien de dépendance
Analyse de corrélation - formules
Si les séries de données sont normales ou quasi-normales :
Coefficient de corrélation de Pearson
Si les séries de données s’écartent de la normalité : Coefficient de corrélation de Spearman (rang)
YXp ss
YXCovr
),(
16
121
2
nn
dr
n
ii
S
6
Lien de dépendance
Analyse de corrélation - limites
Présence d’un lien de dépendance non-linéaire
Présence de données aberrantes (extrêmes)
Biais de corrélation illusoire (« Spurious correlation »)
La dépendance est le fruit du hasard d’échantillonage
Les deux variables dépendent elles-mêmes d’une 3ième variable commune
7
Analyse de régression
L’analyse de régression permet :
D’utiliser une (ou plusieurs) variable pour prévoir l’évolution d’une autre variable
De tester des hypothèses concernant la relation entre deux variables
De quantifier la force de la relation entre 2 variables
8
Analyse de régression
Deux types de données sont souvent utilisés:
Données en coupe instantanée
Exemple : Les rendements de 500 titres boursiers
Séries chronologiquesExemple : Les rendements d’une action de 2000 à 2008
9
Analyse de régression
Une régression linéaire assume qu’il existe une relation linéaire entre une variable dépendante (Y) et une variable indépendante (X)
Cette relation est décrite par l’équation suivante :
où est un terme d’erreur qui représente la portion de la variable dépendante qui ne peut pas être expliquée par la variable indépendante
XbbY 10
10
Analyse de régression
L’hypothèse à la base d’un modèle de régression est qu’une variable X permette d’expliquer une variable Y
À partir de la droite , on peut évaluer la qualité de ce lien entre X et Y en observant le terme d’erreur.
Plus sera petit, plus X expliquera bien Y
Concrètement, nous désirons donc estimer les paramètres b0 et b1 de façon à minimiser le terme d’erreur
XbbY 10
11
Analyse de régression
Réorganisation de la droite :
Il existe plusieurs techniques pour minimiser
Celle que nous utiliserons (la plus connue) est la méthode des moindres carrés ordinaires (MCO) :
où et sont les estimateurs des paramètres b0 et b1 de
la population (obtenus à partir des observations de l’échantillon)
iii XbbY 10
2
110
1
2 )ˆˆ(minˆmin
n
iii
n
ii XbbY
1b0b
12
Analyse de régression
Graphiquement, il s’agira de tracer une droite linéaire qui minimisera l’écart (mis au carré) entre chaque couple (X,Y) et son point correspondant sur la droite de régression.
13
Analyse de régression
L’estimation des paramètres b0 et b1 se fait souvent à l’aide d’un ordinateur
Sur Excel, nous avons un module complémentaire dédié aux analyses de régression. Nous pouvons également estimer les paramètres par minimisation à l’aide du solveur.
Nous pouvons également calculer les estimateurs de b0 et b1 manuellement à partir des équations suivantes :
et)r(av
),v(oc1 X
YXb XbYb 10
ˆˆ
14
Analyse de régression
Hypothèses sous-jacentes :
1. La relation qui unit la variable dépendante Y à la variable X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)
2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante
3. Cov(X, ε) = 0
4. Cov(εi, εj) = 0
15
Analyse de régression
Validité d’un modèle:
Après avoir élaboré un modèle de régression, il importe de tester la précision de ce modèle
Est-ce que le modèle de régression décrit bien la relation entre deux variables ?
Pour se faire, on se base souvent sur l’erreur-type de ε :
Où SEE est l’acronyme de « standard error of estimate »
2
ˆ1
2
nSEE
n
ii
16
Analyse de régression
Validité d’un modèle:
L’erreur type de l’estimation donne quelques informations sur la confiance que l’on peut avoir en une prévision
Toutefois, le SEE n’indique pas précisément à quel point la variable X permet de bien expliquer la variable Y
Pour obtenir cette information, nous devrons calculer le coefficient de détermination (R2)
2
22 1
Y
SEER
Variations non expliquées
Variations totales
17
Analyse de régression
Calcul du « Bêta » d’un actif financier:
Modèle d’évaluation des actifs (CAPM) :
Modèle d’évaluation très utilisé en finance
où RM = Rendement du marché
Rf = Rendement sans risque
β = Sensibilité du prix d’un actif financier par rapport au marché
Le paramétrage du modèle à partir de données historiques peut se faire via une régression linéaire
fMfi RRRR
18
Analyse de régression
Régression multiple:
Les modèles de régression ne se limitent pas à une seule variable explicative
En finance, nous faisons souvent l’hypothèse qu’un ensemble de facteurs expliquent l’évolution d’une variable
Nous pouvons estimer les liens à l’aide d’un modèle de régression linéaire multiple
ikikiii XbXbXbbY ...22110
19
Analyse de régression
Hypothèses d’un modèle de régression multiple:
1. La relation qui unit la variable dépendante Y aux variables X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)
2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante
3. Cov(X, ε) = 0
4. Cov(εi, εj) = 0
5. Cov(Xj, Xk) = 0
20
Analyse de régression
Analyse de variance (ANOVA) :
ANOVA est un test souvent utilisé pour vérifier l'hypothèse selon laquelle la dispersion de plusieurs distributions Normales est effectivement identique
En finance, nous utilisons davantage l’analyse de variance pour vérifier si tous les coefficients d’un modèle de régression sont nuls
H0 : b1 = b2 = … = bk = 0
Ha : Au moins un coefficient est différent de 0
ANOVA est habituellement basé sur un F-test
21
Analyse de régression
Analyse de variance (ANOVA) :
Plusieurs informations sont nécessaires afin de pouvoir appliquer un test d’analyse de variance :
Le nombre total d’observations (n)
Le nombre de paramètres de pente « b1, b2, … , bk » (k)
La somme des résidus au carrés :
La variation de Y expliquée par la régression :
n
ii
n
iii YY
1
2
1
2)ˆ(
n
iii YY
1
2)ˆ(
22
Analyse de régression
Analyse de variance (ANOVA) :
Pour réaliser un test d’analyse de variance, nous calculerons donc la statistique F :
Où F aura un nombre de degrés de liberté égal au nombre de paramètres de pentes « k » (numérateur) et à « n – (k + 1) » (dénominateur).
1ˆ
)ˆ(
1
2
1
2
kn
kYYF n
ii
n
iii
23
Analyse de régression
Analyse de variance (ANOVA) :
ANOVA est habituellement utilisé pour tester des modèles de régression multiple. S’il n’y a qu’une seule variable à tester, il sera plus simple d’utiliser un t-test
Plus la valeur de F sera élevée, plus les pentes des paramètres permettront d’expliquer la variable Y
24
Analyse de régression
Coefficient de détermination ajusté:
Le coefficient de détermination illustre la précision avec laquelle un modèle de régression permet d’expliquer les variations de la variable dépendante
Cependant, l’addition de variables explicatives dans un modèle de régression multiple augmente le R2 même si ces variables X n’expliquent que faiblement la variation de Y
Plusieurs spécialistes ajustent donc le calcul du R2 pour que la valeur de ce dernier n’augmente pas des suites du simple ajout de variables explicatives.
)1(1
11 22 R
kn
nR
25
Analyse de régression
Limites:
La valeur des paramètres estimés d’un modèle de régression peuvent évoluer dans le temps
Les prédictions basées sur un modèle de régression ne seront pas valides si les hypothèses du modèle ne tiennent pas
La variance des termes d’erreur n’est pas toujours stable, ce qui entraîne un problème d’hétéroscédasticité
Si les termes d’erreur sont corrélés entres-eux, alors il y a un problème d’autocorrélation
Si les variables indépendantes sont corrélées entres-elles, alors il y a un problème de multicollinéarité
26
Problèmes associés à l’analyse de régression
27
Hypothèses1. La relation qui unit la variable dépendante Y aux variables
X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)
2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante.
• Variance pas constante Hétéroscédasticité
3. Cov(X, ε) = 0• Termes d’erreurs corrélés avec les variables explicatives
Endogénéïté
4. Cov(εi, εj) = 0
• Termes d’erreurs corrélés entre eux Autocorrélation
5. Cov(Xj, Xk) = 0
• Variables indépendantes corrélées Multicollinéarité
28
HétéroscédasticitéEn quelques mots : La variance des termes d’erreur diffère entre les observations
Les paramètres estimés demeurent valides
Les tests de signification du modèle (F-test et t-test) ne sont pas fiables
La dispersion des résidus n’est pas constante
29
Hétéroscédasticité
En présence d’hétéroscédasticité, la valeur du statistique t et du statistique F seront surestimés
Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle
Test pour détecter l’hétéroscédasticité conditionnelle : Test Breusch-Pagan
Cette méthode examine si la variance estimée des résidus d’une régression dépend de la valeur des variables explicatives.
30
HétéroscédasticitéTest Breusch-Pagan
Supposons un modèle de régression linéaire pour lequel nous avons les résidus
Le test de Breusch-Pagan consiste à régresser les résidus du modèle de régression initial par les variables explicatives de ce modèle
Modèle de régression initial :
Régression selon Breusch-Pagan :
i
iii XbbY ...110
iii X ...ˆ 1102
31
HétéroscédasticitéTest Breusch-Pagan
H0 : Homoscédasticité (absence d’hétéroscédasticité)
Ha : Présence d’hétéroscédasticité
Nous calculerons « n*R2 »
où n = nombre d’observations
R2 = Coefficient de détermination de la régression :
« n*R2 » suivra une distribution du Khi carré (test unilatéral) avec un nombre de degrés de liberté égal au nombre de variables indépendantes de la régression
Nous rejetterons l’hypothèse nulle lorsque la valeur de « n*R2 » sera supérieure à la valeur critique
iii Xbb ...ˆ 1102
32
HétéroscédasticitéMéthode de correction
Les méthode de correction pour l’hétéroscédasticité les plus populaires sont :
Régression robustes (méthode de White) Les moindres-carrés pondérés Les moindres-carrés quasi-généralisés
33
Autocorrélation
En quelques mots : Les résidus sont corrélés entre eux. C’est un problème fréquent des séries chronologiques
Les paramètres estimés demeurent valides (sauf si une variable X est un« lag » de la variable Y)
Les tests de signification du modèle (F-test et t-test) ne sont pas fiables
34
Autocorrélation
Autocorrélation positive : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu positif pour l’observation suivante. C’est le type d’autocorrélation le plus fréquent.
Autocorrélation négative : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu négatif pour l’observation suivante
En présence d’autocorrélation positive, la valeur du statistique t et du statistique F seront surestimés
Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle
35
Autocorrélation
Tester pour détecter l’autocorrélation Test Durbin-Watson
Cette méthode examine si les résidus d’une régression sont corrélés à travers le temps
)ˆvar(
)ˆvar()ˆ,ˆcov(2)ˆvar(
ˆ
)ˆˆ(11
1
2
2
21
t
ttttT
tt
T
ttt
DW
36
Autocorrélation
Test de Durbin-Watson
Pour des échantillons de grande taille (n > 50), le test DW tendra vers :
Où r est la corrélation entre et
Si les termes d’erreur sont non corrélés, alors le terme de corrélation sera égal à 0. Dans ce cas, la valeur de DW sera de 2
0 ≤ DW < 2 Autocorrélation positive DW = 2 Absence d’autocorrélation 2 < DW ≤ 4 Autocorrélation négative
)1(2 rDW
t 1ˆ t
37
Autocorrélation
Test de Durbin-Watson
À partir d’un échantillon, il est nécessaire de poser un test d’hypothèse pour déterminer s’il y a présence d’auto-corrélation à partir d’un test DW
H0 : Absence d’autocorrélation positive
Les valeurs dL et du s’obtiennent à partir d’une table DWdL du
Zone d’incertitude
On ne rejette pas l’hypothèse nulle
On rejette l’hypothèse nulle
38
Autocorrélation
Test de Durbin-Watson
Plusieurs facteurs doivent être réunis pour qu’il soit possible d’appliquer un test de Durbin-Watson :
1. Le modèle doit posséder une constante (b0 ≠ 0)
2. Le nombre d’observations doit être supérieur ou égal à 15
3. Le modèle estimé ne doit pas contenir la variable dépendante retardée (« laggée ») dans les variables explicatives
4. Le test DW permet uniquement de tester l’autocorrélation d’ordre 1
39
AutocorrélationMéthode de correction
Les méthode de correction pour l’autocorrélation les plus populaires sont :
Modèles autorégressifs Les moindres-carrés généralisés La procédure Cochrane-Orcutt
40
Multicollinéarité
En quelques mots : Deux ou plusieurs variables indépendantes sont corrélées entre-elles
Bien qu’il soit possible d’estimer les paramètres de régression, la multicollinéarité complique l’interprétation que l’on peut faire des résultats
Il devient pratiquement impossible de distinguer l’impact individuel d’une variable indépendante
On rejette plus rarement l’hypothèse nulle de signification des paramètres des variables indépendantes
41
Multicollinéarité
Il n’existe pas de test statistique formel pour détecter la présence de multicollinéarité
En pratique, ce n’est pas tant la présence/absence multicollinéarité qui nous intéresse que la force de cette relation
Le coefficient de corrélation entre deux variables n’est pas un bon indicateur de la multicollinéarité
Un faible coefficient de corrélation n’exclut pas la présence d’un problème de multicollinéarité
r est un bon indicateur si seulement 2 variables explicatives
Obtenir un R2 élevé, un F-test significatif et des t-test non significatifs = symptôme commun de la multicollinéarité
42
Multicollinéarité
Lorsqu’on soupçonne un problème de multicollinéarité, la solution la plus simple consiste à exclure une ou plusieurs variables indépendantes d’un modèle
Supprimer une variable d’un modèle n’est cependant pas une solution miracle : exclure une variable explicative peut être une cause de mauvaise spécification d’un modèle et entraîner divers problèmes tels que l’hétéroscédasticité
43
Spécification d’un modèleQuelques principes de base peuvent aider à guider le choix d’un modèle de régression :
1. Le modèle doit être cohérent avec l’intuition économique
2. La forme des variables dans la régression doit être conséquente avec la nature de ces variables
3. Le modèle doit permettre d’obtenir des résultats fiables avec le plus petit nombre possible de variables. Ceci signifie que chaque variable doit jouer un rôle essentiel.
4. Il est important de vérifier si les hypothèses propres aux modèles de régression tiennent avant d’accepter un modèle
5. Tout modèle doit être testé au-delà des données de l’échantillon initial avant d’être accepté