Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

54
Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy

Transcript of Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Page 1: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Elaboration/Evaluation d'un Test Diagnostique

Philippe MontraversDAR

CHU Jean VerdierBondy

Page 2: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

5 critères de qualité d'un test

• Bonne qualité technique• Interprétation reproductible• Information valide• Utile à la prise de décision• Efficace pour le malade et la

population

Page 3: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

5 critères de qualité d'un test

• Bonne qualité technique• Interprétation reproductible• Information valide• Utile à la prise de décision• Efficace pour le malade et la

population

Page 4: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Bonne qualité techniqueDomaine technique

• La technique mesure-t-elle ce qu'elle est censée mesurer?

• Est-elle exacte (absence d'erreur systématique) ?• Est-elle précise (faible variabilité) ?• L'examen est-il facile à exécuter correctement?

Page 5: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

5 critères de qualité d'un test

• Bonne qualité technique• Interprétation reproductible• Information valide• Utile à la prise de décision• Efficace pour le malade et la

population

Page 6: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Interprétation reproductible

• Reproductibilité de l'examen– Au même endroit ou dans des lieux différents

• Reproductibilité du jugement– Variabilité inter et intra-observateur

Coefficient d'agrément Kappa

Page 7: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Coefficient d'agrément Kappa

• Index d'agrément entre deux observateurs• Varie de -1 à +1• Vaut 0 lorsque la concordance de réponse

est due au hasard• Tend vers -1 : discordance d'interprétation

Tend vers +1 : concordance d'interprétation

Page 8: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Coefficient d'agrément Kappa Observ 2

Présent Absent Total

Présent

a b p1=a+b

Observ 1

Absent c d q1=c+d

Total p2=a+c q2=b+d n=a+b+c+d

p0 = proportion d'agrément observé = (a + d)/npe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)]/nKappa = (p0 - pe)/(1 - pe)

Inconvénient = dépend de la prévalence de la maladie

Page 9: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

5 critères de qualité d'un test

• Bonne qualité technique• Interprétation reproductible• Information valide• Utile à la prise de décision• Efficace pour le malade et la

population

Page 10: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Information valide• Problème de la valeur-seuil d'un examen

• Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie

• Examen complémentaire : modifie les probabilités afin d'estimer en fonction des résultats le risque d'être malade ou pas– Dépend des qualités intrinsèques du test (sensibilité et spécificité)– Dépend de la prévalence de la maladie (probabilité primaire ou à

priori)

Page 11: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Information valide

• D'où la nécessité d'être très précis sur– la définition du signe – La définition des patients– La définition des malades et non-

malades

Page 12: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Variable qualitative1

0

Positif

Evènement

NégatifNon-Evènement

Définition du signe

Page 13: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Probabilité1

0,5

0

Seuil

Positif

Négatif

Evènement

Non-Evènement

Définition du signe

Variable quantitative

Page 14: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Définition des patients

• Population cible

= Population susceptible de bénéficier de cet examen

Page 15: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Définition des malades-non malades

• Examen comparé avec le diagnostic réel Gold standard , diagnostic béton…

• Examen de référence ou anapath ou consensus!!!

• L'examen de référence peut lui même être entaché d'erreur

• L'examen de référence doit être indépendant de l'examen évalué et le résultat non connu

Page 16: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Expression des résultats d'une évaluation

Signe binaire (variable qualitative)SensibilitéSpécificité

Signe à valeur continue (variable quantitative)Courbes ROC

Page 17: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Malades Sains

Test + a b

Test - c d

Prévalence de la maladie : Malades/Cohortep = a + c / a + b + c + d

Tableau de contingence

Page 18: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Test +

Test -

Malades Sains

VP

VN

FP

FN

Sensibilité = VP/ VP + FNprop de résultats anormaux chez malades

Spécificité = VN / VN + FPprop de résultats normaux chez non-malades

Tableau de contingence

Page 19: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Se Sp Avantages/inconvénients

Mesures indépendantes de la prévalenceUtilisables pour dépistage (prévalence faible)

ou diagnostic (prévalence + élevée)

Sensibilité = VP/ VP + FN

Spécificité = VN / VN + FP

Pas utilisable en tant que telLe résultat de l'examen modifie-t-il la prob de maladie ?Donc utiliser des valeurs prédictives

Page 20: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Test +

Test -

Malades Sains

VP

VN

FP

FN

VPP = VP/ VP + FPProb qu'un sujet soit malade si examen +

VPN= VN / VN + FN

Prob qu'un sujet soit non-malade si examen -

Tableau de contingence

Page 21: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

VPP = VP/ VP + FP

VPP = Se / [Se + (1-Sp) x (1- p)/p]

VPN = VN / VN + FN

VPN = Sp / [Sp + (1-Se) x p / (1-p)]

Dépendent de Se, Sp et p de la maladie

Valeurs prédictives calculées valables que dans un environnement où la prévalence est identique à celle de l'étude

Page 22: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

ROLE DE LA PREVALENCE

TEST Se = 90 %; Sp= 90 %

Prévalence VPP VPN

9 % 47 % 99 %

50 % 90 % 90 %

90 % 99 % 99 %

Page 23: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Intervalles de confiance (IC)

Tests réalisés sur des échantillons de population et non pas sur la population totale

Etablir IC en choisissant un risque d’erreur que la valeur réelle dans la population ne soit pas dans IC de la valeur déterminée sur l’échantillon .

Par convention, un intervalle de confiance à 95% est utilisé

Page 24: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Intervalles de confiance (IC)

m= nombre de maladesn= nombre de non-maladesIC 99% remplacer 1,96 par 2,576IC 99,9% remplacer 1,96 par 3,290

Page 25: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

malades/Total Se (%) IC 95 %

10/20 90 % 71,4-100

100/200 90 % 84,1-95,9

1000/2000 90 % 88,1-91,9

Page 26: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Cas des variables quantitatives

COURBES ROC

Receiver Operating Characteristic Curve

Page 27: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Prob

1

0,5

0

Seuil

Positif

Négatif

X

X

X

X

Valeurs seuils arbitraires

(Se1,Sp1) (Se3 Sp3)(Se2,Sp2) (Se4,Sp4)

Par rapportà un examende référence

Page 28: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Seuil

Prob

1

0,5

0

X

X

X

X

Seuil

Se réduiteSp accrue

SeuilSe accrueSp réduite

Page 29: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

0 0.25 0.50 0.75 1.000

0.25

0.50

0.75

1.00

1-Spécificité (Faux positifs)

Sensibilité (Vrais positifs)

Page 30: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

M+ M-

p1> S VP FP

p1 <= S FN VNSeuil = 0.2

Seuil = 0.4

Seuil = 0.6

M+ M-

p1> S VP FP

p1 <= S FN VN

M+ M-

p1> S VP FP

p1 <= S FN VN

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Sen

sib

ilit

éS

en

sib

ilit

é

0.40.4

0.60.6

0.80.8

11

0.20.2

1- Spécificité (taux de faux positifs)1- Spécificité (taux de faux positifs)

Seuil =0.2

Seuil =0.4

Seuil =0.6

Page 31: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Avantages des courbes ROC

Pas d'hypothèse sur le seuil

Analyse globale des VP et VN

Index habituel d'évaluation du test AUC

Page 32: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Discrimination parfaite

Pratique clinique

Pas de discrimination

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Sen

sib

ilit

éS

en

sib

ilit

é

0.40.4

0.60.6

0.80.8

11

0.20.2

1- Spécificité (taux de faux positifs)1- Spécificité (taux de faux positifs)

Plus l'aire est grande

Plus le test apporte

d'information

Quelque soit le seuil

choisi

Page 33: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.
Page 34: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

A method of comparing the areas under receiver operating characteristics curves

derived from the same cases

Hanley JA, McNeil BJ Radiology 1983; 148: 838-43

Page 35: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Predictive performance of three methods on validation sample

00 0,2 0,4 0,6 0,8 1

1 - Specificity

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

Sen

sit

ivit

y

: AUC = 0,766

,:AUC =0770,:AUC=0772

: AUC = 0,777

Page 36: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Choix du seuil

Dépend de l'utilisation de l'examen

Privilégier la sensibilité = Dépistage

Privilégier la spécificité = Diagnostic de certitude

Page 37: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Choix du seuil

Minimiser la distance par rapport au point idéal: Se=Sp=1

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Sen

sib

ilit

éS

en

sib

ilit

é

0.40.4

0.60.6

0.80.8

11

0.20.2

1- Spécificité (taux de faux positifs)1- Spécificité (taux de faux positifs)

Page 38: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

5 critères de qualité d'un test

• Bonne qualité technique• Interprétation reproductible• Information valide• Utile à la prise de décision• Efficace pour le malade et la

population

Page 39: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

QUELLE PRIORITE ?

Dépister les patients malades (Sensibilité)

Exclure les patients non malades certitude diagn

(Spécificité)

Exactitude de la mesure (Bien classés)

Page 40: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Indices de synthèseVisent à établir la valeur d'un test:

ExactitudeTest de YoundenRapport de vraisemblance

Page 41: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Exactitude (E)

Test +

Test -

Malades Sains

VP

VN

FP

FN

Exactitude=Bien classés = VP+VN /VP+VN+FP+FN% résultats exacts , cad VP et VN par rapport à la cohorteVarie de 0 à 11 correspondant à une absence de FP et de FNUn tirage au sort correspond à 0,5

Page 42: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Addition des 2 qualités du test : Se et Sp

J (en %)= Se +Sp-100

Varie de –1 à 1

0= pas d’orientation diagnostique

Cet indice est peu utilisé

Indice de Youden (J)

Page 43: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Les rapports de vraisemblance ("likelihood ratios") sont des indices qui facilitent le calcul de la probabilité post test de maladie.

Ils correspondent, pour un résultat d'examen donné, au rapport de la probabilité d'être malade sur la probabilité de ne pas l'être.

Il varie donc selon que le résultat de l'examen diagnostique est positif ou négatif.

Rapport de vraisemblance (LR)

Page 44: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

28 ans, douleur thoracique

Pré-test Scintigraphie Post-test

0,20 Probabilité élevée 0,82

0,20 Probabilité intermédiaire 0,23

0,20 Probabilité faible 0,08

0,20 Normale 0,02

Page 45: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

78 ans, douleur thoracique PO

Pré-test Scintigraphie Post-test

0,70 Probabilité élevée 0,97

0,70 Probabilité intermédiaire 0,74

0,70 Probabilité faible 0,46

0,70 Normale 0,19

Page 46: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Rapport de vraisemblance

L'ampleur du changement de la probabilité de maladie que l'on avait avant le test par rapport à celle que l'on obtient après le test varie selon le rapport de vraisemblance.

Plus le rapport de vraisemblance d'un test positif est grand et plus le rapport de vraisemblance d'un test négatif est petit, plus le test est utile cliniquement.

Page 47: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Rapport de vraisemblance

Le rapport de vraisemblance d'un test positif

L = Se/(1-Sp)Varie de 0 (Se nulle) à l’infini (Sp tend vers 1)

Plus LR s’écarte de la valeur 1, (plus le rapport L est élevé, plus il nous permet de confirmer la maladie)

Page 48: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Rapport de vraisemblance

Le rapport de vraisemblance d'un test négatif

_ = (1-Se)/SpRapport négatif nul quand Se = 1Test totalement spécifique (pathognomonique), _ est égal à 1-SePlus _ est petit, plus il permet d'exclure la maladie.

Page 49: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Rapport de vraisemblanceL _ Changement entre la prob

prétest et posttest d'avoir la maladie

≥ 105-102-51-21

<0,10,1-0,20,2-0,50,5-1

1

ImportantModéré

Faible mais parfois significatif

Faible rarement significatifAucun

Page 50: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Pour résumer, la valeur diagnostique d’un test est d’autant plus grande que

•L’indice de Youden est proche de 1

•L’apport diagnostique d’un résultat positif du test est d’autant plus grand que L est plus élevé

•L’apport diagnostique d’un résultat négatif d’autant plus grand que _ est petit et proche de 0

Page 51: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Quel est le meilleur examen ?

Sensibilité = 50 %; Spécificité = 50%

Sensibilité=10%; Spécificité = 90%

Sensibilité=90%; Spécificité=10%

Page 52: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Test +

Test -

Malades Sains

50

50

50

50

Quel est le meilleur examen ?

E Y L _ 0,5 0 1

1

Se=50 %Sp=50%

Page 53: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Test +

Test -

Malades Sains

10

90

10

90

Quel est le meilleur examen ?

E Y L _ 0,5 0 1

1

Se=10% Sp=90%

Page 54: Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Test +

Test -

Malades Sains

90

10

90

10

Quel est le meilleur examen ?

E Y L _ 0,5 0 1

1

Se=90 %Sp=10%