EVALUATION DES TESTS DE DIAGNOSTIC - · PDF file– Les tests de diagnostic Comprennent...

Vray M Institut PasteurVray M Institut Pasteur 11

EVALUATION DES TESTS EVALUATION DES TESTS DE DIAGNOSTICDE DIAGNOSTIC


Plan de la prPlan de la préésentationsentation

IntroductionIntroduction–– DDééfinition Dfinition Déépistage, Diagnostiquepistage, Diagnostique

Les Les ¾¾ phases de dphases de dééveloppement dveloppement d’’un testun test–– Phases 1, 2, 3 et 4Phases 1, 2, 3 et 4

Les indices de performancesLes indices de performances–– ReproductibilitReproductibilitéé (Indice Kappa de Cohen, diagramme (Indice Kappa de Cohen, diagramme

de de BlandBland et Altman, CCI)et Altman, CCI)

–– ValiditValiditéé (Se, (Se, SpSp, VPP, VPN, LR+, LR, VPP, VPN, LR+, LR--))

–– Courbes RocCourbes Roc

Les principaux biaisLes principaux biais


Les Les critcrit èèresres diagnostiquesdiagnostiques

CeCe sontsont des des marqueursmarqueurs dontdont les les rréésultatssultatspermettentpermettent dd’’orienterorienter la la ddéécisioncision mméédicaledicaleDeuxDeux niveauxniveaux ::–– Les tests de Les tests de ddéépistagepistage–– Les tests de diagnosticLes tests de diagnostic

Comprennent Comprennent Test mTest m éédical, signes cliniques, critdical, signes cliniques, crit èèresresbactbact éériens, images radiologiques, testsriens, images radiologiques, testsbiochimiques ..biochimiques ..


Un test peut être Un test peut être trtr èès simples simple par exemple par exemple une culture bactune culture bact éériennerienne pour pour éévaluer une valuer une infectioninfection

Ou Ou plus compliquplus compliqu éé par exemple un par exemple un score score cliniqueclinique àà partir dpartir d ’’un questionnaire ou un questionnaire ou la la ssééquence de procquence de proc éédures spdures sp éécifiquescifiquesselon un protocoleselon un protocole


DDéépistage et diagnosticpistage et diagnostic

Dépistage

Complicationsexposition Phasepré-clinique

Phase clinique

Diagnostic


Diagnostic et DDiagnostic et D éépistagepistage

Le diagnosticLe diagnostic se distingue du se distingue du ddéépistagepistagepar une caractpar une caract ééristique fondamentale : ristique fondamentale : La motivation de lLa motivation de l ’’examenexamen

�� RRééalisalis éé en raison de len raison de l ’é’état clinique (sujet tat clinique (sujet malade) malade) �� diagnosticdiagnostic

�� RRééalisalis éé indind éépendamment de lpendamment de l ’é’état clinique tat clinique (sujet apparemment sain) (sujet apparemment sain) �� ddéépistagepistage


SpSpéécificitcificit éé des tests de des tests de «« ddéépistagepistage »»

SS’’appliquent appliquent àà des sujets sainsdes sujets sainsSur une large Sur une large ééchellechelleDoivent être non invasifs (sans danger et Doivent être non invasifs (sans danger et facile facile àà administrer) et peu chersadministrer) et peu chersEn gEn g éénnééral, ils sont suivis par dral, ils sont suivis par d ’’autres tests autres tests avant de prendre la davant de prendre la d éécision de traitercision de traiterLe traitement avant les symptômes doit avoir Le traitement avant les symptômes doit avoir une meilleure efficacitune meilleure efficacit éé comparcompar éée e àà un un traitement donntraitement donn éé aprapr èès le ds le d éébut des but des symptômes : dsymptômes : d éépistage cancer col utpistage cancer col ut éérin, rin, cancer du poumon?cancer du poumon?


DDéépistage versus Diagnosticpistage versus Diagnostic

IntInt éérêt de tester des populations sainesrêt de tester des populations sainespour traiter prpour traiter pr éécocement cocement

ExEx : : Cancer du sein et mammographieCancer du sein et mammographie

CholestCholest éérolrol éémie et HTA pour maladies CVmie et HTA pour maladies CVMaladies infectieuses avec traitement Maladies infectieuses avec traitement disponible (avantage individuel et collectif)disponible (avantage individuel et collectif)


LL’é’évaluation statistique est identiquevaluation statistique est identique quequece soit pour ce soit pour

un Test de un Test de «« ddéépistagepistage »»

ou ou

un Test de un Test de «« diagnosticdiagnostic »»


CritCrit èères pour un test mres pour un test m éédical dical «« intint ééressantressant »»

Il doit y avoir un bIl doit y avoir un b éénnééfice fice àà diagnostiquer ladiagnostiquer lamaladiemaladie��Avant de mettre en place un test il y a des critAvant de mettre en place un test il y a des crit èèresresàà vvéérifierrifier

La maladie doit être La maladie doit être grave grave ��conscons ééquences sur la survie ouquences sur la survie ouLa qualitLa qualit éé de viede vie

La maladie doit être La maladie doit être «« importanteimportante »» �� prpr éévalence valence éélevlev éée danse dansla population ciblla population cibl éée ou contexte e ou contexte éépidpid éémiquemique

La maladie peut La maladie peut être traitêtre trait ééee (gu(gu éérison ou ralentissement)rison ou ralentissement)


Si le traitement existe, Si le traitement existe, les malades y ont accles malades y ont acc èèss (PED)(PED)

DDééfinir le bfinir le b éénnééficefice apportapport éé par le test au patient par le test au patient

Le test ne doit Le test ne doit pas être douloureuxpas être douloureux(b(béénnééfices > inconvfices > inconv éénients: conients: co ûût, dt, d ééplacement, inconfort placement, inconfort moral, physique etc..)moral, physique etc..)

Evaluer comment le test va Evaluer comment le test va ss’’ intint éégrer dans la prise en grer dans la prise en charge de la maladie charge de la maladie

Le test doit être Le test doit être performant performant �� permet de bien classer les permet de bien classer les sujets en Malades et Non maladessujets en Malades et Non malades

�� Eviter les faux Positifs Eviter les faux Positifs �� traittrait éés s àà torttort�� Eviter les faux NEviter les faux N éégatifs gatifs �� non traitnon trait éés s àà torttort


Les 3/4 phases de Les 3/4 phases de ddééveloppement dveloppement d’’un test un test

diagnostiquediagnostique


La phase I (proofLa phase I (proof--ofof--concept)concept)LL’’objectif de cette phase exploratoire est de vobjectif de cette phase exploratoire est de v éérifier que les rrifier que les r éésultats dusultats dutest sont difftest sont diff éérents chez les malades et les non malades (condition srents chez les malades et les non malades (condition s«« de laboratoirede laboratoire »»))

VVéérification du rification du «« mméécanismecanisme »» dd’’actionaction

Test dans conditions diffTest dans conditions diff éérentesrentes (temp(temp éératures, humiditratures, humidit éé..), conditions..), conditionsde recueil de recueil

Test chez sujets ou Test chez sujets ou ééchantillons diffchantillons diff éérentsrents (diff(diff éérents niveaux derents niveaux desséévvééritrit éé de maladie ou de quantitde maladie ou de quantit éé de bactde bact éériesries …….) y compris des sujets.) y compris des sujetsnon malades mais avec des symptômes proches de ceux des sujetsnon malades mais avec des symptômes proches de ceux des sujetsmalades malades

Test de la reproductibilitTest de la reproductibilit éé


Exemple: Bandelettes pour diagnostiquer des Exemple: Bandelettes pour diagnostiquer des

shigellesshigelles àà partir de sellespartir de selles

-- VVéérifier rifier -- bandelettes + dans prbandelettes + dans pr ééllèèvements contenant des vements contenant des shigellesshigelles-- Bandelettes Bandelettes -- dans prdans pr ééllèèvements sans vements sans shigellesshigelles

-- DDééfinir les conditions de recueil des selles (dfinir les conditions de recueil des selles (d éélai de lai de recueil et conditions de strecueil et conditions de st éérilitrilit éé..)..)

-- VVéérifier drifier d éélai et conditions de lecture (mode dlai et conditions de lecture (mode d ’’emploi)emploi)-- VVéérifier la reproductibilitrifier la reproductibilit éé de la lecture (utiliser 2 de la lecture (utiliser 2

bandelettes, lues par deux lecteurs diffbandelettes, lues par deux lecteurs diff éérents)rents)-- Faire varier les conditions de stockage des bandele ttes Faire varier les conditions de stockage des bandele ttes

(humidit(humidit éé, temp, temp éérature)rature)


�� Cette phase permet de savoir si le testCette phase permet de savoir si le testsemble semble suffisamment suffisamment «« fiablefiable »» pourpourpouvoir être utilispouvoir être utilis éé dans les conditionsdans les conditionssouhaitsouhait ééeses

Une Une bonne reproductibilitbonne reproductibilit éé est nest n éécessaire cessaire


La phase II (Etude casLa phase II (Etude cas--ttéémoins)moins)LL’’objectif de cette phase de validation est de montre r queobjectif de cette phase de validation est de montre r que-- la probabilitla probabilit éé dd’’avoir un ravoir un r éésultat + est supsultat + est sup éérieure chez les malades rieure chez les malades -- la probabilitla probabilit éé dd’’avoir un ravoir un r éésultat sultat –– est supest sup éérieure chez les non malades rieure chez les non malades

�� VValiditalidit éé du test dans conditions contrôldu test dans conditions contrôl ééeses ((≠≠ conditions de terrain) conditions de terrain)

-- SSéélectionner les cas et les tlectionner les cas et les t éémoins, les moins, les éévaluateursvaluateurs (m(méédecins, infirmiers, decins, infirmiers, radiologues..) qui peuvent diffradiologues..) qui peuvent diff éérer du terrainrer du terrain

-- DDééfinir dans un PROTOCOLE finir dans un PROTOCOLE les conditions dles conditions d ’’utilisation du testutilisation du test (en (en essayant dessayant d ’é’éviter les biais)viter les biais)

-- Tester diffTester diff éérentesrentes conditionsconditions de recueil de recueil (temp(temp éératures, humiditratures, humidit éé..) ..)

-- Estimer le % de faux positifs et de faux nEstimer le % de faux positifs et de faux n éégatifs gatifs (calcul du NSN et (calcul du NSN et estimations des valeurs acceptables)estimations des valeurs acceptables)

-- Pour les tests quantitatifsPour les tests quantitatifs , d, dééfinir le finir le cutcut --off (off ( Courbes RocCourbes Roc ), identifier les ), identifier les facteurs ayant un impact sur le test (ou ceux qui l e rendent inifacteurs ayant un impact sur le test (ou ceux qui l e rendent ini nterprnterpr éétable)table)


Les Les éétudes de phases I et II sont des tudes de phases I et II sont des éétudes tudes rréétrospectivestrospectives rrééalisalis éées es uniquement dans un but de rechercheuniquement dans un but de recherche

Le statut du malade est dLe statut du malade est d éétermintermin éé avant avant par dpar d ’’autres moyensautres moyens


La phase III (Etude prospective)La phase III (Etude prospective)Objectif principal:Objectif principal: DDééterminer les performances du test dans lesterminer les performances du test dans lesconditions oconditions o ùù il sera utilisil sera utilis éé�� vvéérifier que chez les patients chez lesquels il est cli niquementrifier que chez les patients chez lesquels il est cli niquementpertinent, les rpertinent, les r éésultats du test permettent de distinguer les maladessultats du test permettent de distinguer les maladesdes non maladesdes non malades

Les performances pourront être comparLes performances pourront être compar éées es àà celles dcelles d ’’autres testsautres tests

�� RRééalisalis éée dans les e dans les conditions pratiques dconditions pratiques d ’’utilisation du testutilisation du test

�� SS’’adresse adresse àà des sujets dont on ne connades sujets dont on ne conna îît pas t pas àà ll ’’avance lavance l ’é’état tat (Malade ou Non Malade)(Malade ou Non Malade)


Phase IV ?Phase IV ?

IdIdééalement, il est intalement, il est int ééressant de comparer, parressant de comparer, parun essai randomisun essai randomis éé, l, l ’’ impact de limpact de l ’’ introductionintroductiondu test par rapport du test par rapport àà une prise en charge sansune prise en charge sanstest, dans la pratique courante, sur destest, dans la pratique courante, sur descritcrit èères de res de morbimorbi --mortalitmortalit éé (qualit(qualit éé de vie) etde vie) etde code co ûûts ts �� Permet de savoir si les sujets Permet de savoir si les sujets «« testtest ééss »» se se

«« portent mieuxportent mieux »» que les sujets que les sujets «« non testnon test ééss »»


Relation entre le Taux de peptide Relation entre le Taux de peptide natriurnatriur éétiquetique (PN)(PN)et hypertrophie ventriculaire gauche (HVG)et hypertrophie ventriculaire gauche (HVG)

Phase I Phase I Les patients avec une HVG ontLes patients avec une HVG ont --ils des concentrationsils des concentrationsde PN supde PN sup éérieures rieures àà celles observcelles observ éées chez des sujetses chez des sujetsnormaux?normaux?

Patients HVG + Patients HVG Patients HVG + Patients HVG --

PN (PN (pgpg /ml)/ml)

mméédianediane 493.5493.5 129.4129.4

range range (248.9(248.9--909.0)909.0) (53.6(53.6--159.7) 159.7)



Phase II Phase II Les patients avec des concentrations de PN Les patients avec des concentrations de PN éélevlev éées ontes ontils plus souvent une HVG que ceux avec desils plus souvent une HVG que ceux avec des

concentrations faibles ?concentrations faibles ?

PN (PN (pgpg /ml)/ml) CCas (Avec HVG) Tas (Avec HVG) T éémoins (Sans HVG)moins (Sans HVG)

Valeurs Valeurs éélevlev ééeses n=39n=39 n=2 n=2 Valeurs normalesValeurs normales n=1n=1 n=25n=25

SeSe= 98% (87= 98% (87--100) 100) VPPVPP=95% (84=95% (84--99)99)SpSp= 92% (77= 92% (77--98) 98) VPNVPN=95% (84=95% (84--99)99)LR+LR+= 13 (3.5= 13 (3.5--50.0)50.0) LRLR--= 0.03 (0.0003= 0.03 (0.0003--0.19) 0.19)



Phase IIIPhase IIIParmi les sujets chez qui une suspicion clinique de HVGParmi les sujets chez qui une suspicion clinique de HVGexiste, les taux de PN sontexiste, les taux de PN sont --ils diffils diff éérents entre ceux quirents entre ceux quiont une HVG (Echo) et ceux qui nont une HVG (Echo) et ceux qui n ’’en nen n ’’ont pas ?ont pas ?

PN (PN (pgpg /ml)/ml) Sujets Sujets HHVG + Sujets VG + Sujets HHVG VG --Valeurs Valeurs éélevlev éées (>=18)es (>=18) n=35n=35 n=57n=57Valeurs normales (<18)Valeurs normales (<18) n=5n=5 n=29n=29

Se Se = 88% (74= 88% (74--94) 94) VPPVPP=38% (29=38% (29--48)48)SpSp = 34% (25= 34% (25--44) 44) VPNVPN=85% (70=85% (70--94)94)LR+LR+= 1.3 (1.1= 1.3 (1.1--1.6)1.6) LRLR-- = 0.4 (0.2= 0.4 (0.2--0.9)0.9)



Phase IVPhase IVLes sujets chez qui une suspicion clinique de HVG e xisteLes sujets chez qui une suspicion clinique de HVG e xisteet chez qui un dosage de PN a et chez qui un dosage de PN a ééttéé rrééalisalis éé ont ont -- ils ils «« ununmeilleur meilleur éétat de santtat de sant éé »» que les sujets qui nque les sujets qui n ’’ont pas ont pas ééttéétesttest éés ?s ?


Indices de performances

Reproductibilité

Validité (Accuracy)


Protocole pour Protocole pour éévaluer la reproductibilitvaluer la reproductibilit ééde la mesurede la mesure

��DDééfinir la population finir la population àà analyser : analyser : reprrepr éésenter toute lsenter toute l ’é’étendue des tendue des mesuresmesures

��Au moins 2 rAu moins 2 r ééppéétitionstitions

��RRéésultats indsultats ind éépendants (pendants ( éévaluation valuation en insu)en insu)


Type de critType de critèèresres

1) Variable discr1) Variable discrèète (2 ou K classes) te (2 ou K classes) Coefficient KappaCoefficient Kappa de Cohende Cohen

2) Variable quantitative 2) Variable quantitative

Diagramme de Diagramme de BlandBland et Altman et CV ou CCIet Altman et CV ou CCI


CritCritèères qualitatifsres qualitatifs

Coefficient Kappa de Coefficient Kappa de CohenCohen


Le coefficient KappaLe coefficient Kappa

LL’’accord observaccord observ éé entre des jugements entre des jugements qualitatifs, rqualitatifs, r éésulte de la somme dsulte de la somme d ’’une une composante composante ««alalééatoireatoire »» et det d ’’une composante une composante dd’’accord accord ««vvééritableritable »»

Le coefficient KappaLe coefficient Kappa propose de chiffrer propose de chiffrer ll ’’ intensitintensit éé ou la qualitou la qualit éé de lde l ’’accord raccord r ééel el entre des jugements qualitatifs apparientre des jugements qualitatifs appari ééss


Accord entre 2 Accord entre 2 éévaluationsvaluations(Exemple : N= 81 sujets (Exemple : N= 81 sujets éévaluvalu éés)s)

8.05.01

5.09.0

1=

−−=

−−

=e

eo

P

PPKappa

4141(24.95)(24.95)

22(18.05)(18.05)

66(22.05)(22.05)

32 32 (15.95)(15.95)

++Evaluation 2Evaluation 2

--

Evaluation 1Evaluation 1

++ --Po = (32+41) / 81 = 0.9

Pe = (15.95 +24.95) / 81 = 0.5

Po = 0.9

Pe = 0.5 (chance)

1 - Pe = 0.5

Po –Pe = 0.4

07.0)1()1(

)1(=

−−−

=ee

ookappa

PPn

PPSE

kappaSEKappaIC ×±= 96.1%95

14.08.007.096.18.0%95 ±=×±=IC


Il exprime une diffIl exprime une diff éérence relative entre la proportion rence relative entre la proportion dd’’accord observaccord observ éée e PoPo et la proportion det la proportion d ’’accord accord alalééatoire atoire PePe (la valeur attendue sous HO (la valeur attendue sous HO dd’’ indind éépendance des jugements) divispendance des jugements) divis éée par la quantite par la quantit éédisponible audisponible au --deldel àà de lde l ’’accord alaccord al ééatoireatoire

�� K est un pourcentage de lK est un pourcentage de l ’’accord maximumaccord maximum corrigcorrig ééde ce qude ce qu ’’ il serait sous le simple effet du hasardil serait sous le simple effet du hasard

Le coefficient Le coefficient KappaKappa est un nombre rest un nombre r ééel, sans el, sans dimension, compris entre dimension, compris entre --1 et +11 et +1

ChiChi --2 de Mac 2 de Mac NemarNemar (qui teste (qui teste ss’’ il y ail y a concordanceconcordance ) ) nn’’est pas appropriest pas appropri éé dans ce contexte dans ce contexte

Utilisation du Kappa pour Utilisation du Kappa pour éévaluer la reproductibilitvaluer la reproductibilit éémais aussi la validitmais aussi la validit éé (quand le test et le Gold standard(quand le test et le Gold standardont le même nombre de catont le même nombre de cat éégories, notamment 2)gories, notamment 2)


Concordance et KappaConcordance et Kappa«« Valeurs de rValeurs de rééfféérencerence»» ((LandisLandis--Koch, 1977)Koch, 1977)

Kappa peut être testKappa peut être test éé (Ho: Kappa= 0) mais ce test a peu d(Ho: Kappa= 0) mais ce test a peu d ’’ intint éérêt en rêt en pratique: le kappa spratique: le kappa s ’’utilise davantage comme un indicateur utilise davantage comme un indicateur descriptif descriptif de concordancede concordance


Concordance et KappaConcordance et KappaCas Cas àà K K ≥≥≥≥≥≥≥≥2 cat2 cat éégoriesgories

Lecture du frottis cervico-utérin chez 761 sujets, méthode Papanicolaou(J. Coste et al, BMJ 2003)

79.0761

8863325448 =++++=oP 48.0761

8.06.145.75.54.336 =++++=Pe

59.048.01

48.079.01

=−−=−

−=e

eo

PPPKappa

336.4

5.5

7.5

14.6

0.8


Concordance et Kappa: Concordance et Kappa: Les deux paradoxesLes deux paradoxes

DDéépendance lourde de Kappa vispendance lourde de Kappa vis--àà--vis de la frvis de la frééquencequence

((biais debiais deprpr éévalence = PIvalence = PI) des r) des rééponses positives ponses positives (plus(plus

une catune catéégorie est rare, plus le kappa est bas)gorie est rare, plus le kappa est bas)

ProblProblèème du me du biais (BI) biais (BI) lorsque les 2 observateurslorsque les 2 observateurs

DiffDiff èèrent dans leur jugementrent dans leur jugement


ExempleExemple (1/2) : (1/2) : ProblProbl èèmeme de de prpr éévalencevalence (PI)(PI)

454566--

994040++ClinicienClinicien 22

--++

ClinicienClinicien 11

80801010--


--++


Kappa = 0.7 Kappa = 0.32

A concordance constante (ici 85%), le Kappa est d’auta nt plus grand quele pourcentage de diagnostics positifs (ou négatifs) p armi les concordants est proche de 50%

��Déséquilibre entre les taux de concordance + et - �� Kappa diminue

Tableau 1 Tableau 2


ExempleExemple (2/2): (2/2): BiaisBiais dd’’ interprinterpr éétationtation entre entre lecteurslecteurs

15152525--


--++


353555--


--++


Kappa = 0.13 Kappa = 0.26

Dans le tableau 1, les deux cliniciens portent le diagnostic avec unefréquence proche ( 70% pour le clinicien 1 et 60% pour le clinicien 2)

Dans le tableau 2 , le clinicien 1 porte le diagnostic dans 30% des cascontre 60% pour le clinicien 2.

Le Kappa est plus élevé dans le tableau 2 alors que les cliniciens sont le plus en désaccord.

Tableau 1 Tableau 2


CConclusionsonclusions

Calculer Calculer Kappa, BI, PIKappa, BI, PISi Si BI importantBI important �� il faut essayer de comprendre il faut essayer de comprendre pourquoi les 2 lecteurs ne cotent pourquoi les 2 lecteurs ne cotent pas de la même pas de la même fafaççonon

Si PI importantSi PI important et BI faibleet BI faible�� il est nil est néécessaire de cessaire de fournir les valeurs de concordances positives et fournir les valeurs de concordances positives et nnéégatives gatives P P negneg et P et P pospos

Ces donnCes donnéées sont particulies sont particulièèrement importantes rement importantes quand on veut comparer les rquand on veut comparer les réésultats de plusieurs sultats de plusieurs éétudestudes


CritCrit èères quantitatifsres quantitatifs

Diagramme de Diagramme de BlandBland et Altmanet Altman

Coefficient de corrCoefficient de corr éélation intralation intra --classe classe (CCI)(CCI)


Résultats de la régression linéaire

Pente = 1Surestimation systématique d’amplitude b

Y

X

bY

X

b

Pente = 1Sous estimation systématique d’amplitude b

Y

XPente ≠ 1Surestimation jusqu’à un seuilSous estimation à partir d’un seuil


Une pente = 1 et/ou un coefficient de corrélation e ntre les deux séries de mesures (x et y) permet de juger d’u ne liaison entre les deux méthodes

�� Les deux méthodes mesurant (a priori) la même chose, on doit observer une liaison

Mais ne renseigne pas sur la qualité des deux mesure s (ne quantifie pas les écarts entre les 2 méthodes)


Etape 2 : Méthode de Altman & Bland

Etude du nuage de points avec

en abscisse : la moyenne des 2 mesures (x+y)/2

en ordonnée : la différence des 2 mesures (x-y)

Cette méthode fait l’hypothèse que les différences sont distribuées normalement :

d : moyenne des différence (x-y)

sd : écart-type des différences (x-y)

⇒⇒⇒⇒ Compare les différences observées à la distribution statistique attendue

Condition d’application : nombre de mesures par mét hodes n ≥≥≥≥ 30


Les Les diffdifféérentesrentes éétapestapes

Y a-t-il une liaison entre les deuxmesures ?

Coefficient de corrélation

Oui Non

Fin d’analyseY a-t-il concordance ?

Y a-t-il indépendance entre la variabilité et le niveau de la

mesure ?

Diagramme de Bland & Altman

Oui Non

Coefficient de CorrélationIntraClasse (CCI)

Coefficient de variation


Comment juger si la nouvelle méthode est acceptable ? C’est-à-dire peut remplacer l’ancienne, ou si les 2 lecteurs donnent les mêmes résultats- La différence entre les méthodes n’augmente pas lo rsque les valeurs augmentent (ou diminuent)- La différence entre deux mesures est peu éloignée de la moyenne

00

DiffDifféérence rence

(x(x--y)y)

Valeurs moyennes (x+y)/2Valeurs moyennes (x+y)/2

dd

d + 1.96 d + 1.96 ssdd

d d -- 1.96 1.96 ssdd



(x(x--y)y)

00

dd

00

dd


(x(x--y)y)

Indépendance entre la variabilité et le niveau de la

mesure

Dépendance entre la variabilitéet le niveau de la mesure

(effet entonnoir )

(x+y)/2 (x+y)/2


Spécificité de la Reproductibilité d’une mesure conti nue

Pour vérifier la reproductibilité d’une mesure, on r épète la mesure ( ≥≥≥≥ 2) sur les mêmes échantillons :

- les mesures doivent être indépendantes (TAS)

- éviter les facteurs liés à l’ordre

Vérification de la cohérence en utilisant une régre ssion linéaire :

→ pente = 1 (coefficient de corrélation élevé) doit être observé(e),→ mais ne renseigne pas sur la reproductibilité

⇒Coefficient de corrélation intra-classe (>0.9)

⇒ ou Coefficient de variation (<0.1)


ValiditValidit éé dd’’un test par rapport un test par rapport àà un Gold Standardun Gold Standard


DDééfinition du Gold Standardfinition du Gold Standard

Caractéristiques des critères permettant d’affirmer l’existence d’une maladie

Un critère indiscutable: tuberculose et BK ?

Tuberculose et IDR+?

Critères histo-pathologiques à partir de Biopsies


DifficultDifficultéés du Gold Standards du Gold Standard

Pas de gold standard : aucun critère vraiment satisfaisantEx= test rapide de bandelettes pour diagnostiquer shig elles chez enfants atteints de diarrhée sévère (Coproculture peu s ensible, PCR non spécifique)

Quand un nouveau test ferait mieux que le standard actuelEx: bandelettes plus sensibles si lues rapidement

Un gold standard ne doit comporter dans sa définition, ni le signe, ni le résultat du test dont on évalue les propriétés diagnostiques


Le testLes critères de positivité d’un test doivent être connus précisément

�� Décrire les conditions dans lesquelles ils sont mesurés et les règles de conclusion

ExemplesUtilisation d’une bandelette pour diagnostiquer des shigelles dans les selles � lecture dans les 15 minutes …Mesure de la glycémie: à jeun, post prandialeExamen direct BK (conditions de lecture : nombre de champs microscopiques?)


Evaluation dEvaluation d ’’un nouveau test diagnostic un nouveau test diagnostic et critet crit èères de performancesres de performances

�� On peut distinguerOn peut distinguer-- Les tests binairesLes tests binaires (oui/non ou positif/n(oui/non ou positif/n éégatif ou prgatif ou pr éésent/absent) sent/absent) Ex: PrEx: Pr éésence de sang dans les urines, ssence de sang dans les urines, s éérologie VIH positive ourologie VIH positive ounnéégative, BAAR + ou gative, BAAR + ou ––

-- Les tests quantitatifs: variable continue avec un se uilLes tests quantitatifs: variable continue avec un se uilEx:Ex: bilirubinbilirubin éémie, cholestmie, cholest éérolrol éémie, taux de PSAmie, taux de PSA , FibroScan, FibroScan

-- Les rLes r ééponses ordinales ponses ordinales Ex: degrEx: degr éé de fibrose sur une lame de biopsie, de fibrose sur une lame de biopsie, images radiologiques, images radiologiques,

ééchelle de BIRADS sur la mammographiechelle de BIRADS sur la mammographie�� analyse peut être abordanalyse peut être abord éée comme du quantitatife comme du quantitatif

En fonction du critEn fonction du crit èère, la mre, la m ééthodologie dthodologie d ’é’évaluation seravaluation seradiffdiff éérenterente


Expressions des rExpressions des r éésultats dsultats d ’’une une éévaluationvaluation

Signe binaireSigne binaire : Sensibilit: Sensibilit éé, sp, sp éécificitcificit éé

Signe avec valeur continueSigne avec valeur continue : Courbes ROC: Courbes ROC


Cas des variables binairesCas des variables binaires


Expression des résultats

Statut

Résultat

maladeM+

non malade M-

test +Vrai Positif

VPFaux positif

FP

test -Faux Négatif

FNVrai Négatif

VN

On distingue 4 types de sujets-Les vrais positifs (VP)-Les faux positifs (FP)-Les varis négatifs (VN)-Les faux négatifs (FN)


Qualités intrinsèques : sensibilité et spécificité

M+ M-

T + VP FP

T - FN VN

Sensibilité : probabilité

d’obtenir un test positif quand

le sujet est maladeValeur comprise entre 0 et 1

=> c’est l’aptitude d’un test à

identifier correctement les

individus malades grâce à une

réponse positive

Se = P (T+ / M+) = VP / VP+FN


Qualités intrinsèques : sensibilité et spécificité

M+ M-

T + VP FP

T - FN VN

Spécificité : probabilité

d’obtenir un test négatif quand

le sujet est non malade

Valeur comprise entre 0 et 1

=> c’est l’aptitude d’un test à

identifier correctement les

individus non malades grâce à

une réponse négative

Sp = P (T- / M- ) = VN / VN+FP


ex : on souhaite déterminer la sensibilité et la spéci ficité d’un

nouveau test de dépistage d’une maladie. 1000 sujet s ont été soumis

au test de référence (Gold Standard) supposé parfait : 9 00 ont fourni

une réponse négative et 100 une réponse positive. P armi les 100

sujets à réponse positive, 90 répondent positivement au nouveau

test, et parmi le 900 à réponse négative, 30 ont donn é une réponse

positive au nouveau test.

référence +

référence -

T + 90 30 120

T - 10 870 880

100 900 1000

Se = 90/100 = 0,90

Sp = 870/900 = 0,97


Se calculée sur une population composée exclusivement

de sujets malades

=> Se ne varie donc pas en fonction de la prévalence de la

maladie

Sp calculée sur une population composée exclusivement

de sujets non malades

=> Sp ne varie donc pas en fonction de la prévalence de la

maladie

Pour un test donné : Se et Sp ne dépendent pas de la prévalence de la

maladie

=> qualités « intrinsèques » = dépendant uniquement de facteurs

internes (caractéristiques du test…)


Relativité de la sensibilité et de la spécificitéM+ M –

VP FP

Seuil 1

FN VN

Se = 0,55 Sp = 0,95

Seuil 2

Se = 0,80 Sp = 0,75

Seuil 3

Se = 1 Sp = 0,50

FN �� Se ��

FP �� Sp ��


Ex: dEx: déépistage cancer du seinpistage cancer du sein

HIP HIP BreastBreast Cancer Screening Cancer Screening ProjectProject

64810 femmes âg64810 femmes âgéées de 40 es de 40 àà64 ans64 ans

SensibilitSensibilitéé: 132/177 = : 132/177 = 75%75%

SpSpéécificitcificitéé: 63650/64633 = : 63650/64633 = 99%99%

64810648106463364633177177

636956369563650636504545--

11151115983983132132++Ex. Ex. physiquephysique

+ + mammomammo..

--++

Cancer du seinCancer du sein

(biopsie ou (biopsie ou aspiration)aspiration)

(Shapiro S et al., Am J Epidemiol, 1974)


Equilibre entre sensibilitEquilibre entre sensibilit éé et spet sp éécificitcificit éé

On peut parfois être amenOn peut parfois être amenéé àà faire des testsfaire des tests

en sen sééquence:quence:–– Test rapide pour le VIH qui a une trTest rapide pour le VIH qui a une trèès grande s grande

sensibilitsensibilitéé, mais dont la sp, mais dont la spéécificitcificitéé nn’’est pas est pas parfaite.parfaite.

–– Un test trUn test trèès sps spéécifique, mais plus complexe cifique, mais plus complexe (type Western blot), pour ceux qui ont un (type Western blot), pour ceux qui ont un rréésultat positif sur le premier test.sultat positif sur le premier test.


Equilibre entre sensibilitEquilibre entre sensibilit éé et et spsp éécificitcificit éé

Selon les cas, on pourra être amenSelon les cas, on pourra être amenéé àà privilpriviléégier gier une sensibilitune sensibilitéé ou une spou une spéécificitcificitéé éélevlevééee

–– La sensibilitLa sensibilitéé sera privilsera priviléégigiééee dans les cas suivants:dans les cas suivants:Maladie grave (on ne veut pas laisser passer un cas)Maladie grave (on ne veut pas laisser passer un cas)Maladie transmissibleMaladie transmissibleQuand les investigations qui dQuand les investigations qui déécouleront du dcouleront du déépistage sont pistage sont sans danger et peu cosans danger et peu coûûteuses (confirmation dteuses (confirmation d’’une une hypertension arthypertension artéérielle)rielle)

–– La spLa spéécificitcificitéé sera privilsera priviléégigiééee dans les cas suivants:dans les cas suivants:Quand les investigations qui dQuand les investigations qui déécouleront du dcouleront du déépistage sont pistage sont dangereuses ou codangereuses ou coûûteuses (angiographie par teuses (angiographie par cathcathééttéérisationrisation, , MDR et traitement)MDR et traitement)


Qualités extrinsèques :

Valeur Prédictive Positive (VPP) Valeur Prédictive Négative (VPN)

VPP = P (M+/T+) = VP / VP+FP

⇒probabilité que l’individu soit

malade quand le test est positifValeur comprise entre 0 et 1

M+ M-

T + VP FP

T - FN VN


VPN = P (M-/T-) = VN / VN+FN

⇒probabilité que l’individu soit non

malade quand le test est négatif

Valeur comprise entre 0 et 1

M+ M-

T + VP FP

T - FN VN

Qualités extrinsèques :

Valeur Prédictive Positive (VPP) Valeur Prédictive Négative (VPN)


référence +

référence -

T + 90 30 120

T - 10 870 880

100 900 1000

Suite de l’exemple précèdent

VPP = 90/120 = 0,75

VPN = 870/880 = 0,99


lorsque Se et Sp sont fixées :

si p �� => VP deviennent majoritaires/FP => VPP ��

=> FN deviennent majoritaires/VN => VPN ��

si p �� => VP deviennent minoritaires/FP => VPP ��

=> FN deviennent minoritaires/VN => VPN ��

VPP et VPN

Fonction de Se et Sp du test et de la prévalence de la maladie dans la zone où est employé le test

VPP = VP / (VP + FP) et VPN = VN / (VN + FN)

M+ M-

T + VP FP

T - FN VN


Conséquences sur l’interprétation des résultats

En milieu où prévalence élevée:

grande confiance / résultat positif (VPP)

≠≠≠≠ confiance plus limitée / résultat négatif (VPN)

En milieu où prévalence faible:

grande confiance / résultat négatif (VPN)

≠≠≠≠ confiance plus limitée / résultat positif (VPP)


Un même test effectué sur 1000 sujets dans 2 zones d ifférentes (A et B)

M+ M-

T+ 190 80 270

T- 10 720 730

200 800 1000

M+ M-

T+ 19 98 117

T- 1 882 883

20 980 1000

Zone A Zone B

Quelles sont les qualités intrinsèques de ce test ?

Quelle est la prévalence de la maladie dans chaque zone ?

Que conclure si le test est + ? Si le test est - ?

Zone A : Se = 190/200 = 95% Sp = 720/800 = 90%

Zone A => p = 20%

Zone B => p = 2%

Zone A => VPP = 190/270 = 70% Zone B => VPP = 19/117 = 16%

Zone A => VPN = 720/730 = 98.6% Zone B => VPN = 882/883 = 99.8%

Zone B : Se = 19/20 = 95% Sp = 882/980 = 90%


En résumé :

La VPP dépend , notamment de la spécificité du test, mais

surtout de la prévalence de la maladie (plus la maladie est

rare, plus la VPP est faible).

La VPN dépend , notamment de la sensibilité du test, mais

surtout de la prévalence de la maladie (plus la maladie et

rare, plus la VPN est élevée).


Intervalles de confiance (IC)Intervalles de confiance (IC)Par convention, intervalle de confiance Par convention, intervalle de confiance àà 95%95%

m= nombre de maladesm= nombre de maladesn= nombre de nonn= nombre de non --maladesmalades

m

SeSeSe

)1((96.1

−××±

n

SpSpSp

)1((96.1

−××±

IC 95% (Se)=

IC 95% (Sp)=


Calcul du nombre de sujets nCalcul du nombre de sujets n éécessairecessaire

Cette formule peut être utilisCette formule peut être utiliséée pour calculer le nombre dee pour calculer le nombre de

sujets nsujets néécessaire dans une cessaire dans une éétude en dtude en dééfinissant:finissant:

-- La Se et la La Se et la SpSp attenduesattendues

-- La prLa préécision dcision déésirsiréée de ces deux estimateurs e de ces deux estimateurs

2

296.1

∆××= qp

n

Avec p = Se ou Sp

q = 1-p

Et ∆ = la précision


Malades/Total Se (%) IC 95 %

10/20 90 % 71 - 100

100/200 90 % 84 - 96

1000/2000 90 % 88 – 92

�� Plus le n est grand, plus l’IC est étroit


Indices de synthIndices de synthèèsese

Visent Visent àà éétablir la valeur d'un testtablir la valeur d'un test

Exactitude (e)Exactitude (e)

Test de Test de YoudenYouden (j)(j)

Rapport de vraisemblance (LR+ et LRRapport de vraisemblance (LR+ et LR --))


Exactitude

Test +

Test -

Malades Sains

VP

VN

FP

FN

Exactitude = Sujets Bien classés = (VP+VN) / (VP+VN+FP+FN)% résultats exacts, VP et VN par rapport à la cohorteVarie de 0 à 11 correspondant à une absence de FP et de FNUn tirage au sort correspond à 0,5


Addition des 2 qualités du test : Se et Sp

J (en %)= Se +Sp-100

Varie de –1 à 1

0 ≤ pas d’orientation diagnostique

Cet indice est peu utilisé

Indice de Youden (J)


Rapport de vraisemblance positifRapport de vraisemblance positif((LikelihoodLikelihood ratio, LR, en anglais)ratio, LR, en anglais)

DDééfinition: rapport de la probabilitfinition: rapport de la probabilit éé dd’’un test positif un test positif chez les malades comparchez les malades compar éés aux non maladess aux non malades

–– ProbabilitProbabilitéé dd’’un test positif chez les malades: sensibilitun test positif chez les malades: sensibilitéé(Se)(Se)

–– ProbabilitProbabilitéé dd’’un test positif chez les non malades: 1un test positif chez les non malades: 1--spspéécificitcificitéé ((SpSp))

–– Rapport de vraisemblance positif: Se / (1Rapport de vraisemblance positif: Se / (1 --SpSp))


Rapport de vraisemblance positif Rapport de vraisemblance positif (suite)(suite)

IntIntéérêt:rêt:–– IntIntèègre gre àà la fois les notions de sensibilitla fois les notions de sensibilitéé et spet spéécificitcificitéé

–– IndIndéépendant de la prpendant de la préévalence de la maladie.valence de la maladie.

–– Permet de calculer la probabilitPermet de calculer la probabilitéé dd’’être malade chez les être malade chez les sujets ayant un test positif en fonction de la prsujets ayant un test positif en fonction de la préévalence valence de la maladie dans la population dde la maladie dans la population d’é’étude tude

–– Un test Un test «« intint ééressantressant »» a un rapport de vraisemblance a un rapport de vraisemblance positif > 9positif > 9 (correspond par exemple (correspond par exemple àà une sensibilitune sensibilitéé et et spspéécificitcificitéé de 90%).de 90%).


Rapport de vraisemblance (exemple)Rapport de vraisemblance (exemple)

2000200018001800200200

17391739171917192020--

2612618181180180++

TestTest

--++

MaladieMaladie

Se = 180 / 200 = 90%

Sp= 1719/1800 = 95,5%

LR+ = Se/(1-Sp) = 0,9 / (0,045) = 20


Nomogramme de Nomogramme de FaganFagan

(Deeks & Altman, BMJ, 2004)

Pre-test odds X LR = post-test odds

Prévalence de la maladie dans lapopulation p = 0,10

LR = 20

Pre-test odds = p / (1-p)= 0,1/(1-0,1) = 0,11

Post-test odds = 0,11X 20 = 2,2

Probabilité d’être malade (VPP)=post-test odds / (1 + post-test odds) = 2,2/(1+2,2) = 0,69


Rapport de vraisemblance négatif

• Définition: rapport de la probabilité d’un test négatif chez les malades comparés aux non malades– Probabilité d’un test négatif chez les malades:

1- sensibilité (Se)

– Probabilité d’un test négatif chez les non malades: Spécificité (Sp)

– Rapport de vraisemblance négatif: (1-Se) / Sp

• Un test intéressant à un rapport de vraisemblance négatif < 0,1.


Cas dCas d’’un signe avec des un signe avec des valeurs quantitativesvaleurs quantitatives


Les courbes ROCLes courbes ROC

LorsquLorsqu’’un test a des valeurs continues, il existe de un test a des valeurs continues, il existe de nombreuses valeurs Se/nombreuses valeurs Se/SpSp �� important dimportant d’’avoir tous avoir tous les spectres des valeurs du test et de ne pas se les spectres des valeurs du test et de ne pas se limiter limiter àà certaines valeurs, ou intervalles même si le certaines valeurs, ou intervalles même si le but final est de dbut final est de dééfinir un seuil (finir un seuil (cutcut--off) qui proff) qui préésente sente le meilleur rapport Se/le meilleur rapport Se/SpSp (celui qui nous int(celui qui nous intééresse et resse et qui dqui déépend du contexte)pend du contexte)

La courbe ROC permet dLa courbe ROC permet d ’’avoir le tracavoir le trac éé des Se et des Se et SpSp correspondant correspondant àà toutes les valeurs du testtoutes les valeurs du test


Construction de la courbe ROCConstruction de la courbe ROC

On porte On porte

-- en abscisse, la variable en abscisse, la variable «« 1 1 –– spspéécificitcificitéé »» = = faux positifs parmi les nonfaux positifs parmi les non--malades malades

-- en ordonnen ordonnéée e la sensibilitla sensibilitéé = les vrais positifs = les vrais positifs parmi les malades parmi les malades

Un seuil est idUn seuil est idééal sal s’’il permet de sil permet de sééparer parer totalement les positifs des ntotalement les positifs des néégatifs, sans gatifs, sans faux positifs ni faux nfaux positifs ni faux néégatifsgatifs


0 0.25 0.50. 0.75. 1 .0

0.25.

0.50

.0.75

.1

1-Spécificité (Faux positifs)

Sensibilité (Vrais positifs)


M+ M-

p1> S VP FP

p1≤ S FN VNSeuil 0.2

Seuil 0.4

Seuil 0.6

M+ M-

p1> S VP FP

p1≤ S FN VN

M+ M-

p1> S VP FP

p1≤ S FN VN00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Sens

ibilit

Sens

ibilitéé

0.40.4

0.60.6

0.80.8

11

0.20.2

11-- SpSpéécificitcificitéé (taux de faux positifs)(taux de faux positifs)

Seuil =0.2

Seuil =0.4

Seuil =0.6


Construction de la courbe ROC

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Sens

ibilit

Sens

ibilitéé

0.40.4

0.60.6

0.80.8

11

0.20.2

11-- SpSpéécificitcificitéé (taux de faux positifs)(taux de faux positifs)

ADiagonale passant par 0�� test non informatif

�Un test est d’autant meilleur que sa courbe se situera près du point A et loin de la diagonale

�Minimiser la distance par rapport au point idéal A

� Se = Sp = 1


On calcule AUC = Aire sous courbe(avec IC 95%)

Plus AUC proche de 1 plus le test est performant


Avantages des COURBES ROCAvantages des COURBES ROC

-- Simple et facilement comprSimple et facilement compr ééhensible graphiquementhensible graphiquement

-- Tient compte de lTient compte de l ’’ensemble ensemble des valeurs du test des valeurs du test (ne (ne nnéécessite pas le choix arbitraire dcessite pas le choix arbitraire d ’’un seuil)un seuil)

-- Totalement Totalement indind éépendante de la prpendante de la pr éévalence de la valence de la maladiemaladie dans ldans l ’é’échantillonchantillon

-- Permet une Permet une comparaison directe visuellecomparaison directe visuelle de de plusieurs tests sur une même plusieurs tests sur une même ééchelle (+ tests pour chelle (+ tests pour comparer AUC)comparer AUC)

-- on peut calculer on peut calculer ll ’’ ICIC95%95% de lde l ’’AUCAUC. La borne inf. La borne inf éérieure rieure ne doit pas comprendre ne doit pas comprendre 0.50.5 pour que le test ait un pour que le test ait un intint éérêtrêt


Les principaux biaisLes principaux biais


DefinitionsDefinitions

• Erreur systematique (Biais) : erreur de raisonnement ou de proc édure amenant àune repr ésentation fauss ée de la r éalit é. Un biais revêt un caract ère syst ématique et altère l ’estimation dans un sens donn é.

• Erreur aleatoire : non imputable à une cause décelable et due au hasard. Elle aboutit à une perte de pr écision de l ’estimation mais non àsa déviation syst ématique dans un sens donn é.


6) Sources de BIAIS6) Sources de BIAIS……..

A) IntA) Int éégritgrit éé des tests (des tests ( IntegrityIntegrity test)test)B) Le biais de vB) Le biais de v éérification (rification ( VerificationVerification biasbias ))C) Erreurs sur la rC) Erreurs sur la r ééfféérence (rence ( ErrorsErrors in the in the referencereference ))D) Le biais de recrutement (Spectrum D) Le biais de recrutement (Spectrum biasbias ))E) Le biais dE) Le biais d ’’ interprinterpr éétation (Test tation (Test interpretationinterpretation biasbias ))F) Les tests ininterprF) Les tests ininterpr éétables (tables ( UnsatisfactoryUnsatisfactory tests)tests)G) Le biais dG) Le biais d ’’extrapolation (Extrapolation extrapolation (Extrapolation biasbias ))H) Le biais dH) Le biais d ’’ incorporation (Incorporation incorporation (Incorporation biasbias ))

+ biais sp+ biais sp éécifiques des cifiques des éétudes de dtudes de d éépistagepistageI) Le biais du temps dI) Le biais du temps d ’’avance au diagnostic (avance au diagnostic ( LeadLead TimeTimeBiasBias ))J) Le biais de lenteur dJ) Le biais de lenteur d ’é’évolution (volution ( LengthLength Time Time BiasBias ))K) Le biais de surK) Le biais de sur --diagnostic (Diagnostic diagnostic (Diagnostic BiasBias ))L) Le bais de sL) Le bais de s éélection (lection ( SelectionSelection BiasBias ))


A) QualitA) Qualit éé des tests (des tests ( IntegrityIntegrity test)test)

Il est nIl est n éécessaire que:cessaire que:La connaissance du statut de La connaissance du statut de la maladiela maladie (OUI/NON) des (OUI/NON) des sujets nsujets n ’’ influence pas influence pas ll ’é’évaluation du testvaluation du test (et vice versa)(et vice versa)Par exemple: si un radiologue sait que la Par exemple: si un radiologue sait que la mammographie qumammographie qu ’’ il doit il doit éévaluer vient dvaluer vient d ’’une femme une femme atteinte datteinte d ’’un K du sein, il pourra être influencun K du sein, il pourra être influenc éé�� les les «« opop éérateursrateurs »» qui qui éévaluent le test doivent être valuent le test doivent être ààll ’’ insu du rinsu du r éésultat du statut de la maladiesultat du statut de la maladie (vice versa)(vice versa)

Souvent procSouvent proc éédures ddures d ’é’évaluation valuation ««objectivesobjectives »» et et éévaluation de la maladie nvaluation de la maladie n ’’ interfinterf èèrent pas (questionnaire rent pas (questionnaire ou ou éévaluation par un mvaluation par un m éédecin # test biochimique ou test decin # test biochimique ou test sur culture)sur culture)�� on dit que on dit que «« the the integrityintegrity of of suchsuch test test isis inherentinherent to to itsitsoperationoperation »»


Mais même dans le cas de tests Mais même dans le cas de tests «« objectifsobjectifs »», il faut se , il faut se mmééfierfier

Exemple 1Exemple 1Si le dSi le d éélai entre le test et llai entre le test et l ’é’évaluation de la maladie est valuation de la maladie est long, il peut y avoir une modification de la prise en long, il peut y avoir une modification de la prise en charge qui est fonction du rcharge qui est fonction du r éésultat du test et ainsi sultat du test et ainsi entraentra îîner une modification du diagnostic de la maladie ner une modification du diagnostic de la maladie �� les rles r éésultats seront biaissultats seront biais ééss

Exemple 2Exemple 2A lA l ’’ inverse, la connaissance de la maladie peut inverse, la connaissance de la maladie peut influencer la fainfluencer la fa ççon dont le test sera ron dont le test sera r ééalisalis éé �� les les rréésultats seront biaissultats seront biais ééss


B) Le biais de vB) Le biais de v éérificationrification((VerificationVerification Bias,WorkBias,Work --upup Bias,ReferralBias,Referral biasbias , , selectionselection BiasBias ou ou

AscertainmentAscertainment Biais )Biais )

Dans les Dans les éétudes de cohortes,tudes de cohortes, le test T devrait être appliqule test T devrait être appliqu éé àà toustousles sujetsles sujetsMaisMais ……on peut être dans la situation oon peut être dans la situation o ùù la rla r ééfféérence nrence n ’’est rest r ééalisalis ééeeque si le test est +que si le test est +�� Si T+ Si T+ �� On rOn r ééalise un test de ralise un test de r ééfféérence pour confirmer la rence pour confirmer la

maladiemaladie�� Si T Si T -- �� Pas de test de rPas de test de r ééfféérencerence

Exemple Exemple DDéétection test audition des btection test audition des b éébbéés s àà la naissance par DPOAE la naissance par DPOAE (Test d(Test d ’é’émission mission otooto --acoustique)acoustique)-- Si le rSi le r éésultat nsultat n ’’est pas parfaitest pas parfait on fait le test de ron fait le test de r ééfféérence VRArence VRA(Visual (Visual ReinforcementReinforcement AudiometryAudiometry ))-- Si le rSi le r éésultat est bonsultat est bon on ne fait pas le test VRA qui est cher, on ne fait pas le test VRA qui est cher, long et nlong et n éécessite un second RVcessite un second RV


C) Erreurs sur la rC) Erreurs sur la r ééfféérence rence ((ImperfectImperfect ReferenceReference Test)Test)

Pour de nombreuses maladies, il est impossible de Pour de nombreuses maladies, il est impossible de ddééterminer avec certitude le statut de la maladie et les terminer avec certitude le statut de la maladie et les meilleures rmeilleures r ééfféérences peuvent donner des rrences peuvent donner des r éésultats faux sultats faux (PBH)(PBH)

�� Ces erreurs peuvent avoir des consCes erreurs peuvent avoir des cons ééquences sur quences sur ll ’é’évaluation dvaluation d ’’un test diagnosticun test diagnostic

Ex:Ex:- Infection bactérienne : culture culture àà partir dpartir d ’’un prun pr ééllèèvement de vement de sang, urine ou tissu, même si le sujet est infectsang, urine ou tissu, même si le sujet est infect éé, la culture peut , la culture peut être être –– si le spsi le sp éécimen ne contient pas le germe ou si lcimen ne contient pas le germe ou si l ’é’échantillon chantillon contient la bactcontient la bact éérie mais ne pousse pasrie mais ne pousse pas-- PBHPBH (r(réésultat dsultat d éépend de lpend de l ’’endroit oendroit o ùù le prle pr ééllèèvement est effectuvement est effectu éé, , la taille du prla taille du pr ééllèèvement etc..)vement etc..)

Il existe des mIl existe des m ééthodes dthodes d ’’analyses (analyses ( avecavec classes latentes)classes latentes) pour pour éévaluervaluerdiffdiff éérents tests en cas drents tests en cas d ’’absence de Gold standardabsence de Gold standard


D) Le biais de recrutement (Spectrum D) Le biais de recrutement (Spectrum BiasBias ))

Quand les sujets malades ne sont pas Quand les sujets malades ne sont pas reprrepr éésentatifs des sujets malades de la sentatifs des sujets malades de la population ou quand les sujets contrôles (non population ou quand les sujets contrôles (non malades ) ne sont pas reprmalades ) ne sont pas repr éésentatifs des sujets sentatifs des sujets non malades de la populationnon malades de la population

Erreur classique: sErreur classique: s éélectionner des cas lectionner des cas «« gravesgraves »» et des contrôles et des contrôles «« trtr èès sainss sains »»

�� paramparam èètres de validittres de validit éé des tests surestimdes tests surestim ééss


E) Le biais dE) Le biais d ’’ interprinterpr éétationtation

Quand des informations Quand des informations ««extext éérieuresrieures »» (donn(donn éées es cliniques ou rcliniques ou r éésultats dsultats d ’’autres tests) peuvent autres tests) peuvent influencer la procinfluencer la proc éédure du test dure du test àà éévaluer qui ne valuer qui ne sera pas appliqusera pas appliqu éée ainsi dans la pratique e ainsi dans la pratique ultult éérieurerieureExempleExempleLes rLes r éésultats dsultats d ’’une mammographie peuvent une mammographie peuvent influencer linfluencer l ’’ interprinterpr éétation dtation d ’’une une ««grosseurgrosseur »» lors lors dd’’un examen clinique. Si en pratique, lun examen clinique. Si en pratique, l ’’examen examen clinique est rclinique est r ééalisalis éé sans mammographie, les sans mammographie, les performances du test peuvent être diffperformances du test peuvent être diff éérentes rentes


F) Les biais liF) Les biais li éés aux tests ininterprs aux tests ininterpr éétablestablesEn pratique les tests ne sont pas applicables En pratique les tests ne sont pas applicables àà tous les tous les sujets et pour certains sujets ils peuvent être sujets et pour certains sujets ils peuvent être ininterprininterpr éétables tables Exemples :Exemples :–– FibroScan chez sujets obFibroScan chez sujets ob èèsesses–– Test dTest d ’’audition chez un enfant agitaudition chez un enfant agit éé

Ces informations doivent être prises en compte dans Ces informations doivent être prises en compte dans ll ’é’évaluation des tests valuation des tests Si non prises en compte Si non prises en compte �� surestimation de la validitsurestimation de la validit éédu test alors que chez certains sujets la maladie ndu test alors que chez certains sujets la maladie n ’’est est pas dpas d éétecttect éée e A lA l ’’ inverse,inverse, la prise en compte de ces donnla prise en compte de ces donn éées peut être es peut être problprobl éématique, par exemple si les matique, par exemple si les ««cas non cas non interprinterpr éétablestables »» sont considsont consid éérréés comme des ns comme des n éégatifs gatifs avec en pratique des recommandations faites pour avec en pratique des recommandations faites pour rrééppééter le test ter le test Or les performances du test ne sont pas Or les performances du test ne sont pas éévaluvalu éées pour es pour des valeurs rdes valeurs r ééppééttééeses


G) Le biais dG) Le biais d ’’extrapolationextrapolation

Plusieurs facteurs peuvent influencer les performan ces Plusieurs facteurs peuvent influencer les performan ces dd’’un test pour dun test pour d éétecter une maladietecter une maladie–– Facteurs liFacteurs li éés s àà ll ’’opop éérateurrateur : exp: exp éériencerience–– Facteurs liFacteurs li éés au sujets au sujet : Caract: Caract ééristiques dristiques d éémographiquesmographiques–– Environnement dans lequel le test est rEnvironnement dans lequel le test est r ééalisalis éé : :

ressources disponibles, accressources disponibles, acc èès aux traitements, s aux traitements, prpr éévalence de la maladievalence de la maladie

�� Les performances dLes performances d ’’un test run test r ééalisalis éé dans une population dans une population ne peuvent pas être systne peuvent pas être syst éématiquement extrapolmatiquement extrapol éées es ààdd’’autres populationsautres populations


H) Le biais dH) Le biais d ’’ incorporationincorporation

Lorsque le rLorsque le r éésultat du test est incorporsultat du test est incorpor éé dans ledans lediagnostic diagnostic Par exemple si on veut savoir si Par exemple si on veut savoir si la radiographiela radiographie est unest unbon marqueur de bon marqueur de TB TB chez les enfants infectchez les enfants infect éés par le VIHs par le VIH

Le test est la radiographie et la rLe test est la radiographie et la r ééfféérence est lerence est lediagnostic de TB ddiagnostic de TB d ééfini par un groupe dfini par un groupe d ’’experts qui vaexperts qui vastatuer sur les signes cliniques, la culture du cra chat etstatuer sur les signes cliniques, la culture du cra chat etla radiographiela radiographie


En rEn r éésumsum éé le test le test éétuditudi éé doitdoit

-- être fait par ceux qui le feront en routineêtre fait par ceux qui le feront en routine

-- être fait être fait àà tous les patients tous les patients éétuditudi ééss-- ne pas être incorporne pas être incorpor éé dans le gold standard dans le gold standard -- être complêtre compl èètement dtement d éécritcrit-- être interprêtre interpr ééttéé àà ll ’’aveugle / gold standard, aveugle / gold standard, avec ou sans informations cliniquesavec ou sans informations cliniques-- le taux de rle taux de r éésultats ininterprsultats ininterpr éétables doit être tables doit être fournifourni


InterprInterpr éétation du testtation du test

Les rLes r éésultats intermsultats interm éédiaires ou diaires ou indind éétermintermin éés constituent un s constituent un rréésultatsultat

Pour les rPour les r éésultats ininterprsultats ininterpr éétables, il tables, il faut faut prpr ééciser ciser les conditionsles conditions et essayer et essayer de savoir sde savoir s ’’ il y a une il y a une relation avec le relation avec le diagnosticdiagnostic


ConclusionConclusion

Pour quPour qu ’’un critun crit èère devienne un test de dre devienne un test de d éépistage ou unpistage ou untest diagnostique test diagnostique �� NNéécessitcessit éé dd’é’évaluer la reproductibilitvaluer la reproductibilit éé, les qualit, les qualit éés s

intrinsintrins èèques, extrinsques, extrins èèquesques ……�� àà partir de protocoles rpartir de protocoles r ééalisalis éés sans biais s sans biais �� en respectant les 3en respectant les 3 --4 phases d4 phases d ’é’évaluationvaluation

��RRééfféérencesrences : : Grille Grille STARD & QUADAS STARD & QUADAS BossuytBossuyt PM, PM, ReitsmaReitsma JB, JB, BrunsBruns DE, DE, GatsonisGatsonis CA, CA, GlasziouGlasziou PP, et al. (2003) PP, et al. (2003)

Towards complete and accurate reporting of studies of diagnosticTowards complete and accurate reporting of studies of diagnostic accuracy: accuracy:

The STARD Initiative. The STARD Initiative. Ann Intern Med 138: 40Ann Intern Med 138: 40––44.44.

Whiting P, Whiting P, RutjesRutjes A, A, ReitsmaReitsma J, J, BossuytBossuyt P, P, KleijnenKleijnen J. The development of J. The development of

QUADAS: a tool for the quality assessment of studies of diagnostQUADAS: a tool for the quality assessment of studies of diagnostic accuracy ic accuracy

included in systematic reviews. Bincluded in systematic reviews. BMC Medical Research Methodology MC Medical Research Methodology

2003;3:25.2003;3:25.


Impact des dImpact des dééfauts de mfauts de mééthodologie thodologie (Reid et al. JAMA, 1995)(Reid et al. JAMA, 1995)

112 112 éétudes de 1978tudes de 1978 -- 1993 : 1993 : 7 standards m7 standards m ééthodologiquesthodologiques

--DDééfinition de la population (âge, sexe, symptômes, finition de la population (âge, sexe, symptômes, critcrit èères dres d ’é’éligibilitligibilit éé) : ) : 27%27%--QualitQualit éé DG dans diffDG dans diff éérents sousrents sous --groupes: groupes: 8%8%--Absence de biais de vAbsence de biais de v éérification : rification : 46%46%--Absence de biais dAbsence de biais d ’é’évaluation (test ou rvaluation (test ou r ééfféérence) : rence) : 38%38%--PrPréécisions des estimations : cisions des estimations : 11%11%--PrPréésentations des rsentations des r éésultats indsultats ind éétermintermin éés : s : 23%23%--ReproductibilitReproductibilit éé du test :du test : 23%23%


Performance de plusieurs tests rapides Performance de plusieurs tests rapides pour le dpour le déépistage de la Denguepistage de la Dengue

TestTest Performances dPerformances d ééclarclar éées Evaluation OMSes Evaluation OMS

SeSe SpSp Se Se SpSpCoreCore 100100 100100 2323 9999DiazymeDiazyme NSNS NSNS 1818 9898GlobalemedGlobalemed 8080 >99>99 6363 6969MinervaMinerva NSNS NSNS 99 100100PanbioPanbio 7070 100100 6565 9898StandardStandard 9393 100100 2222 9999TulipTulip 100100 100100 66 9999


World World HealthHealth OrganizationOrganizationAn An idealideal diagnostic test : ASSUREDdiagnostic test : ASSURED

A = A = Affordable by those at risk of infectionAffordable by those at risk of infectionSS == Sensitive Sensitive S =S = Specific Specific UU == UserUser --friendly (simple to perform, minimal friendly (simple to perform, minimal training)training)RR = = Rapid/robust (enables action at point of Rapid/robust (enables action at point of care)care)EE == EquipmentEquipment --freefreeDD == Deliverable to those who need itDeliverable to those who need it

EVALUATION DES TESTS DE DIAGNOSTIC - · PDF file– Les tests de diagnostic Comprennent...

Documents

Transcript of EVALUATION DES TESTS DE DIAGNOSTIC - · PDF file– Les tests de diagnostic Comprennent...