Evaluarea Per for Mantel Or Unui Prof. Dr. c. Vulpoi

METODOLOGIA CERCETARII evaluarea performantelor unui testCarmen Vulpoi

Probabilities can make nonstatisticians nervous. But this approach really just boils down to knowing your patient, gathering a little data and establishing an opinion of the likelihood of a given outcomeDonald R. Woolever, The art and science of clinical decision making, Family Practice Woolever, making, Management, 2009

Arta deciziei clinice1. 2. 3.

Determina probabilitatea

care sunt sansele ca pacientul sa aiba boala? Istoric, ex clinic

Colecteaza datele pentru evaluarea ulterioara

Acutalizeaza posibilitatea inclusiv probabilitatea pre-test pre

Apoi colecteaza si interpreteaza cu atentie datele

4.

Considera o interventie daca pacientul se include in criterii

daca o face, tine cont de contextul pacientului daca nu ai suficiente informatii ia in consideratie si alte optiuni

Date noi Rabdare!Donald R. Woolever, The art and science of clinical decision making, Family Practice Management, 2009 Woolever, making,

Adresabilitate

Cercetarea stiintifica implica o populatie heterogena:

producatorulCercetatorul Designerul studiului

consumatorulTeoreticianul Practicianul

publicul

Pacientul

Cercetarea bibliografica

Faza pregatitoare

Literatura de referinta

Tratate Reviste de anvergura

Precizarea obiectului studiului Definirea obiectivelor Definirea ipotezei de lucru

Elaborarea planului de studiu

Factorii ce vor fi studiati Modul de studiu al acestor factori (selectia) Noua evaluare a literaturii Includerea la discutii a datelor relevante pentru sbiectul cercetat

Prezentarea rezultatelor

Variabile

Variabila = orice calitate, caracteristica, element constitutiv al unei persoane sau al unui lucru care poate fi masurat

Prin definitie, supusa schimbarilor

Redus la baza, orice act medical este un studiu al relatiei intre variabile

A

Scale utilizate pentru variabile - nominale

Simboluri care definesc fiecare masuratoare ce nu pot fi ordonate unul peste altulFiecare masuratoare trebuie sa intre intr-o intrsingura categorie In cadrul unei categorii membrii sunt considerati echivalenti

ExempleGrupa sanguina Culoarea ochilor, sex, rasa

A

Scale utilizate pentru variabile - ordinale

Incadreaza fiecare masuratoare la un numar limitat de categorii care sunt ordonate in functie de grad

Diferentele dintre categorii nu sunt neaparat egale sau masurabile

Diferenta intre categoria 1 si 2 nu e neaparat egala cu cea dintre 3 si 4

ExempleStarea pacientului vindecat, ameliorat, stationar, agravat (agravat e mai bolnav ca stationar, dar nu se stie cu cit) Stadiile in cancer

A

Scale utilizate pentru variabile - intervale

Incadreaza fiecare masuratoare la un numar nelimitat de categorii distantate in mod egalNu are un real punct 0 (0 nu inseamna o adevaata absenta a variabilei masurate) Se poate sti exact cu cit este mai mare sau mai mica fiecare categorie

Exemple

Temperatura (0oC este temperatura la care ingheata apa, dar nu inseamna absenta temperaturii)

A

Scale utilizate pentru variabile - proportie

Pe o scala continua, masuratoarea incepe la un 0 real si are intervale egale ExempleInaltime Temperatura in grade Kelvin Timp

B

Tipuri de variabile

Legea de baza a biologiei este variabilitatea Multitudinea observatiilor poate trasa liniile generale care trebuie incluse in intervalul de confidenta

Indice de dispersie a unor variabile sub forma unui interval in care variabila poate fi situata cu un risc cunoscut

Interval de confidenta 95% - risc de 5%

Variabilele trebuie definite de la inceputul studiului

B

Tipuri de variabileVariabile calitative

Nemasurabile Finite Calculul mediei nu are sens Categorii ce nu pot fi ordonate

Nominale (categoriale)

culoarea ochilor

Ordinale (de rang)

Ordonate dupa anumite un criteriu dar fara unitati de masura

Starea dupa tratament (vindecat, ameliorat, stationar, inrautatit)

Dihotomiale

Da/nu

Prezenta sau nu a unui factor de risc

B

Tipuri de variabile

Variabile cantitative (pot fi masurate)

Continue

Pot lua o infinitate de valori Media are intotdeauna o semnificatie

Glicemia

Discontinue (discrete)

Numere intregi Media nu are intotdeauna semnificatie

Scor Apgar

Este posibila transformare variabilelor cantitative in calitative (varsta in grupe de varsta)

Dar se pierd informatii

C

Baza variatiilor

Fluctuatiile intre diverse masuratori

reflecta efectele combinate ale mai multor fenomeneVariatii biologice sau de masurare

Interpretarea depinde de capacitatea clinicianului de a recunoaste

sursa variatiei importanta sa pentru diagnostic si tratament

C

Baza variatiilorVariatii biologice adevarate

Determinate de o serie de factori necunoscuti care duc la mici variatii intimplatoare Variatiile intimplatoare pot fi pozitive sau negative

Exemplu TA la acelasi pacient in conditii teoretic identice

Variatii asociate masurarii in conditii diferite

Variatii determinate de masurarea in conditii diferite Vriatii sistematice (nu intimplatoare)

Ex TA in momente diferite ale zilei sau conditii diferite (orto/clinistatism)

Variatii ale sistemului de masurare

Atribuite metodei de masurare Intimplatoare - legea hazardului Sistematica eroare a sistemulkui de masurare (constant valoare mai mare sau mai mica) Ex pentru un acelasi esantion de urina masurarea repetata a pH cu aceelasi aparat de catre acelasi chimist in conditii teoretic ideale nu va da valori identice

D

Variatii intra-pacient intra

Pot rezulta din cauzavariatiilor reale, intimplatoare ale unui parametru unor modificari patologice ale statusului pacientului

Medicul trebuie sa identifice cauza deoarece interventia trebuie sa apara numai cind aceasta e patologica

E

Variatii inter-pacient inter

Atribuabile

diferentelor inerente intre pacienti conditiilor diferite de masurare erorilor de masuratoare unei conditii patologice

Medicul e interesat de aceste diferente deoarece majoritatea intrebarilor legate de un pacient pornesc de la informatiile obtinute de la un grup de subiecti cu probleme similare

Scade mai tare TAd la pacienti care primesc medicamentul A fata de B? Cit de modificati sunt d-dimerii la dl Lazarescu fata de dpaceinti care nu au trombembolism?

de ce e necesara biostatistica

Prin efectuarea unui test, clinicianul se straduieste sa clasifice starea reala dar necunoscuta a unui subiect de observatie

cu ajutorul unui instrument imperfect

DISTINGEREA NORMALULUI DE ANORMAL

strategia diagnosticaInformatia clinica primita

Examen clinic Anamneza Imagistica Proceduri Examene de laborator Un test diagnostic se bazeaza pe presupunerea ca indivizii bolnavi si sanatosi pot fi diferentiati cu

acuratete reproductibilitate

TIPURI DE DATE

CALITATIVE Anamneza (descriptive) NUMERICE Investigatii laborator GRAFICE Biosemnale (ECG, EEG) SUNETE - Fonocardiograma IMAGINI STATICE - Radiografii, RMN IMAGINI DINAMICE film

Tipuri de cunostintea) Explicite Formalizabile Se

pot transmite usor

b) Tacite (skill) Experienta

proprie Greu de transmis Training

Relatia cunostinte diagnostic/tratamentINFERENTA = Opera ie logic de trecere de la un enun la altul si n care ultimul enun este dedus din primul.

INFERENTA LOGICA

Medicina clasica (rationamentul medical)

INFERENTA STATISTICA

Medicina bazata pe dovezi

Medicina clasica

medicina clasic , deductiv

OpinionOpinion-Based Medicine OBM

bazat pebagajul de cuno tin e acumulat din studiile i experien a personl tradi ionala ars medicae (arta medical ) intui ia personal a clinicianului.

Medicina bazata pe dovezi (MBD)

sus ine c medicina trebuie s se concentreze pe

obiectivitate, dovezi, metameta-analiz , a totalit ii ramurilor medicinii

folosirea metodic , algoritmic ,

epidemiologie, genetic , bio-statistic , informatic medical , biomedicin explorativ i de laborator prompt , precis i de calitate

considernd raportul cost eficien

sub un control de calitate riguros i permanent,

medicul consultat fiind factorul frontal al unui larg grup de speciali ti, cu care se g se te n interreac ie

ISTORIC

1975, Ministerul S n t ii Canadian a mobilizat o grup de speciali ti, (The Canadian Task Force) cu menirea

s compun directive tiin ifice i unitare de examinare sanitar periodic a popula iei.

Suzanne Fletcher & David Sackett au creat "nivele de eviden " (levels of evidence)

destinate s foloseasc ca "grade de recomandare" (Grades of recommendations),

criterii de ac iune n cadrul respectivelor directive

Practica medicinii bazate pe eviden

Identificarea problemei

sau a zonei de dubiu, de lips de certitudine

De cercetat i identificat fondul de eviden

De pus numai ntreb ri relevante, concentrate pe subiect, coerente, ntr-un ntrlimbaj clar i pe n eles,

dovezile, faptele importan ei clinice a faptelor, a eviden ei aplicabilit ii clinice a eviden ei

Aprecierea

la care pacientul poate s r spund

De selectat resursele cele mai potrivite de cercetare

E.g. de evitat pescuitul (fishing)

comandarea unei infinit i de examene de laborator n speran a c va apare un rezultat pozitiv

De ac ionat i de aplicat eviden a De apreciat avantajele efortului depus De adunat, de conspectat i de notat activitatea

pentru a o folosi n viitor

Obiectul metodologiei cercetarii stiintifice medicale

Productia cunostintelor [explicite] = cercetare Metode de cercetareObservationale anchete trialuri clinice Experimentale studii de laborator - specifice Teoretice modelare/simulare

CICLUL ACTIVITATII MEDICALEtratament diagnostic

date Pacient Medic

cunostinte

Etapele activitatii de cercetare

Stabilirea obiectivelor Documentare Organizarea cercetariiStudii clinice Studii de laborator Cercetarea teoretica, formalizarea cunostintelor

Prelucrarea datelor Prezentarea rezultatelor

Puncte de vedereal pacientului ameliorarea starii de sanatate calitatea cea mai importanta a unui test diagnostic eficacitatea

(in sensul utilitatii)

precizia (gradul de exactitate)diagnosticare gresita(fals pozitiv) nediagnosticarea(fals negativ)

caracterul

inofensiv

Puncte de vedereal medicului cel putin aceleasi motive ca si pacientul pentru ca un test sa fie eficace si inofensiv Interpretarea testului - confirmare si modificarea atitudinii terapeutice test

pozitiv conduce la aplicarea unui tratamentpozitivitatea testului creste probabilitatea ca boala sa existe valoare predictiva pozitiva

test

negativ impiedica medicul sa trateze o afectiune potential severa valoare predictiva negativa

Puncte de vedereal medicului Daca un test nou poate sa inlocuiasca unul mai vechi!

standarde de referinta:

un nou test este comparat cu unul invechit si mai putin sensibil (mai multe falsuri negative)

numarul mai crescut de pacienti diagnosticati cu noul test vor fi considerati fiind drept falsi pozitivi,

Limiteleo

oricarei proceduri de diagnosticeroare de diagnostic poate avea repercusiuni financiare si legale

Puncte de vedere

al societatii Inocuitatea guvernul

trebuie sa garanteze securitatea cetatenilor in toate domeniile

Consecintele analiza

economice

cost - eficacitate

TIPURI DE STUDII CLINICE-

Studiul starii de s n tate a populatiei Studiul serviciilor de sanatate Evaluarea unui procedeu diagnostic Evaluarea unei abord ri terapeutice Cercetarea unor factori de risc i/sau prognostici

Distingerea normalului de anormal

Tipuri de teste diagnostice

Testul ideal da intotdeauna raspunsul corect Un bun test diagnosticdistinge individul afectat de boala de cel neafectat este

nenociv rapid simplu nedureros de incredere ieftin

Surse de nesiguranta/variabilitate

Instrument de masura: imprecizia analitica

acelasi test aplicat aceluiasi pacient

sa dea acelasi rezultat

Variabilitatea subiectului

intraindividuala

regresia catre medie - fluctuatii fiziologice

interindividuala Intraindividuala/interindividuala

Variabilitatea interpretarii examenului:

coeficient de concordanta k

Validitatea intrinseca a testului (Sn, Sp, LR). Prevalenta bolii (probabilitatea pretest)

Stabilirea diagnosticului

Validitatea unei proceduri de diagnostic inseamna capacitatea acesteia de a identifica subiectii atinsi de boala si subiectii sanatosi Stabilirea unui diagnostic este un proces imperfect

exprimat mai degraba in termeni de probabilitate, decat de certitudine

Un test diagnostic nu va avea sens

decat daca rezultatul este capabil sa modifice probabilitatea bolii

Probabilitatea de a fi atinsi de o boala nu este deci fixa, ci legata de testul diagnostic

sa reduca probabilitatea la un astfel de nivel, incat tratamentul sa nu se mai faca, sa o creasca pana la nivelul la care tratamentul sa fie legitim.

inainte de test, este vorba de probabilitatea "a priori" (pre(pretest probability)

prevalenta;

dupa test, este vorba de probabilitatea "a posteriori" (post(post-test probability)

valoarea predictiva a testului

Distingerea normalului de anormal


Teste calitative

Prezenta sau absenta unui semn sau simptom

Fractura la RX

Teste cantitative

Peste sau sub o valoare limita (valoare critica/ (valoare de referinta) referinta) considerata un criteriu pozitiv

glicemie

Alegerea unui criteriu pozitiv 1. Distributie gaussiana 2. Metoda percentilelor 3. Agreata cultural 4. Metoda terapeutica 5. Metoda factorilor de risc 6. Metoda diagnostica sau a valorii predictive


Curba GaussianaL = media 2 deviatii standard* * atentie la subgrupuri

Q-2.58W 2.58W

Q-1.96W 1.96W

Q-1W

Q 68% 95%

Q+1W Q+1.96W Q+2.58W +1W +1.96W +2.58W

99%


Curba Gaussiana

Avantaje simplitatea Dezavantaje

Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Limitele fiind determinate la o populatie fara boala, un Q-2.58W Q-1.96W 2.58W 1.96W - 1W Q+1W +1W +1.96W +2.58W pacient poate fiQdiferit comparativQ+1.96W Q+2.58W cu populatia Q normala dar nu neaparat 68% bolnav Pacientul poate apartine unui subgrup cu alte valori 95% normale Schimbarile variabilelor unui test pot fi anormale chiar Ideal rar 99% daca ramin in limite normaleFenilketonuria fenilalanina serica


Curba Gaussiana


Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA descentrat Limitele fiind determinate la o populatie fara boala, un Diagnostic foarte dificil pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale


Curba Gaussiana


Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Dificil pentru rezultatele Limitele fiind determinate la o populatie fara boala, un aflate la suprapunere pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale


Curba Gaussiana


Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA e.g. Limitele fiind determinate la o populatie fara boala, un baterie pacientde screeningdiferit de teste poate fi de 20 comparativ cu populatia Daca normala dar nu neaparat bolnav Gaussiana se utilizeaza un singur model de distributie Pacientul poate apartine unuialtul si testele sunt independente unul de subgrup cu alte valori normale din 20 sa aiba un test anormal pentru fiecare test 1 sansa La 20 teste 1- (0.95)20 10.64 test sa aiba macar un Schimbarile variabilelor=unui sanse pot fi anormale chiar rezultat anormal daca ramin in limite normaleSindromul Ulise

Sindromul Ulise

Inving tor n razboiul troian, Ulise porne te spre cas (Itaca)

cale de 1-2 s pt mni, n 1condi iile de navigare de atunci datorit unor aventuri fatidice, acest drum a durat 10 ani

Sindromul descrie efectele unor investiga ii intensive i prelungite venite ca urmare a unui rezultat de laborator fals-pozitiv sau interpretat falsgre it cu ocazia unor analize de rutin .


Curba Gaussiana


Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA

Limitele fiind determinate la o populatie fara boala, un pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale

Glicemie normala 60-106 mg/dl. O scadere de la 105 la 55 ar 60putea fi anormala


Metoda percentilelor

Daca se doreste doar limita superioara 5% superioare considerat anormal Daca se doresc limite superioare si inferioare 2,5% AvantajeSimplitate Aplicabilitate

Dezavantaje ca la Gauss


Agreata cultural


Agreata cultural

Avantaje

N-are: confunda medicina cu moda


Metoda terapeutica

Valorile sub sau peste care pacientul va fi tratat

Schimbat progresiv

e.g. valorile normale ale TA

Avantaje

Include numai subiectii care vor fi tratati Necesita un clinician care sa fie la curent cu toate noutatile terapeutice

Dezavantaje


Metoda factorilor de risc

Factor genetic, de mediu, comportamental, demografic, fiziologic

Cancer pulmonar Fumatori Nefumatori total 100 0 100

Fara cancer pulmonar 33,233 66,667 99.900

total

33,333 66,667 100,000

care are o ascoiere cauzala sau statistic semnificativa cu o anumita maladie In general usor de masurat Faciliteaza medicina preventiva

Avantaje

Studiu ipotetic

Prevalenta cancerului pulmonar 100/100,000 33,3% din populatie fumatori

Dezavantaje

Valoare predictiva scazuta

Ar insemna ca toti fumatorii fac cancer pulmonar

99,7% nu fac


Metoda diagnostica sau metoda valorii predictive

Bazata pe probabilitartea bolii pornind de la standardul de aur Alegerea valorilor pentru un test depinde daca e mai rau pentru pacient ca sa fie eronat considerat bolnav sau sa i se ignore boala

Daca consecintele ignorarii pot fi grave

Se va alege valoarea pozitivitatii criteriului astfel incit sa minimalizeze procentajul de fals negativ

eg mixedemul congenital

Daca o valoare fals pozitiva poate duce la un tratament riscant

eg chimioterapie cateterizare cardiaca

Se alege un criteriu care sa minimalizeze rata de fals pozitiv


Metoda diagnostica sau metoda valorii predictiveAdevarat pozitiv Fals pozitiv Fals negativ Adevarat negativ

Specificitate si specificitate egale Sensibilitate crescuta, sensibilitate specificitate scazuta

v Fals negativ = 0

w x y Test negativ Test pozitiv

z Fals pozitiv = 0

Metoda valorii predictive

Avantaje

Valorile variabilelor testului pot urma orice distributie Frecventa bolii este bazata pe date clinice concrete si e deci estimata realistic Tine cont de distributia variabilelor testului atit in populatia bolnava cir si in cea sanatoasa Se adreseaza nevoilor medicului si pacientului punind in balanta beneficiile potentiale ale tratamentului si implicatiile sale (nediagnosticarea sau etichetare gresita) Necesita stapinirea de catre clinician a prevalentei bolii, valoarea predictiva pozitiva si negativa, determinareaa performantelor testului

Dezavantaje

Descrierea performantelor unui test

STANDARDUL DE AUR Limite

Frecvent e metoda cea mai riscanta, dificila dpdv tehnic, impracticabil

Biopsie cerebrala pentru Alzheimer Angina pectorala

Pentru unele boli nu exista standard de aur

Compararea cu standardul de aur poate duce la concluzii eronate spunind ca noul test e mai rau cind de fapt e mai bun

Daca testul cel nou detecteaza cu o acuratete mai mare pacientii vor fi considerati gresit fals pozitiv Daca e negativ la mai multi subiecti care nu au boala va fi considerat in mod eronat fals negativ

Reprezentare grafica sau in tabele a rezultatelor unui test

Adevarat pozitiv

Pacienti identificati corect ca avind boala Pacienti sanatosi considerati bolnavi Pacienti sanatosi corect identificati Pacienti care au boala fals etichetati drept sanatosi

Fals pozitiv

Adevarat negativ

Fals negativ

Reprezentare grafica sau in tabele a rezultatelor unui testAP

FN FP

AN

Test negativ

Test pozitiv

Sensibilitate si specificitateDg.corect Dg.incorect

Test +

a

b

a+b

Test total

c a+c

d b+d

c+d N

AP Dg. Dg, corect ) incorect dg .corect ( AP FNTest + a b a+b

sensibilitate

Test total

c a+c

d b+d

c+d N

probabilitatea de a avea un test pozitiv (anormal) atunci cnd subiectul prezinta afectiunea investigata

capacitatea de a recunoaste maximum de subiecti atinsi

SENSIBILITATE = AP/ bolnavi (AP+FN) importanta atunci cnd

ignorarea diagnosticului este grava eliminarea afectiunii este importanta maladia este rara (depistare)

LES

Prevalenta (Sn) % ANA 98 Anti-AND dc Anti-Sm 30

70

AP Dg. Dg, corect ) incorect dg .corect ( AP FNTest + a b a+b

specificitate

Test total

c a+c

d b+d

c+d N

probabilitatea de a avea un test negativ normal cnd subiectul nu prezinta afectiunea capacitatea de a recunoaste doar pacientii atinsi (deci de a nu atribui boala unui subiect care nu o prezinta), SPECIFICITATE = AN/ sanatosi (AN+FP) importanta atunci cnd trebuie confirmat un diagnostic

Boala prezenta Test pozitiv Test negativ Total a c a+c sensibilitate=a/(a+c) specificitate=d/(b+d)

Boala absenta b d b+d fals pozitiv=b/(b+d) fals negativ=c/(a+c)

Valoare predictiva pozitiva - probabilitte postest

probabilitatea de a avea maladia atunci cnd testul este pozitiv anormal

Proportia de subiecti bonavi intre cei cu test pozitiv

VALOARE PREDICTIVA POZITIVA = AP/ test+ (AP+FP)

Valoare predictiva negativa probabilitatea de a nu avea maladia cnd testul este negativ

normalProportia de indivizi sanatosi intre cei cu test negativ

VALOARE PREDICTIVA NEGATIVA = AN / test- (AN+FN) test-

Acurateteconcordanta testului cu diagnosticul final ACURATETE = concordante (AP + AN)/ total (AP+FP+AN+FN)

Receiver Operator Characteristic

Ideal pentru un clinician ar fi un test care sa aiba

att sensibilitatea ct si specificitatea foarte inalte

Acest lucru nu este intotdeauna posibil

ceea ce ar impune gasirea unui punct "de compromis", in care raportul specificitate / sensibilitate sa fie optim. optim.

Receiver Operator Characteristic

Relatia specificitate / sensibilitate poate fi exprimata prin trasarea curbei ROC (Receiver Operator Characteristic),in care pe abscisa se pune nivelul fals pozitiv (1-specificitate) (1 iar pe ordonata nivelul adevarat pozitiv (sensibilitatea)

sensibilitate1-specificitate

Prin stabilirea celor doua determinate pentru mai multe situatii se poate trasa o curba

Curba ROC

Reprezentare grafica a relatiei dintre sensibilitate si specificitate in cazul unui test

Metoda simpla de aplicare a metodei valorii predicitve pentru a alege un criteriu pozitiv

ROC analysis este parte din teoria detectiei semnalelor ("Signal Dectection Therory") dezvoltata in al doilea Razboi Mondial pt analiza semanalelor radar Operatorul radar trebuia sa decida daca ceea ce e pe ecran e un dusman, un prieten sau doar zgomot de fond

capacitatea sa a fost denumita Receiver Operating Characteristics

Abia in anii 70 teoria detectiei semnalului a fost considerata utila pentru interpretarea testelor medicale

Curba ROC

In cazul unor determinari cantitative (e.g. glicemia in diagnosticarea diabetului zaharat)

se pot inscrie valori numerice diferite;

cnd este vorba de un test calitativ (e.g. mamografia in diagnosticul cancerului mamar)

se poate realiza o scala cuprinznd mai multe categorii. un exemplu de scala in acest caz

probabil normal (imposibil) posibil normal (neverosimil) echivoc (indoielnic) posibil anormal probabil anormal

sigur

Curba ROC1 0,8

sensibilitate

0,6 0,4 0,2 0 0 0,5 1

1-specificitate

Curba ROC

Cancer mamarRadiology" 1988, 167: 353-58 353-

Cancer prezent Mamografie pozitiva Mamografie negativa Total AP a FN c a+b RP = real pozitiv FN = fals negativ

Cancer absent FP b AN d c+d FP = fals pozitiv RN = real negativ

MAMOGRAFIE pozitiva, in caz de suspiciune mare de cancer, negativa, in caz de suspiciune mijlocie sau mica

Cancer prezent Mamografie pozitiva 47 Mamografie 72 negativa Total 119 sensibilitate 47/119 = 0,40 a= (0,40;0,02)

Cancer absent 6 275 281 specificitate 6/281 = 0,02

MAMOGRAFIE pozitiva, in caz de suspiciune mare sau mijlocie de cancer, negativa, in caz de suspiciune mica

Cancer prezent Mamografie pozitiva Mamografie negativa Total 104 15 119

Cancer absent 123 158 281

sensibilitate 104/119 specificitate 123/281 = 0,87 = 0,44 b= (0,87;0,44)

MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (rarefieri radiografice) negativa, in caz de suspiciune cu opacitate radiografica sau suspiciune minima

Cancer prezent Mamografie pozitiva Mamografie negativa Total 113 6 119 sensibilitate 113/119 = 0,94 c= (0,94;0,57)


MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (opacitate radiografica) negativa in caz de suspiciune minima

Cancer prezent Mamografie pozitiva Mamografie negativa Total 116 3 119 sensibilitate 116/119 = 0,97 d= (0,97;0,72)


a) b) c)

d)

suspiciune mare de existenta a unui carcinom; 1 (0,4;0,02) suspiciune mare sau mijlocie de existenta a unui carcinom; (0,87;0,44) suspiciune mare, mijlocie sau mica cu rarefieri radiografice de 0,5 existenta a unui carcinom; (0,94;0,57) suspiciune mare, mijlocie sau mica (opacitate radiografica) de existenta a unui carcinom. 0 (0,97;0,72)

Curba ROC

Trasarea curbei ROC setarea criteriului de pozitivitatesensibilitate

1 0,8 0,6 0,4 0,2 0

w x

v

Cind implicatiile FP si FN sunt egale - cit mai aproape de coltul din stinga sus (x) Cind FP este in mod special indezirabil cit mai departe in stg (z) FN in mod special indezirabil in coltul din dreapta sus (creste sensibilitatea, scade specificitatea (w, v)

z0 0,5 1

1-specificitate

Aria de sub curba ROC

Aria masoara capacitatea de discriminare capacitatea testului de a clasifica pacientii cu / fara boala

E.g. pacienti deja clasificati. Luam unul bolnav si unul sanatos (randomic). Pacientul cu testul cel mai anormal ar trebui sa fie din grupul celor bolnavi.

Aria de sub curba reprezinta procentajul perechilor luate randomizat pentru care acest fapt e adevarat (adica testul clasifica corect cei doi pacienti din perechea randomizata)

Interpretarea punctiei cu ac subtire1. Frotiu inadecvat - fara elemente celulare tiroidiene 2. Frotiu benign; benign; a. rare tireocite b. multiple tireocite normale, grupate in cuiburi c. frotiu bogat celular 3. Frotiu tip tiroidita cu tireocite normale, limfocite abundente si celule Hurtle 4. Frotiu suspect cu placarde de tireocite cu nucleu voluminos, hipercromatic, nuclei liberi 5. Frotiu malign cu numeroase celule ce intrunesc criteriile clasice de malignitate

Rezultatul citologic si anatomopatologic

SENSIBILITATE =AP/(malign)AP+FN =31/41 = 75,6% SPECIFICITATE =AN/(benign)AN+FP =32/34 = 94,1% VALOARE PREDICTIVA POZITIVA =AP/(FNAB mg)AP+FP =31/33 = 93,9% VALOARE PREDICTIVA NEGATIVA =AN/(FNAB bg)AN+FN =32/42= 76,2%AnatomoAnatomopatologic Citologic benign benign malign 32 10 malign 2 31

FNAB

calcularea curbei ROC- suspiciune inalta (5) malign benign 1 33FNAB pozitiva FNAB negativa

-suspiciune inalta, medie si minora (3+4+5)malign 35 6 benign 4 30

FNAB pozitiva FNAB negativa

11 30

sensibilitate = 11/41 = 0,27 1- specificitate = 1 - 33/34 = 0,02


- suspiciune inalta si medie (4+5)(4+5)malign FNAB pozitiva FNAB negativa 31 10 benign 2 32

-suspiciune inalta, medie si minora (3+4+5)malign FNAB pozitiva FNAB negativa 37 4 benign 10 24

sensibilitate = 31/41 = 0,76 1- specificitate = 1- 32/34 = 0,06 1-


FNAB curba ROCnive l adevarat pozitiv (se nsibilitate)1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 0,2 0,4 0,6 0,8 1

nivel fals pozitiv (1-specificitate) FNB

PROBLEMA SPECIFICA INTERPRETARII TESTULUI

Experienta cercetatorului

capacitatea medicului poate evolua in cursul unui studiu de evaluare a testelor - procentul de rezultate false (fals pozitive sau fals negative), in raport cu standardul de referinta, risca sa fie mai ridicat ideal este ca acelasi observator sa interpreteze toate examinarile daca sunt implicati mai multi observatori in studiu, ei trebuie sa aiba aceeasi experienta interpretarea testului trebuie sa fie independenta de interpretarea testului de referinta

Omogenitatea in interpretare

Obiectivitate

REPRODUCTIBILITATEA

Capacitatea unui instrument de a furniza o masuratoare identica in mod repetat

concordanta rezultatelor mai multor masuratori, efectuate de diferiti observatori, poate fi mai mult sau mai putin ridicata. calitatile reale ale testului (sensibilitate, specificitate), interpretare

Reproductibilitatea depinde de

Cuantificarea - indicele kappa (K): evalueaza reproductibilitatea observata in raport cu concordanta legata de hazard

O = acord observat K = (0-E) / (1-E) (0(1K = 1 pentru o concordanta perfecta. K = 0 cand nu exista concordanta decat sub efectul hazardului.

Valorile negative ale K sunt posibile. Ele indica atunci ca exista mai putine sanse de acord decat doar cel observat sub efectul sansei.

EXACTITATEA

Capacitatea de a furniza o masuratoare exacta a unui fenomen

proportia rezultatelor corecte, pozitive sau negative

Evaluarea reproductibilitatii

Enumerarea surselor potentiale de eroare

Pozitia pacientului la o radiografie Momentul zilei (T, G) Conditii de masurare a TA

Masurarea importantei variatiilor si incercarea de a le reduce la maxim

Variatii inter-investigatori interVariatii intra-investigator intraVariatii intra-pacient intra-

Clasificarea surselor in ordine descrescatoare

Variatii interobservatorV1-V2 * (mL) media DS mediana maxim minim p 3,71 3,95 2.91 13,49 0,01 0,75 V1-V3 * (mL) 3,83 3,45 2.01 14,4 0,03 0,85 V3-V2* (mL) 2,3 2,27 1.4 9,01 0,14 0,93

V1 = volumele gasite de ex.1 V2 = volumele gasite de ex.2 V3 = volumele gasite de ex.3 * - au fost considerate diferentele in valoare absoluta - nesemnificativ

Diferentele inter-observator de determinare a volumului tiroidian inter-

Variatii interobservatormL 16 14 12 10 8 6 4 2 0 V1-V2p > 0,05 p > 0,05 p > 0,05

V1-V3

V2-V3

media min

max mediana

Diferentele inter-observator de determinare a volumului tiroidian inter-

Variatii intra-observator intraVT1-VT2 * media DS mediana maxim minim p 2,45 2,20 1,79 6,82 0,04 0,617 6 5 4 3 2 1 0

* - diferenta dintre volumele gasite la 2 determinari diferite - nesemnificativ

media min

max mediana

Diferentele intra-observator de determinare a volumului tiroidian intra-

Masurarea reproductibilitatii

Concordanta intre mai multi clinicieni

cl1I I 25 4 3 0 32 II 7 14 6 1 28 III 2 5 17 2 26 IV 1 0 3 10 13 35 23 29 13 100

eg grad de severitate al unei afectiuni cl2

Concordanta (din 100 subiecti)

II III IV

25+14+17+10/100 = 66%

Importanta reproductibilitatiiEfecte ale absentei reproductibilitatii Studii terapeutice

diminueaza puterea studiilor in strategiile terapeutice (creste varianta variabilei urmarite) Subestimarea asocierii factorilor de risc

Studii epidemiologice

Baterii de teste

Aplicate in paralel - cresc Sn+ cand macar unul dintre ele este pozitiv - cand toate sunt negative

Aplicate in serie - cresc Sp+ cand toate sunt pozitive - cand macar unul este negativ

Teste multiple

In practica, nu este foarte frecvent sa fie absolut sigur ca exista sau nu exista boala, dupa folosirea unui test diagnostic.

de fapt, testele perfecte (100% sensibilitate si specificitate) sunt foarte rare (daca exista!)!

Cand suntem in situatia, in care probabilitatea bolii la incheierea testului nu s-a modificat decisiv, pentru a face tratamentul sau pentru a renunta,

sunt necesare teste ulterioare

Teste utilizate in paralel

cand se doreste obtinerea rezultatelor rapid,

urgente bolnavi tratati in ambulator

sensibilitatea (si deci valoarea predictiva negativa) este mai buna pentru totalul acestor teste folosite in paralel, decat pentru fiecare dintre teste luate separat invers pentru specificitatea si valoarea predictiva pozitiva, care scad

mai putin probabil sa nu se descopere boala dar diagnosticele false si fals pozitive vor fi mai frecvente

utile, cand medicul are nevoie de un test sensibil, dar nu are la indemana decat 2 sau 3 teste putin sensibile

FolosinduFolosindu-le in paralel rezulta o strategie de diagnosticare de o sensibilitate mai mare, cu pretul totusi a existentei rezultatelor fals pozitive, care pot conduce la tratamente inutile.

Teste utilizate in serie

nu este indispensabila obtinerea rezultatelor rapid,

consultatii, in opozitie cu situatiile urgente de spitalizare. teste sunt scumpe si/sau cu risc

Testele in serie sunt folosite, cand

un asemenea test nu este de fapt folosit, decat daca un test mai simplu si mai putin agresiv a evocat in prealabil boala cautata.

consuma mai putine resurse paraclinice decat testele in paralel,

folosirea unui al doilea test depinde de rezultatul primului

Dar procedura este mai indelungata Testele folosite in serie

maresc specificitatea si valoarea predictiva pozitiva a strategiei de diagnosticare, dar micsoreaza sensibilitatea si valoarea predictiva negativa.

Medicul, dar si pacientul, sunt mai siguri ca boala este reala, cand testul este pozitiv, dar risca sa aiba mai multe rezultate fals negative. utila, cand nici unul dintre testele disponibile nu este foarte specific.

testul cel mai specific trebuie folosit primul, testul mai sensibil va fi folosit ulterior

Evaluarea Per for Mantel Or Unui Prof. Dr. c. Vulpoi

Documents

Transcript of Evaluarea Per for Mantel Or Unui Prof. Dr. c. Vulpoi