Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1,...
Transcript of Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1,...
![Page 1: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/1.jpg)
Roman Jelínek1, Josef Kratochvíla2 1RNDr. Vladimír Komárek s.r.o., člen skupiny SPADIA LAB, a.s.
2SEKK s.r.o.
Nejistoty, validace a verifikace – teorie a praxe
současný stav a možnosti
![Page 2: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/2.jpg)
Kdo vyžaduje stanovení odhadu nejistot?
• Pacienti ?
• Pojišťovny ?
• Lékaři ?
• Odborné společnosti ?
• Šéf ?
• Norma 15189, 17025
![Page 3: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/3.jpg)
Je postup pro výpočet odhadu nejistot direktivní?
• Není upraveno závazným předpisem
• Jednotlivé laboratoře mohou mít svůj postup
• Odborné společnosti mohou mít svůj postup
![Page 4: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/4.jpg)
Společné doporučení pro klinické laboratoře
kalkulačka nejistot návod + kalkulačka + validační protokol
Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích návod + praktické postupy + komentáře
Schváleno SEKK, výborem ČSKB, ČHS, datum vydání: 11.11.2014
![Page 5: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/5.jpg)
Názvosloví
• Standardní nejistota (u) jednotlivé dílčí nejistoty
• Kombinovaná nejistota (uc)
• Rozšířená kombinovaná nejistota Uc Uc = k∙uc
(k = 2 pro 95% interval spolehlivosti)
• Relativní nejistota (Urel, urel) uváděná v %
![Page 6: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/6.jpg)
Postup pro výpočet odhadu nejistot
Pokud se nezahrnou do vzorce pro výpočet odhadu nejistoty
všechny významné složky
nejedná se o kombinovanou nejistotu
ale pouze dílčí
…a ta je samozřejmě podhodnocená…
připomenutí
![Page 7: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/7.jpg)
Jaká je vypovídací hodnota odhadu nejistoty?
NENÍ KONSTANTNÍ!
• mění se v měřícím rozsahu (mírně až významně, např. INR 1 a 6)
• mění se v čase (např. změna šarže kalibrátoru a reagencie)
(stárnutí reagencie na palubě)
![Page 8: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/8.jpg)
Jaká je vypovídací hodnota odhadu nejistoty?
Dále je dobré si dále uvědomit, že absolutní číselná hodnota
odhadu nejistot (v %) nemá obecně vypovídací hodnotu
nabývá na významu až ve vztahu
• s biologickou variabilitou
• s negativní prediktivní hodnotou
Například: kombinovaná nejistota 5 % u iontů se může jevit jako
skvělá
a kombinovaná nejistota 50 % u D-Dimerů jako nevyhovující,
ale klinicky je to právě naopak
![Page 9: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/9.jpg)
Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích
Datum vydání: 11.11.2014
![Page 10: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/10.jpg)
Doporučení k výpočtu nejistot kvantitativních výsledků měření v klinických laboratořích
Datum vydání: 11.11.2014
Možnosti zápisu
![Page 11: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/11.jpg)
Proč se více zabývat nejistotami?
Uváděné výsledky odhadu nejistot stále vykazují nezvládnutí procesu kvantifikace:
objevují se nereálné hodnoty
Příčiny ?
Nízká standardizace analytických metod
Nedostupnost referenčních materiálů
Odtažitost statistiky obecně
Nevyžadováno lékaři, pacienty, pojišťovnami…
Následky…
Nesmyslné odhady nejistot
(příliš nízké či vysoké)
Účel vnímán rozporuplně
Neurčité klinické využití
![Page 12: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/12.jpg)
Jaký je současný stav? - požadavek uvádět nejistoty v EHK
Hematologie(SEKK)
13/3 KO
Retic na aut. analyzátoru
HKG
Biochemie (SEKK)
28/11 ABR
AKS
ALB
BIL novor.
CRP
GLC
KD
PRO
RFA
TDM
TE
Nukleární m.(SEKK)
4/3 E1, E2
TM
Transfuziologie (SEKK)
2/0
Alergologie a
imunologie
11/3 Imunofenotypizace
CD34
TIE
Patologie (SEKK)
3/0
![Page 13: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/13.jpg)
A) Výpočet pouze u kvantitativních stanovení
B) …případě řady speciálních parametrů a analytů
je výpočet odhadu kombinované nejistoty složitý a finančně náročný
→ např. pro rutinní hematologickou laboratoř prakticky nerealizovatelný
Chybí odpovídající kontrolní a kalibrační materiály
s metrologickou návazností!
Jaký je současný stav? - požadavek uvádět nejistoty v EHK
Proč se neuvádí nejistoty u ostatních
cyklů?
![Page 14: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/14.jpg)
Jaký je současný stav?
Pozitiva:
průměrné hodnoty odhadu nejistot vykazují realistický charakter
ale…
celkové rozložení uváděných odhadů nejistot naznačuje problémy…
![Page 15: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/15.jpg)
Jaký je současný stav?
![Page 16: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/16.jpg)
Jaký je současný stav?
![Page 17: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/17.jpg)
Jaký je současný stav?
25 násobný rozdíl
![Page 18: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/18.jpg)
Jaký je současný stav?
25 násobný rozdíl
![Page 19: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/19.jpg)
Indikátory – jak zpětně posoudit vlastní odhad
• Pokud Váš odhad nejistoty převyšuje hodnotu rozsahu referenčních mezí (nebo přijatelný rozdíl Dmax % z EHK), je zřejmě chybně kvantifikován
Pokud se ale skutečně jedná o reálný odhad, test klinicky ohrožuje pacienta
• Pokud je Váš odhad nejistoty nižší než CV % v rámci vlastní skupiny v cyklu EHK, je sice optimistický, ale významně podhodnocený
• Pokud Váš výsledek s přidruženou nejistotou nezahrnuje cílovou hodnotu, je nejistota zřejmě podhodnocená (často do ní není zahrnut bias).
![Page 20: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/20.jpg)
Validace
Verifikace
• Potvrzení při vývoji, zda test je vhodný pro zamýšlené použití
• Ověření, že test funguje v dané laboratoři
![Page 21: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/21.jpg)
Validace (čl. 5.5.1.3)
1. Metody navržené nebo vyvinuté v laboratoři
2. IVD MD, které byly následně upraveny
Pravdivost (vychýlení, BIAS)
Preciznost (opakovatelnost, mezilehlá preciznost)
Nejistota měření
Analytická specifičnost (interference)
Mez detekce, mez stanovitelnosti
Měřící rozsah, linearita
Robustnost
Diagnostická specifičnost
Diagnostická citlivost (senzitivita)
Referenční meze
![Page 22: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/22.jpg)
Verifikace postupů laboratorních vyšetření (čl. 5.5.1.2)
1. IVD MD
2. dříve validované vlastní metody
3. upravené IVD MD metody (po provedené revalidaci)
Pravdivost (vychýlení, BIAS)
Preciznost (opakovatelnost, mezilehlá preciznost)
![Page 23: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/23.jpg)
Postupy validace a verifikace
teoretický a praktický návod ?
![Page 24: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/24.jpg)
Postupy validace a verifikace
doporučeni z roku 2010 na www.cskb.cz
• Názorné
• Edukační
• Řešené příklady
![Page 25: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/25.jpg)
problematika uzavřených systémů
„analyzátor – kalibrátor – kontrola“
nebezpečí ztráty možnosti zachytit systematické chyby
![Page 26: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/26.jpg)
Materiály pro řízení kvality = vnitřní kontrola kvality
čl. 5.6.2.2
Pro řízení kvality by se mělo zvažovat
použití kontrolních materiálů pocházející
z nezávislých třetích stran
a to namísto nebo navíc ke kontrolním materiálům
dodávaných dodavateli reagencií nebo výrobci přístrojů.
![Page 27: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/27.jpg)
srovnatelnost výsledků vyšetření současný stav
čl. 5.6.4
Pro zjištění srovnatelnosti výsledků vyšetření
velmi dobře poslouží hodnocení EHK (SEKK)
Závěrečná zpráva
Youdenovy grafy
Statistika z Kvantitativní zprávy
![Page 28: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/28.jpg)
FBG 1,21 g/l 1,29 g/l 1,34 g/l 1,43 g/l
Srovnatelnost výsledků vyšetření Certifikovaný referenční materiál KO 2/11
5,3 5,7 5,9 6,0 6,1 6,2 6,3 6,3
4,0
4,5
5,0
5,5
6,0
6,5
7,0
7,5
Siem
ens
Sysm
ex
Ab
bo
tt
Min
dra
y
Nih
on
Ko
hd
en
Bac
kman
Co
ult
er
Ho
rib
aM
edic
al
Orp
hée
WB
C
[1
09/l
]
analyzátor
WBC SEKK KO 2/11
![Page 29: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/29.jpg)
FBG 1,21 g/l 1,29 g/l 1,34 g/l 1,43 g/l
Srovnatelnost výsledků vyšetření HKG SEKK 3/14
0,8
1
1,2
1,4
1,6
1,8
2
Diagon Siemens IL Stago
Fbg [g/l]
analytický systém
![Page 30: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/30.jpg)
Co na závěr?
tři různé rady
vyberte si dle vlastního uvážení
![Page 31: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/31.jpg)
…k VKK přidejte
nezávislou kontrolu…
...stačí repro…
…nemusíte, stačí firemní…
![Page 32: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/32.jpg)
Děkuji za pozornost
![Page 33: Nejistoty, validace a verifikace - současný stav a možnosti · 2016. 11. 3. · Roman Jelínek1, Josef Kratochvíla2 1RNDr.Vladimír Komárek s.r.o., člen skupiny SPADIA LA, a.s.](https://reader033.fdocuments.net/reader033/viewer/2022060807/608bd2526653c77c363a7038/html5/thumbnails/33.jpg)
Abstrakt Sdělení obsahuje přehled aktuálních předpisů, dokumentů a kalkulátorů, které upravují postupy k určování
odhadů nejistot a k provádění verifikací a validací klinických testů/měření. Jedná se o dokumentaci od odborných společností ČLK JEP a od společnosti SEKK jako poskytovatele EHK.
Jsou konfrontovány teoretické požadavky normy ISO EN ČSN 15189:2013 na tuto problematiku s reálnými možnostmi v praxi. Teoretické požadavky jsou limitovány několika faktory, jako neexistence či nedostupnost referenčních materiálů s metrologickou návazností, dále nízkým stupněm standardizace analytických metod a také rozdílným přístupem odborných pracovníků ke způsobu vyhodnocování odhadů nejistot měření, jakožto součásti verifikace/validace.
Například jedním s požadavků uvedené normy (bod 5.5.1.4) je, že laboratoř musí stanovit nejistotu měření u každého měřícího postupu, který provádí, což ale není a nebude na žádném akreditovaném pracovišti v ČR splněno, neboť to technicky není možné.
Další část přednášky se zabývá jednotlivými výstupy odhadu nejistoty v cyklech EHK (SEKK) u konkrétních
metod. Ty jsou dlouhodobě vzájemně násobně až řádově odlišné. Značná část je nereálně nízká či naopak vysoká. Hlavním důvodem velkého mezilaboratorního rozptylu nejistot měření je rozdílná identifikace podstatných zdrojů nejistot, tedy správnost, reálnost a úplnost vstupních dat.
Bude zmíněna také problematika uzavřených systémů „analyzátor/kalibrátor/kontrola“, které fungují sice
jako samostatné ekosystémy, ale neposkytují srovnatelnost, neboť výrobci nevěnují dostatečnou pozornost systematickým chybám, a tudíž u těchto systémů nastává významné podhodnocování odhadu nejistot měření.
Přednáška se věnuje pouze metodám kvantitativním, nezabývá se metodami semikvantitativními a kvalitativními.