Kvalita v laboratorní a výrobní praxi

Část 5: Chyby a hodnocení výsledků

měření

Praha, únor 2020

Vladimír Kocourek

Zkoušení (analýza) v laboratoři

Výroba

Výzkum a vývoj (R&D)

Obchodování (dodávání)

Ochrana zdraví a životního prostředí

1720

1920

2020

Chemické složení

potravin

Analýza

potravin

Chemické reakce v

potravinách

Kvalita a

bezpečnost

Výživa a zdraví

Zkoušení potravin pro kvalitu a bezpečnost

Chemická / potravinářská výroba - provoz

Požadavky na měření / analýzu:

Opakovatelnost měření

• monitoruje se vývoj reakčního procesu

• zjišťuje se kolísání (fluktuace) procesu

Pravdivost měření je trochu méně důležitá

Dostatečná frekvence analýz

Minimální náklady a úsilí

Přehledné výsledky/ protokoly

Obchodování - dodávání

Požadavky na měření / analýzu:

Přesnost (zejména pravdivost): výrobek je ve shodě se specifikacemi

Prokázání platnosti metody: všeobecně uznávanémetody, validace, návaznost k referencím

Reprodukovatelnost: výsledky jsou srovnatelné, bez ohledu na to, která laboratoř zkoušku provádí

Konsistentnost: bez rozporů, stejný vzorek → stejnývýsledek

Vzájemné uznávání výsledků různých laboratoří

Sjednání analytického servisu:

1 SPECIFIKACE VZORKU

– druh vzorku

– počet vzorků, popř. frekvence vzorkování

– hmotnost (objem) vzorků

– obal, uzavření

– označování, vstupní dokumentace

– archivace vzorků, vracení

2 CENA, platební podmínky, odpovědnost

3 TERMÍN DODÁNÍ VÝSLEDKU, PROTOKOL

4 PARAMETRY (přesnost, mez stanovitelnosti,..)

„Dobrý analytický výsledek“

Vhodný pro daný účel:

Umožňuje provést

rozhodnutí

Presentovaný ve

srozumitelné formě

Konsistentní a úplný

Dodaný včas

…a za přiměřenou cenu

Přesný (pravdivý a

precizní)

Postihující i malé množství

sledované látky

S prokazatelnou vazbou k

referencím

Analytický „interval spolehlivosti“

každé měření je spojeno s chybami

každá střední hodnota by proto měla být doplněna

údajem o nejistotě jejího odhadu [např. X ± x g/l]

Při prokazování, že vzorek je ve shodě se

specifikacemi je nutné vzít do úvahy interval

spolehlivosti (nejistotu) hodnoty výsledku

Příklad:

• analýza (metoda) poskytla hodnotu výsledku ± 1,5%

• je požadován obsah analytu ve vzorku min. 97%

• aby byla jistota, že obsah analytu je >97%, musí být

výsledek analýzy nejméně 98,5 %

Přesnost měření / zkoušek

Data jsou „vysoké kvality“, pokud jsou vhodné pro jejich zamýšlené použití

v provozu , rozhodování a plánování.

(JM Juran).

Přesnost měření / zkoušek

MĚŘENÍ jako snaha trefit CÍL …

pravá hodnota

(pravdivá hodnota měřené veličiny)

Terč - cíl (target)

Měření

Přesnost měření / zkoušek

Přesnost výsledků měření / zkoušek

přesný výsledek:

precizní a pravdivý

pravdivost

syst

em

ati

cká

ch

yb

a

preciznostnáhodné rozptýlení

nepřesný výsledek:

precizní ale vychýlený

Distribuce naměřených hodnot veličiny

Histogram

Probability Distribution

Function (Gauss)

1. There is a strong tendency for the variable to take a central value;

2. Positive and negative deviations from this central value are equally likely;

3. The frequency of deviations falls off rapidly as the deviations become larger.

freq

uen

cy

q

s qk

Charakterizováno střední hodnotou a směrodatnou odchylkou

náhodného výběru

Pravděpodobnostní rozdělení náhodných chyb –

tzv. „normální“ – „Gaussovo“

Rozptyl střední hodnoty výběru

n

)q(s)q(s)q(V

22

distribution of

the mean

distribution of the single

values of one individual de

determination of q

kqs

qs

mean

Systematické chyby měření

Zešikmená data: život bývá log-normální

Environmentální kontaminanty v potravinách,

Citlivost jedinců v populaci vůči působení chemické látky,

Výsledky opakované analýzy těsně nad LOQ,

Počty zaměstnanců podle výše platu

Výběrové charakteristiky

Výběrový průměr:

n

i

ixn

x1

1

Odhad směrodatné odchylky:

Medián:

hodnota, která dělí řadu podle velikosti seřazených výsledků na dvě

stejně početné poloviny.

Výhodou mediánu jako statistického ukazatele je fakt, že není tolik ovlivněn extrémními

(nebo odlehlými) hodnotami.

Modus:

hodnota, která se v daném statistickém souboru vyskytuje nejčastěji.

Modus lze použít i na kvalitativní výsledky: např. modus ze souboru „žlutá, zelená,

červená, modrá, žlutá, zelená, červená, fialová, zelená, hnědá” je:...............

Intervalové odhady s definovanou pravděpodobností

Interval spolehlivosti (průměru):

Pološířka intervalu spolehlivosti:

Intervalový odhad průměru:

(n opakování, hladina spolehlivosti α)

n

stx

n

stx )()( 2/12/1

Obsah vody: 11,02 ± 0,22 %

Interval hodnot: 10,80 až 11,24 %

Charakteristiky souboru dat (robustní odhady)

Odhad robustních statistik z kvartilů:

Interkvartilové rozpětí:

(n opakování, α=0,05)

Gastwirthův medián:

Winsorizace dat – korekce:(nechceme-li odlehlé hodnoty vylučovat)

maximální a minimální hodnota v uspořádaném

souboru se nahradí hodnotou sousední –

nejmenší druhým nejmenším a největší druhým

největším. Trend se zachová, extrémní hodnoty

ztratí svou váhu.

Logaritmická transformace:(jako log-normální rozdělení)

hodnoty se převedou na logaritmy, zpracují se

jako normálně rozdělené a takto získané

charakteristiky se tranformují zpět

(„odlogaritmují)

Přesnost měření / zkoušek

Přesnost = Pravdivost (ε) + Preciznost (δ)

Accuracy = Trueness (ε) + Precision (δ)

X = μ + ε + Σ δμ...pravá (pravdivá) hodnota

ε...systematická chyba - stejná velikost a znaménko

δ...náhodné chyby – v součtu mění velikost a znaménko

Co všechno obsahuje výsledek analýzy X ?

Chyba měření (measurement error):

(ε + Σ δ) = X – μ

Chyba měření je rozdíl mezi hodnotou

naměřenou (X) a hodnotou pravou (μ).

…zahrnuje vždy chybu systematickou (ε) a

náhodné vlivy (δ).

Co je to „chyba výsledku analýzy (měření)“

Problém: často neznáme dost dobře μ a tedy ani chybu

systematickou a tudíž ani celkovou...zase nejistota.

Nejistota ?

Systematická chyba (ε + Σ δ) = X – μ

systematická chyba výsledku je rozdílem mezi

průměrným výsledkem z velkého počtu

opakování a pravou hodnotou (true value)

někdy je nazývána vychýlení (bias)

v analytické chemii se zjišťuje např. jako

průměrná výtěžnost (cx/c0)

Pravdivost výsledku měření

Pravá hodnota - true value

...je hodnota charakterizující dokonaledefinovanou veličinu za podmínekexistujících v okamžiku, kdy je uvažována…

Je to ideální pojem - obecně nemůže býtdokonale poznána !

pro praxi se proto nahrazuje

REFERENČNÍ HODNOTOU

Referenční hodnota

1. střední hodnota dle definitní metody

2. teoretická hodnota (ze složení čisté látky)

3. expertní mezilaboratorní porovnání zkoušek

4. známé množství analytu přidané do matrice

5. střední hodnota základního souboru měření

Realizuje se zpravidla prostřednictvím

referenčního materiálu

složka chyby, která se v průběhu řady zkoušek

téhož znaku mění nepředvídatelným

způsobem – kolísá okolo střední hodnoty

nelze ji odstranit jakoukoli korekcí !

Náhodná chyba výsledku

Některé zdroje náhodných chyb:

metoda

laboratoř (prostředí)

zařízení a materiály (nádobí, přístroje, činidla…)

analytik

časové rozmezí

vyjadřuje náhodné rozptýlení hodnot okolo

střední hodnoty

vyjadřuje se jako PRECIZNOST (precision)

výsledků opakovaného měření za určitých

podmínek

vypočte se jako směrodatná odchylka σx

z řady opakování

nemá nic společného s pravou (referenční)

hodnotou !

Náhodná chyba výsledku

za různých podmínek působí různé náhodné

vlivy preciznost výsledků (precision) je

různá

1. extrém: co nejméně odlišností při opakování:

OPAKOVATELNOST (jak se to daří opakovat mně)

2. extrém: co nejvíce odlišností při opakování:

REPRODUKOVATELNOST (jak se to daří zreprodukovat jinde)

Náhodná chyba výsledku

podmínky OPAKOVATELNOSTI:

stejná metoda, laboratoř, analytik, zařízení, přístroje,

standardy, chemikálie, kalibrační křivka, v krátkém

časovém rozmezí („paralelky“)

podmínky REPRODUKOVATELNOSTI :

zpravidla stejná metoda ale jiná laboratoř a tedy všechny

ostatní faktory jiné.

podmínky MEZILEHLÉ PRECIZNOSTI :

zpravidla stejná metoda i laboratoř ale v dlouhém

časovém období (dlouhodobá opakovatelnost)

a což takhle něco mezi ?

Náhodná chyba výsledku

Integrace 1 Integrace 2Standard

Rozdíl mezi výsledky

– 42 % (koncentrační hladina ppb)

min21.5 22 22.5 23 23.5 24 24.5

LU

0

50

100

150

200

FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D)

Area: 2577.76

Area: 2997.03

Area: 9689.11

2

2.8

72

2

3.1

52

- 1

-M

eP

yr

2

3.5

91

- B

aA

min21.5 22 22.5 23 23.5 24 24.5

LU

0

50

100

150

200

FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D)

Area: 2145.32

Area: 2103.88

2

2.8

72

2

3.1

52

- 1

-M

eP

yr

min23.75 24 24.25 24.5 24.75 25 25.25 25.5 25.75

LU

10

20

30

40

50

60

FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MJKOLONY\MDER2.D)

2

4.5

30 - 1

-M

eP

yr

2

5.0

04 - B

[a

]A

Ilustrace variability výsledků:

dva různí pracovníci

8.00 8.50 9.00 9.50 10.00 10.50 11.00 11.50

5.40 5.60 5.80 6.00 6.20 6.40 6.60 6.80 7.00 7.20 7.40 7.60 7.80 8.00 8.20 8.40 8.60 8.80 9.00 9.20 9.40 9.60 9.80

0

100

%

5.47

6.22

6.076.35

6.84

7.05

7.65

7.54

8.10

9.67

Analýza vzorku na dvou

přístrojích stejného typu

Ilustrace vlivu přístroje

na mezilehlou preciznost výsledků

Mez opakovatelnosti (r)

Vypočte se ze směrodatné odchylky opakování analýzy

stejnou metodou na stejném vzorku (homogenním) za

podmínek opakovatelnosti:

r = f . √2 . σr

r = 2,8 . sr

Použití:

Jsou-li výsledky zatíženy pouze přijatelnou náhodnou

chybou (H0),

pak rozdíl mezi výsledky dvou opakování nesmí být větší

nežli r : |x1-x2| ‹ r

Opakovatelnost (sr)

Postup 1:

provede se řada opakování (n = 8 až 15) na tomtéž

homogenním vzorku za podmínek opakovatelnosti,

vypočte se směrodatná odchylka

sr2 = Σ Di

2/(2n)

Postup 2:

různé ale podobné vzorky se za podmínek

opakovatelnosti analyzují dvojmo a vypočtou rozpětí,

vypočte se směrodatná odchylka:

Příklady jak to nedělat, když nám paralelka nevychází:

Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %

Výsledky analýzy:

x1 = 2,96 %; x2 = 3,19 % 3,19 – 2,96 > 0,14 !

Tedy ještě další opakování:

x3 = 2,92 %; 3,19 vyloučíme ? NE !!! 2,96 - 2,92 < 0,14

I.

II.

Výsledkem X není průměr jenom výsledků, které se nám „líbí“, protože:

X = (x1 + x3)/2 = 2,94 %; D1,3 < 0,14

Výsledky analýzy:

x1 = 3,18 %; x2 = 3,36 % D1,2 = 0,18 > 0,14 !

A další opakování – ale takhle zase NE:

x3 = 3,25 %; 3,25 - 3,18 < 0,14 a 3,36 – 3,25 < 0,14

Výsledkem X je průměr platných opakování:

X = (x1 + x2 + x3)/3 = 3,26 %; D1,3 < 0,14 a D2,3 < 0,14

Místo toho: kritický rozdíl pro 3 výsledky

Příklady použití na 3 opakování: jak to udělat správně

Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %

viz II. 3 Výsledky analýzy:

x1 = 3,18 %; x2 = 3,36 %; x3 = 3,25 %;

Rozpětí (xmax – xmin) celého souboru je 0,18 % :

jaká je kritická hodnota pro 3 opakování ?

Rozpětí celého našeho souboru je 0,18 % > r3 = 0.17 !

Možná příčina ?

1. nehomogenní vzorek,

2. nezvládnutá metoda

3. špatně určená opakovatelnost

r3 = f . √3 . σr

r3 = 3,3 . sr

Opakovatelnost (r)

Význam - odpověď na otázku:

"lze rozdíl mezi výsledky opakování vysvětlit náhodným

kolísáním (rozptýlením) anebo se analytický systém ocitl v

nezvládnutém stavu ?"

Standardně se uvádí mez opakovatelnosti pro α = 0,05

pro α = 0,01 se násobí koeficientem 1,29

pro α = 0,10 se násobí koeficientem 0,82

Reprodukovatelnost (R)

Význam - odpověď na otázku:

"lze rozdíl mezi výsledky získanými na tomtéž vzorku jinou

laboratoří vysvětlit náhodným rozptýlením anebo nejsou

výsledky laboratoří srovnatelné ?"

Nelze ovšem říci, který ze dvou výsledků je „pravdivější“ …

R = 2,8 . sR

Použití:

Jsou-li výsledky zatíženy pouze přijatelnou chybou,

pak rozdíl mezi výsledky dvou laboratoří nesmí být větší

nežli R : |X1-X2| ‹ R

Skládá se ze dvou složek:

σ2r - rozptyl výsledků uvnitř laboratoře

σ2L - rozptyl výsledků mezi laboratořemi

„Horwitz“ …

σ2R = σ2

r + σ2L

Způsob zjištění R:

1. experimentálně na základě mezilaboratorního porovnání zkoušek

(MPZ)

2. odhadem z Horwitzova/Thompsonova empirického vztahu

Reprodukovatelnost (R)

Reprodukovatelnost (R) - Horwitz

Dr. William Horwitz

worked for the U.S. FDA for 57

years and was head of the

Association of Official Analytical

Chemists for 24 years.

The Horwitz curve is "one of the most intriguing relationships

in modern analytical chemistry"

Horwitzova křivka

0

10

20

30

40

50

1 100 10 000 1 000 000 100 000 000

ppb

CV (%

)Reprodukovatelnost (R) - Horwitz

Koncentrace

Pre

ciz

no

st

Reprodukovatelnost (R) - Horwitz

Relativní směrodatná odchylka – variační koeficient:

s klesající koncentrací analytu roste CV

závislost na druhu analytu, typu vzorku a analytické

metodě je méně důležitá

CVR = 2(1-0,5*logX)

Thompson:

Pro X < 1,2*10-7 (tedy pod 0,12 mg.kg-1) má být CVR asi 22 %

Pro X > 0,14 (tedy nad 14 %) je CVR = 0,01*X0,5

X je koncentrace analytu vyjádřená jako hmotnostní zlomek !

Reprodukovatelnost (R)

Reprodukovatelnost (R) - Horwitz

Požadavky na preciznost ve stopové analýze:

Koncentrace

(ppb)

CVr (%)

Codex Alimentarius

CVR (%)

Horwitz

< 1 35 > 45

1 - 10 30 32 -45

10 - 100 20 22 – 32

> 100 15 < 22

Pravdivost (Výtěžnost - Recovery)

Příklad požadavků na výtěžnost ve stopové analýze:

Koncentrace

(ppb)Dolní mez (%) Horní mez (%)

< 1 50 120

1 - 10 70 120

10 - 100 75 110

> 100 80 110

OPAKOVATELNOST, REPRODUKOVATELNOST

(repeatability, reproducibility)

závisí pouze na rozdělení náhodných chyb, nemá žádný

vztah k hodnotě pravé, resp. referenční.

Příklad: Nejvyšší přijatelné rozdíly mezi výsledky dvou analýz -

za podmínek opakovatelnosti a reprodukovatelnosti (EN 12393-

1:1998)

Koncentrační hladina [mg/kg]

Absolutní rozdíl mezi 2 opakováními

[mg/kg]

Absolutní rozdíl mezi 2 laboratořemi

[mg/kg]

0,01 0,005 (50 %) 0,01 (100 %)

0,1 0,025 (25 %) 0,05 (50 %)

1 0,125 (12 %) 0,25 (25 %)

Koncentrace

(mg/kg)

Variační koeficient

(%)

≤ 10 až 100 20

100 až 1000 15

1000 10

Mezilehlá opakovatelnost

Příklad požadavku na maximální hodnoty variačních

koeficientů pro intralaboratorní preciznost („dlouhodobá

opakovatelnost“)

(Rozhodnutí Komise 2002/657/EC: stanovení prvků)

Opakovatelnost a reprodukovatelnost

Příklad hodnot variačních koeficientů pro opakovatelnost, intralaboratorní

preciznost a reprodukovatelnost:

z výsledků mezilaboratorní studie (validace) metody.

(ISO 15753:2016 Stanovení PAU v rostlinných tucích a olejích)

PRAVDIVOST (Trueness)

celková systematická chyba - měřítkem je odchylka výsledků od skutečné hodnoty, zjišťuje se jako výtěžnost

Výtěžnost: Rec = Xs/Cref

100 %R

A B

R

S S

A

A

B

B

R=

>

NAŘÍZENÍ KOMISE (ES) č. 401/2006

kterým se stanoví metody odběru vzorků a metody analýzy

pro úřední kontrolu množství mykotoxinů v potravinách

NAŘÍZENÍ KOMISE (ES) č. 401/2006

kterým se stanoví metody odběru vzorků a metody analýzy

pro úřední kontrolu množství mykotoxinů v potravinách

PRAVDIVOST (Trueness) měření / analýzy

m..referenční hodnota

N..počet opakování

xi...výsledek měření

X...průměrná hodnota

L1..dolní mez IS

L2..horní mez IS

t - test pravdivosti vzhledem k referenční hodnotě

N = 11 m 8,4

xi (X - xi)^2 t-krit 95 t-krit 90 chí - krit

1 8 0,08463

2 8,5 0,04372

3 8,3 0,00008 4,303 2,920 0,103

4 8,1 0,03645 3,182 2,353 0,352

5 8,6 0,03645 2,776 2,132 0,711

6 8,2 0,09554 2,571 2,045 1,150

7 7,8 0,00826 2,447 1,943 1,640

8 8,2 0,24099 2,365 1,895 2,170

9 8,4 0,00826 2,306 1,860

10 8,8 0,01190 2,262 1,833

11 8,3 0,25917 2,228 1,812

2,131 1,753

X = 8,29091 výběr: 2,228 xxxxxxx 3,330

L1 = 8,10220 L2 = 8,47961

rozptyl: 0,07891 horní mez: 0,26066

s = 0,28091 horní mez: 0,51055

CV = 3,38814 %

t = 1,28802

Srovnání postupů měření / analýzy

N postup A postup B

1 37,83 37,44

2 38,18 35,82

3 36,84 36,01

4 37,61 37,20

5 37,96 38,27

6 38,05 36,83

7 37,77 35,86

A - extrakce: Soxhlet, hexan 8 h

B - extrakce: 3 x 20 min UF, hexan, Na2SO4

Excel ANALYSIS TOOL

Dvouvýběrový t-test s nerovností rozptylů

Sh-hexan UF/síran 2 hod

Stř. hodnota 37,749 36,776

Rozptyl 0,196 0,866

Směr. odch. sr 0,44 0,93

t Stat 2,498

P(T<=t) (1) 0,017

t krit (1) 1,833

P(T<=t) (2) 0,034

t krit (2) 2,262

Dvouvýběrový F-test pro rozptyl

Sh-hexan UF/síran 3 hod

Stř. hodnota 37,749 36,776

Rozptyl 0,196 0,866

Pozorování 7,000 7,000

Rozdíl 6,000 6,000

F 0,226

P(F<=f) (1) 0,047

F krit (1) 0,233

měření

systematická

chyba

výsledek měření

neznámá

systematická

chyba

náhodná

chyba

korekce zbývající

chyby

chyba

měření

známá

systematická

chyba

hodnota

výsledku

nejistota

výsledku

Definice nejistoty měření (Uncertainty)

Parametr spojený s výsledkem měření

charakterizující rozptýlení hodnot, které

mohou být důvodně připsány měřené

veličině.

Odhad přiřazený k výsledku zkoušky a

charakterizující interval hodnot, o němž se

tvrdí, že uvnitř něho leží pravá hodnota