Comparaisons inter-laboratoires… · résultats de la comparaison inter-laboratoires 2 x i...
Transcript of Comparaisons inter-laboratoires… · résultats de la comparaison inter-laboratoires 2 x i...
7ème Forum Laboratoires – 21 juin 2013 1 7ème Forum Laboratoires – 21 juin 2013 1
Comparaisons inter-laboratoires…
Pour qui ? Pour quoi ?
Marc E. HIMBERT
Professeur du Conservatoire national des arts et métiers
Membre de l‘Académie des technologies
Président du Comité de section « Laboratoires » du Cofrac
avec la complicité active de
Séverine DEMEYER
Ingénieur chercheur
LNE – Maths et Stats
Saint-Denis - Paris - Trappes [email protected]
7ème Forum Laboratoires – 21 juin 2013 2
« Organiser, exécuter, évaluer des essais ou mesures effectuées sur des
échantillons identiques ou semblables par au moins deux acteurs, dans
des conditions prédéterminées.
Comparaison inter- xxx (laboratoires) :
un moyen de caractérisation de la performance
d’un ou plusieurs des xxx
d’une ou des méthodes employées par les xxx
d’un objet de référence mesuré par les xxx
7ème Forum Laboratoires – 21 juin 2013 3
Une lourde infrastructure cachée de comparaisons
Comparaisons clefs, en ligne sur bipm.org
Euramet
France
7ème Forum Laboratoires – 21 juin 2013 4
… qui sous-tendent la traçabilité
mondiale et le degré d’équivalence
entre états dans le cadre du MRA.
+ EPTIS, EA, IMEP…
7ème Forum Laboratoires – 21 juin 2013 5
Quelques caractéristiques des CIL (ILC) [ISO 17043]
ou autres comparaisons inter xxx
Le pilote ; organisation en étoile, en anneau, en marguerite
Le support ; objet circulant ou distribution simultanées
d’échantillon
La (les) méthode (s) et la caractérisation de performance intra
La durée ; s’affranchir des dérives ou compenser celles-ci
L’analyse des résultats ; confidentialité, célérité, rapport
consensuel
Des compétences & une accréditation dédiée [OCIL]
Un plan de participation aux CIL exigé des accrédités -> EA-4/18…
7ème Forum Laboratoires – 21 juin 2013 6
Méthode
estimation de la justesse et de la fidélité
NF ISO 5725
Caractériser la performance :
outils documentaires
Laboratoire (ou xxx)
essai d’aptitude
Guide ISO/CEI 43 (1-2) NF ISO 13528 Déc. 2005
Matériau
attribution d’une valeur
à une caractéristique
Guide ISO 35
7ème Forum Laboratoires – 21 juin 2013 7
Une valeur de référence
pondérée
Y = whyh
h
å
Caractériser la performance :
outils statistiques
Fidélité d’une méthode :
analyse de la variance
et reproductibilité
Essais d’aptitude :
des « scores »
7ème Forum Laboratoires – 21 juin 2013 8
Fidélité
Répétabilité Reproductibilité
même laboratoire
même opérateur
même matériel
même méthode
pièces ou échantillons identiques
court intervalle de temps
intralaboratoire (W)
laboratoires différents
opérateurs différents
matériels différents
même méthode
pièces ou échantillons identiques
interlaboratoires (B)
7ème Forum Laboratoires – 21 juin 2013 9
partie 1: Principes généraux et définitions
partie 2: Fidélité (répétabilité, reproductibilité)
partie 4: Justesse
Partie 3: Fidélité intermédiaire partie 6: Utilisation des
valeurs d’exactitude
partie 5: Méthode alternative (justesse et fidélité)
Méthode de base (1994)
Méthode alternative (1998)
Structure de la série ISO 5725…
7ème Forum Laboratoires – 21 juin 2013 10
Pour chaque laboratoire h, on dispose de n répétitions :
Laboratoire 1 x11, x12, …,x1n
Laboratoire k xk1, xk2, …, xkn
Chaque laboratoire calcule son résultat et son écart-type expérimental
L’écart-type associé à l’inter-séries est obtenu en considérant la dispersion des
moyennes de chaque laboratoire par rapport à la moyenne générale.
L’écart-type associé à l’intra-séries est obtenu en prenant la moyenne des
« variances » associées à chaque laboratoire
Variabilité des résultats
L‘écart-type associé à la dispersion créée par l’influence des effets constants à
l’intérieur d’un laboratoire mais variant d’un laboratoire à l’autre est noté SL
Quantification de l’effet « laboratoires »
Srepro(R)
2 = Srépet(r )
2 + SL
2
7ème Forum Laboratoires – 21 juin 2013 11
Pondérer les
résultats des
laboratoires
xw x1 x2
Dispose-t-on d’une expertise
sur les labos participants ?
Souhaite-t-on conserver les
résultats de tous les labos ?
Tous les résultats doivent-ils
contribuer de la même
manière ?
oui
non
oui
Si u2 connu,
inversement
proportionnel à
u2
µ1
si
2
7ème Forum Laboratoires – 21 juin 2013 12
xi= m +s
i
2
valeur de consensus
Le maximum de
vraisemblance
x = wi
xi
i=1
n
å
Sw
2 =1
n-1w
ix
i- x( )
2
i=1
n
å
wiµ
1
si
2
ici 1
n
m - x
S n~ t
n-1
ˆ 100.44
ˆ 1.024
ML
MLu
15 points
Enorm pour
l’aptitude
7ème Forum Laboratoires – 21 juin 2013 13
wiµ
1
si
2
Moyenne ‘robuste’
Algorithme A (ISO 13528)
Valeurs extrêmes
ramenées à ± 1,5 éc.type
m̂ML
=100.44
u m̂ML( ) =1.024
Algorithme A ˆ 99.89
ˆ 0.88
A
Au
z-score
pour l’aptitude
zi=
xi- m̂
A
u m̂A( )
7ème Forum Laboratoires – 21 juin 2013 14
10 pts médiocres
Enorm
5 pts meilleurs
ˆ 100.44
ˆ 1.024
ML
MLu
x = wi
xi
i=1
n
å
Maximum de vraisemblance à
poids choisis… presque au
hasard
wiµ
1
si
2
xi= m +s 2z
i, z
i~ N 0,s
i
2( )
Introduire un effet aléatoire
7ème Forum Laboratoires – 21 juin 2013 15
Distribution de
la moyenne
pondérée (MC)
d’après attributs
10 pts médiocres 5 pts meilleurs
m̂ML
=100.44
Généralisable…
Répartition des poids à
partir de tirage aléatoire
(Monte Carlo) dans des
gaussiennes tronquées aux
effectifs cumulés des
attributs
0.2 1
Y=0 Y=1
0 0.3
21
21
1
1
ni
w ni i
i i
xx
xi= m +s 2z
i, z
i~ N 0,s
i
2( )
si
2
7ème Forum Laboratoires – 21 juin 2013 16 16
1
21
~1
wn
n
w
i i
xt
s1~ n
xt
s n
ˆ 100.44
ˆ 1.024
ML
MLu
ˆ 103.26
ˆ 1.22
ML
MLu
Sans attributs Avec attributs
10 pts médiocres 5 pts meilleurs
7ème Forum Laboratoires – 21 juin 2013 17
m - x
S n~ t
n-1
ˆ 100.44
ˆ 1.024
ML
MLu
xi= m +s
i
2
x = wi
xi
i=1
n
å
Sw
2 =1
n-1w
ix
i- x( )
2
i=1
n
å
valeur de consensus
Le maximum de
vraisemblance
wiµ
1
si
2
ici 1
n
15 points
7ème Forum Laboratoires – 21 juin 2013 18
m s 2 ~ N m0,s 2
k0
æ
èçç
ö
ø÷÷
s 2 ~ IGn
0
2,n
0s
0
2
2
æ
èçç
ö
ø÷÷ p. ex.
Informations a priori sur mu et sigma Estimateurs Bayésiens
22
1, ,..., ~ , nn n
n
x x N
s 2 x1,...,x
n~ IG
nn
2,n
nS
n
2
2
æ
èçç
ö
ø÷÷
0n n
Pondérer les informations a priori avec les
résultats de la comparaison inter-laboratoires
2
ixuniforme
2
~ ,x Nn
Max de vraisemblance
1~ n
xt
s n
n valeurs expérimentales
7ème Forum Laboratoires – 21 juin 2013 19 19
0n n
nombre de ‘mesures’ a posteriori
0n n
Biblio: Gelman, Carlin, Stern, Rubin, Bayesian Data Analysis, Chapman&Hall/CRC, 2003
nombre de ‘degrés de liberté’
a posteriori
Moyenne pondérée !
00
0 0
n
nx
n n
Estimateurs Bayésiens
~n
n
n n
t
sn
2 =n
0
nn
s0
2 +n-1( )n
n
S2 +
1
nn
1
k0
+1
n
x - m0( )
2
Composition des dispersions !
aprè
s a priori
expérimental
décalage
7ème Forum Laboratoires – 21 juin 2013 20 20
L’estimation
bayésienne
Les infos
préalables :
a priori
Les données : maxi
de vraisemblance
7ème Forum Laboratoires – 21 juin 2013 21 21
Bayésien
Avec attributs
10 pts médiocres 5 pts meilleurs
Sans
7ème Forum Laboratoires – 21 juin 2013 23
En guise de conclusion…
Les comparaisons inter-laboratoires ont fait leur preuve
en matière d’essais d’aptitude
pour caractériser et valider les méthodes de mesures et d’essais
pour asseoir les valeurs de référence et les degrés d’équivalence
et les méthodes, moyens et outils continuent de progresser
Vous doutez de vos mesures…
Vous voulez connaître vos performances à moindre coût…
Vous souhaitez participer au processus commun d’innovation…
Comparez-vous aux autres !