Calibration Laboratory Audit Preparation

December 10, 2013

Audit Preparation

• Calibration laboratories are subject to many types of j y ypaudits such as ISO 17025 accreditation, Z540.X, Nuclear 10 CFR 21, FDA, FCC, and many others 

l b l b d• Many calibration laboratories provide services to multiple industries that are regulated by many of these regulatory bodiesthese regulatory bodies 

• Agenda– Common factors relating to calibration labs that will keep this in perspective and manageable

– Some basic concepts of preparing for an audit – Do’s and Do Not’s during the process of being audited– Do s and Do Not s during the process of being audited

What are you being audited to?

Calibration of Measurement and Test Equipment (M&TE) is a f d b d h h h ldfunction required by most industries throughout the world. Many of these industries have specific requirements for the calibration of their respective M&TE and the processes by which the M&TE is calibratedthe M&TE is calibrated. 

Although many industries have some unique requirements most req irements are genericrequirements are generic.

The International Standards Organization (ISO) developed ISO/IEC 17025 G l R i f h C fISO/IEC 17025 ‐ General Requirements for the Competence of Testing and Calibration Laboratories. 

Audit Preparation

• ISO/IEC 17025 General Requirements for theISO/IEC 17025 General Requirements for the Competence of Testing and Calibration Laboratories– Management Requirements (Section 4)

• Contains all elements of ISO 9001• 25 Elements

– Technical Requirements (Section 5)• 28 Elements

Quality System

• Quality ManualQuality Manual– Standard Operating Procedures (SOP’s)– Must Adequately Address all Elements of 17025Must Adequately Address all Elements of 17025– Must Adequately Address Other Critical Elements  

Quality System

• Which Elements are important?Which Elements are important?– All need to be addressed– Management RequirementsManagement Requirements

• Most customer audits will focus on these– Industry Specificy p– Technical Requirements

• Metrologist

Technical Requirements

The overall goal is to insure that calibrationsThe overall goal is to insure that calibrations performed are correct and reliable. 

Technical Requirements

• Primary Elements to Produce a QualityPrimary Elements to Produce a Quality Calibration– Human Factors– Human Factors– Accommodation and Environmental Conditions– Methods– Methods – EquipmentMeasurement Traceability– Measurement Traceability 

– Sampling Handling of M&TE– Handling of M&TE

Technical Requirements 

• Primary Elements to Produce a QualityPrimary Elements to Produce a Quality Calibration (con’t)– Assuring the quality of test and calibration results– Assuring the quality of test and calibration results– Reporting the results

Technical Requirements

• Human Factors/PersonnelHuman Factors/Personnel– Competent

• Job DescriptionsJob Descriptions• Training

– Formal– OJT– Objective EvidenceQualification Matrix– Qualification Matrix

Technical Requirements

• Human Factors/PersonnelHuman Factors/Personnel– Competent

• Proficiency Testsy– External – ISO 17043:2010

» National Association for Proficiency  Testing fi iwww.proficiency.org

» AB  Developed» National Measurement Institutes (NIST)

– Internal» Correlation studies

Technical Requirements

• Human Factors/PersonnelHuman Factors/Personnel– Undue External Pressures

• Conflicts of InterestsConflicts of Interests – Undue Internal Pressures

Technical Requirements

• Accommodation and Environmental ControlsAccommodation and Environmental Controls (Adequate to the level of claimed uncertainties)– Temperature/RHp– Lighting– Vibration– Segregation

• Incompatible activities

Technical Requirements

• Methods– Need to meet the requirements of the customer and must be adequate for the calibrations performed

– Standard MethodsL b D l d M h d– Laboratory Developed Methods• Must be Validated

– Non‐standard Methods– Non‐standard Methods• Must be validated• Generally to meet specific customer requirements

Technical Requirements

• Equipment– Adequate for use– Verified upon receipt– Only operated by qualified personnel– Adequate instructions for use– Adequate instructions for use– Must remain in control of lab– Identify long term stability (Calibration interval)

• Labeled to identify calibration statusy• Interim checks

– Unique identification– Segregated and identified when out of control

f f b f h l f b k– Performance verified before the unit leaves and after unit is received back into the lab

– Documentation is essential 

Technical Requirements

• Measurement Traceability• Measurement Traceability• Metrological Traceability is the property of a 

measurement result whereby it can be related to statedmeasurement result whereby it can be related to stated references, usually national or international standards, through an unbroken chain of comparisons, each step in th h i h i t t d t i ti Th fthe chain having stated uncertainties.  The purpose of requiring traceability is to ensure that measurements are accurate representations of the specific quantity subject to measurement, within the uncertainty of the measurement.  Traceability is characterized by six essential elements.essential elements.

Technical Requirements

• Measurement Traceability – An unbroken chain of comparison: Traceability begins with an unbroken chain of 

comparisons originating at national, international or intrinsic standards of measurement and ending with the working reference standards of a given metrology laboratory;

– Measurement uncertainty:  The measurement uncertainty for each step in the bili h i b l l d di d fi d h d d b dtraceability chain must be calculated according to defined methods and must be stated 

at each step of the chain so that an overall uncertainty for the whole chain can be calculated;

– Documentation:  Each step in the chain must be performed according to documented and generally acknowledged procedures and the results must be documented i e in aand generally acknowledged procedures and the results must be documented, i.e., in a calibration or test report;

– Competence:  The laboratories or bodies performing one or more steps in the chain must supply evidence of technical competence, e.g., by demonstrating that they are accredited by a recognized accreditation body;accredited by a recognized accreditation body;

– Reference to SI units:  Where possible, the primary national, international or intrinsic standards must be primary standards for realization of the SI units;   

– Recalibrations:  Calibrations must be repeated at appropriate intervals in such a manner that traceability of the standard is preserved.that traceability of the standard is preserved.

Technical Requirements

Measurement Traceabilityeasu e e t aceab ty

Technical Requirements

• Methods– Need to meet the requirements of the customer and must be adequate for the calibrations performed

– Standard MethodsL b D l d M h d– Laboratory Developed Methods• Must be Validated

– Non‐standard Methods– Non‐standard Methods• Must be validated• Generally to meet specific customer requirements

Technical Requirements

SamplingSampling 

N t di d i thi t tiNot discussed in this presentation

Technical Requirements

• Handling of M&TEHandling of M&TE– ShippingR i i– Receiving

– Storage– Safeguards against damage 

Technical Requirements

• Assuring the quality of test and calibration resultsAssuring the quality of test and calibration results– Quality review of completed product

• Logging the results to catch trendsogging the results to catch trends

Technical Requirements

• Reporting the results• Reporting the results– There are multiple elements/requirements for what needs to be presented on certificates and data sets ofneeds to be presented on certificates and data sets of the calibrated M&TE. ISO 17025 is a good standard to develop this. 

Scope of Capabilities

• Also know as the Scope of Accreditation identifies your p ycapabilities by discipline and sub‐discipline and how capable you are (Uncertainties) in these each respective quantityTh i d i t ll h t f h t• The scope is used internally as a snapshot of what your capabilities are and is a useful marketing document so customers know what your capabilities

• The quantities and associated uncertainties are also called Calibration and Measurement Capabilities (CMC’s) Th ll id d B M• These are generally considered your Best  Measurement Capabilities

Scope of Capabilities

• Developing your scope will take practice SomeDeveloping your scope will take practice. Some things to consider are:– What is my targetWhat is my target– What are the capabilities of my standards– Where do my capabilities need to be– Where do my capabilities need to be– Are my capabilities in line with othersGood source documents to develop scopes are– Good source documents to develop scopes are ILAC P14 and the “Guide to the Expression of Uncertainty of Measurement”Uncertainty of Measurement

Scope of Capabilities

Uncertainty Analysis

• Guidance DocumentGuidance Document – “Guide to the Expression of Uncertainty of Measurement” (GUM)Measurement  (GUM)

• Recommend training by a respected body or personperson

• This will take a lot of practice

Uncertainty Analysis

Internal Audits

• After initial development of Quality Systemp Q y y• On a recurring basis 

– Generally on an annual schedule• Performed by a designated quality representative 

– ImpartialSh ld h i i d d f– Should have reporting structure independent from Operations

• Internal audits should be the most stringent of all gexternal audits

• Should audit all elements of the Quality System 

External Audits

• CustomerCustomer• Accreditation 

d S ifi• Industry Specific

External Audits

Regardless of what body is performing the auditRegardless of what body is performing the audit, there is a common goal.

Do’s during an Audit

• Appearance – Initial Tour of the LabAppearance  Initial Tour of the Lab– FacilitiesE i t– Equipment

– Personnel• Identify Common Areas

Do’s during an Audit

• Give the auditor your undivided attentionGive the auditor your undivided attention• Give the auditor mutual respect

f fi di• Acceptance of findings• Presenting a challenge to a finding

Do’s during an Audit

• Give the auditor your undivided attentionGive the auditor your undivided attention– FacilitiesE i t– Equipment

– Personnel

Audit Preparation

Scope of Capabilities• Internal Audits• External Audits• Do’s and Do Not’s

l lk h h• Initial walk through• Etiquette• Personnel appearance

M l• Mutual respect• Acceptance of findings• Challenges (Professional)

Fi di• Findings• Types• Addressing• Using to your advantage• Using to your advantage

Calibration Laboratory Audit yPreparation Webinar

Questions?Contact us at:

www.transcat.com800.828.1470