Upload
truongnhan
View
222
Download
0
Embed Size (px)
Citation preview
Relação entre Validação de Métodos e Ensaios de Proficiência
Eng. Filipe de Medeiros Albano, Dr.
Fundação da Rede Metrológica RS23 DE NOVEMBRO DE 1992
23 anos
Sede na FIERGS
281 LABORATÓRIOS ASSOCIADOS
REDE METROLÓGICA RS:
EXPERIÊNCIA EM PEP (na área de Ensaios)
Qualificações
Ensaios: Materiais e Produtos
• Corrosão em Metais;
• Móveis;
• Ensaios Mecânicos;
• Metalografia;
• Carvão;
• Saneantes;
• Combustíveis.
Ensaios: Área Ambiental (águas)
• Físico-Química geral (MA);
• Compostos Voláteis;
• Cromatografia Iônica;
• Microbiologia;
• Amostragem (água superficial e subterrânea);
• Ecotoxicologia;
• Hidrobiologia;
• Agrotóxicos
Ensaios: Agropecuária e Alimentos
• Azeite de Oliva• Bebidas (vinhos, cachaça, sucos,
espumante, cerveja, destilados)
• Vacina de F. Aftosa• Anemia Inf. Equina
• Sanidade Aviária• Resíduos Med. Vet.
• Grãos (Arroz, feijão)
• Sementes (soja, trigo)
• Carnes (patê)
PEP Customizados
• Ensaios em lonas de freios;
• Agrotóxicos em geléias;
• Micotoxinas em amendoim;
• Análise eficiência de Inseticidas;
• Ensaios em fornos, fogões e aquecedores;
PEP in company:
Fumo (Souza Cruz);
PP/PE/EVA (Braskem);
Sangue (Hemorgs);
Água e Esgoto (Corsan);
Água Superficial (ANA).
Lógica da Avaliação de Desempenho(valor de consenso)
Avaliação de Desempenho - Exatidão
PT
PTXXZ i
σ
)( −=
O Escore Z da média das três medições de cada laboratório, que avalia a exatidão do laboratório, foi obtido pela equação:
Xi é a média aritmética dos resultados obtidos pelo participante;
XPT é o valor da média robusta do conjunto de dados (valor designado como referência) ;
é o desvio robusto.PTσ
Lógica:
| Z | ≤ 2 Resultado Satisfatório
2 < | Z | < 3 Resultado Questionável| Z | ≥ 3 Resultado Insatisfatório
Avaliação de Desempenho - Precisão
O Z score interno é calculado considerando a repetitividade dos laboratórios
(variação interna das suas medições), conforme segue:
IQR
DMedianaDZI olaboratóri )(−
=
Onde:
Dlaboratório = Amplitude padronizada das vias do laboratório participante.
Mediana (D) = Mediana das amplitudes padronizadas dos laboratórios participantes
IQR = Amplitude Interquartílica normalizada das amplitudes padronizadas dos
laboratórios participantes.
Onde,IQR = [3° Quartil (D) – 1° Quartil (D)] x 0,7413
Nesta avaliação os problemas de precisão são assinalados somente
quando o z-score é positivo e maior do que 2 ou 3.
Lógica:
Z ≤ 2 Resultado Satisfatório
2 < Z < 3 Resultado QuestionávelZ ≥ 3 Resultado Insatisfatório
2
Se o z-score for negativo (mesmo sendo -2,3, por exemplo), o resultado indica que o laboratório é muito repetitivo, quando comparado com o grupo.
Ver
pre
cis
ão
Ver
exatidão
Código do Laboratório Método/Técnica 1ª via
%(v/v) 2ª via %(v/v)
Média das vias %(v/v)
Amplitude Padronizada
Z Score interno - Precisão
Z Score da Média -
Exatidão
BEB_6 Acessório hidrostático; 9,86 9,85 9,86 0,0071 -0,2569 0,8398
BEB_7 Densimetria eletrônica; 9,77 9,74 9,76 0,0212 0,2569 -0,1506
BEB_8 Acessório hidrostático; 9,75 9,79 9,77 0,0283 0,5139 -0,0021
BEB_9 Densimetria eletrônica; 9,92 9,92 9,92 0,0000 -0,5139 1,4835
BEB_10 Densimetria eletrônica; 9,77 9,77 9,77 0,0000 -0,5139 -0,0021
BEB_11 Acessório hidrostático; 9,67 9,65 9,66 0,0141 0,0000 -1,0915
BEB_12 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951
BEB_13 Densimetria eletrônica; 9,65 9,67 9,66 0,0141 0,0000 -1,0915
* BEB_14 Densimetria eletrônica; 9,62 9,74 9,68 0,0849 2,5695 -0,8934
BEB_15 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951
BEB_16 Densimetria eletrônica; 9,86 9,83 9,85 0,0212 0,2569 0,7407
** * BEB_21 Alcoômetro. 9,40 9,60 9,50 0,1414 4,6251 -2,6761
BEB_22 Acessório hidrostático; 9,75 9,75 9,75 0,0000 -0,5139 -0,2001
BEB_24 Acessório hidrostático; 9,86 9,84 9,85 0,0141 0,0000 0,7902
BEB_25 Alcoômetro. 9,68 9,63 9,66 0,0354 0,7708 -1,1410
BEB_26 Acessório hidrostático; 9,75 9,69 9,72 0,0424 1,0278 -0,4973
BEB_27 Alcoômetro. 9,92 9,83 9,88 0,0636 1,7986 1,0378
BEB_28 Acessório hidrostático; 9,74 9,73 9,74 0,0071 -0,2569 -0,3487
BEB_29 Densimetria eletrônica; 9,84 9,85 9,85 0,0071 -0,2569 0,7407
BEB_30 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951
** BEB_31 Picnometria; 10,16 *** 10,16 - - 3,8605
BEB_32 Densimetria eletrônica; 9,80 9,80 9,80 0,0000 -0,5139 0,2951
* BEB_33 Densimetria eletrônica; 9,60 9,70 9,65 0,0707 2,0556 -1,1905
* BEB_34 Alcoômetro. 9,80 9,70 9,75 0,0707 2,0556 -0,2001
* Laboratório com resultado questionável; ** Laboratório com resultado insatisfatório; *** Resultado da via não fornecido.
Grau Alc. Real a 20°C –Vinho Tinto (PEP15/R1): Alvo = 9,77% Ampl. Máxima = 0,069
Z Exatidão:
Z Precisão:
Z Exatidão:
Z Precisão:
Z Exatidão:
Z Precisão:
Z Exatidão:
Z Precisão:
Interpretando ...
PEP QUALITATIVO
• Avaliação apenas da exatidão:
– Verificação da concordância com o valor de referência (conforme x não-conforme)
• Valor de Referência por consenso (Moda do Grupo);
• Valor de um Laboratório de Referência Oficial.
• Precisão é avaliada internamente, com estudos de R&R.
Afinal, qual a ligação entre PEP e Validação?
MIND MAP
E a ISO/IEC 17025 implementada em um Lab. gera melhores resultados em PEP?
Resultados:
Cenário:
• 9 Analitos, total de 896 dados;
• 92 laboratórios;
• PEP acreditado ISO/IEC 17043
Objetivo:
• Analisar diferenças de desempenho entre labsacreditados, reconhecidos e sem SGQ com ISO/IEC 17025 implementada;
• Análise de dados SPSS: ANOVA, Dunnet, Chi-Quadrado
Resultados:
Chi-Squared test (% satisfactory, questionable and unsatisfactory results) – p value:0,022
Labs NIQS have a significant higher % of unsatisfactory and questionable results than
accredited and recognized.
Considerações Finais:
1. Confiabilidade Analítica: Precisão + Exatidão (ao longo do tempo) -pode se apoiada por controle externos de qualidade;
2. Existe relação direta entre validação e PEP;
3. A ISO/IEC 17025 tem como objetivo principal a confiabilidade. A sua implantação pode influenciar positivamente resultados de PEP e consequentemente a melhoria de desempenho do laboratório.
4. A validação deve ser acompanhada periodicamente (não adianta fazer apenas uma vez na vida e nunca mais verificar o desempenho do método) – de forma interna e externa.
Referências:
Albano F, Ten Caten C (2014) Proficiency tests for laboratories: a systematic review. Accred Qual Assur 9:245–257. DOI:10.1007/s00769-014-1061-8.
Boley N (2004) Uses and abuses of PT. Accred Qual Assur. 9(10):633–634. DOI:10.1007/s00769-004-0797-y.
Monteiro L, Graffitti D, Albano F, Porfırio D, Fernandes J, Laercio P, Cotrim M, Pires M (2013) Evaluation of a Brazilian ion chromatography interlaboratory study. Accred Qual Assur 18:207–215. DOI:10.1007/s00769-013-0987-6.
Albano, F. Raya-Rodriguez. Validação e Garantia da Qualidade de Ensaios Laboratoriais. RMRS, 2° ed. Porto Alegre, 2015.
ISO 13528 (2005) Statistical methods for use in proficiency testing by interlaboratory comparisons. International Organization for Standardization, Geneva.
ISO/IEC 17025 (2005) General requirements for the competence of testing and calibration laboratories. International Organization for Standardization, Geneva.
ISO/IEC 17043 (2010) Conformity assessment—general requirements for proficiency testing. International Organization for Standardization, Geneva.
Albano, F. Faustini, L (2015). The influence of a quality system according to ISO/IEC 17025 on the performance of Brazilian laboratories in proficiency testing in the environmental area . Accred Qual Assur. DOI 10.1007/s00769-015-1181-9
Albano, F. Caten, C (2016). Analysis of the relationships between proficiency testing, validation of methods and estimation of measurement uncertainty: a qualitative study with experts. Accred Qual Assur. DOI 10.1007/s00769-016-1194-z
Muito Obrigado!
Eng. Filipe Albano, Dr.Gerente da Qualidade da Rede Metrológica RS
Professor da Graduação e Pós-Graduação da Engenharia da PUCRS
Coordenador da Linha de Pesquisa “Avaliação da Conformidade” LESP/PUCRS
OBRIGADUU!