microsoft powerpoint - validação 2012 [modo de compatibilidade]

65
1 Paula Fernandes de Aguiar Departamento de Química Analítica Instituto de Química – UFRJ (: +55(21)2562-7877 Fax: +55(21)2562-7864 .: [email protected] OBJETIVOS OBJETIVOS DO CURSO DO CURSO DISCUTIR OS REQUISITOS EXIGIDOS POR ÓRGÃOS REGULAMENTADORES, ETC SUGERIR COMO A CONFIABILIDADE DOS RESULTADOS PODE SER APRESENTADA COM A AJUDA DOS PARÂMETROS ESTATÍSTICOS CAPACITAR OS PARTICIPANTES DO CURSO NO PREPARO DE PROTOCOLOS DE VALIDAÇÃO

Upload: zenaida-enciso

Post on 02-Jan-2016

31 views

Category:

Documents


1 download

TRANSCRIPT

1

Paula Fernandes de Aguiar

Departamento de Química Analítica

Instituto de Química – UFRJ

(: +55(21)2562-7877 Fax: +55(21)2562-7864

.: [email protected]

OBJETIVOSOBJETIVOS DO CURSODO CURSO

DISCUTIR OS REQUISITOS EXIGIDOS PORÓRGÃOS REGULAMENTADORES, ETC

SUGERIR COMO A CONFIABILIDADE DOSRESULTADOS PODE SER APRESENTADA COMA AJUDA DOS PARÂMETROS ESTATÍSTICOS

CAPACITAR OS PARTICIPANTES DO CURSO NOPREPARO DE PROTOCOLOS DE VALIDAÇÃO

2

O QUE É

É O CUMPRIMENTO DOS REQUISITOS

ABNT NBR ISO/IEC 17025 : 2005

VALIDAÇÃO DE MÉTODO (5.4.5.1)

“VALIDAÇÃO É A CONFIRMAÇÃO POREXAME E FORNECIMENTO DE EVIDÊNCIAOBJETIVA DE QUE OS REQUISITOSESPECÍFICOS PARA UM DETERMINADO USOPRETENDIDO SÃO ATENDIDOS”

VALIDAÇÃO DE MÉTODO (5.4.5.2)

NOTA 2

“CONVÉM QUE A TÉCNICA USADA PARA A DETERMINAÇÃO DO DESEMPENHO DE UM MÉTODO SEJA

UMA DAS SEGUINTES OU UMA COMBINAÇÃO DESTAS:”

1. CALIBRAÇÃO COM USO DE PADRÕES DE REFERÊNCIA OU MATERIAL DE REFERÊNCIA

2. COMPARAÇÕES COM RESULTADOS OBTIDOS POR OUTROS MÉTODOS

3. COMPARAÇÕES INTERLABORATORIAIS

4. AVALIAÇÃO SISTEMÁTICA DOS FATORES QUE INFLUENCIAM O RESULTADO

5. AVALIAÇÃO DA INCERTEZA DO RESULTADO COM BASE NO CONHECIMENTO CIENTÍFICO DOS PRINCÍPIOS TEÓRICOS DO MÉTODO E NA EXPERIÊNCIA PRÁTICA

ABNT NBR ISO/IEC 17025 : 2005

3

PORQUE ELA É NECESSÁRIA

PARA DAR CONFIABILIDADE

AOS RESULTADOS

QUAIS OS REQUISITOS EXIGIDOS

OS PRECONIZADOS PORDOCUMENTOS PROVENIENTES DEÓRGÃOS REGULAMENTADORES, ETC

4

TIPOS DE DOCUMENTOS E NORMAS

GERAIS

ESPECÍFICOS

PODEM, EM PRINCÍPIO, SER UTILIZADOS PARA QUALQUER MÉTODO OU TÉCNICA ANALÍTICA

SÃO UTILIZADOS PARA ATENDER A UMA DETERMINADA EXIGÊNCIA OU A UM ORGANISMO CERTIFICADOR, ACREDITADOR OU HABILITADOR

DOCUMENTOS/NORMAS GERAIS USADOS COMO BASE PARA A APRESENTAÇÃO

VALIDATION OF ANALYTICAL PROCEDURES: TEXT AND METHODOLOGY - Q2(R1)

1. ICH: 2005

3. INMETRO: 2008ORIENTAÇÃO SOBRE VALIDAÇÃO DE MÉTODOS ANALÍTICOS – DOQ-GCRE-008

4. VIM: 2008VOCABULÁRIO INTERNACIONAL DE METROLOGIA

2. IUPAC: 2002

HARMONISED GUIDELINES FOR SINGLE-LABORATORY VALIDATION OF METHODS OF ANALYSIS

5

6. EURACHEM: 1998

THE FITNESS FOR PURPOSE OF ANALYTICAL METHODS. A LABORATORY GUIDE TO METHOD VALIDATION AND RELATED TOPICS

5. ISO/IEC 17025: 2005REQUISITOS GERAIS DE COMPETÊNCIA DE LABORATÓRIOS DE ENSAIOS E CALIBRAÇÃO

DOCUMENTOS/NORMAS GERAIS USADOS COMO BASE PARA A APRESENTAÇÃO

7. ANVISA: 2005

GUIA PARA A QUALIDADE EM QUÍMICA ANALÍTICA. UMA ASSISTÊNCIA À HABILITAÇÃO. SÉRIES TEMÁTICAS 1 -LABORATÓRIO

1. RESOLUÇÃO 899 DA ANVISA (AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA): 2003

2. GUIA PARA VALIDAÇÃO DO MAPA (MINISTÉRIO DA AGRICULTURA, PECUÁRIA E ABASTECIMENTO): 2008

GUIA PARA VALIDAÇÃO DE MÉTODOS DE ANALÍTICOS E CONTROLE DE QUALIDADE INTERNA DAS ANÁLISES DE MONITORAMENTO DO PLANO NACIONAL DE RESÍDUOS E CONTAMINANTES – PNCRC ANIMAL

DOCUMENTOS/NORMAS ESPECÍFICOS USADOS COMO BASE PARA A

APRESENTAÇÃO

GUIA PARA VALIDAÇÃO DE MÉTODOS ANALÍTICOS

6

4. U.S. PHARMACOPOEIA CONV. (USP) – VOL. 31: 2008

3. DIRETIVA 657 - 96/23/CE: 2002

DESEMPENHO DE MÉTODOS ANALÍTICOS E INTERPRETAÇÃO DE RESULTADOS

CAPÍTULO 1225 - VALIDAÇÃO

DOCUMENTOS/NORMAS ESPECÍFICOS USADOS COMO BASE PARA A

APRESENTAÇÃO

DE QUE PARÂMETROS PRECISO ?

DE PARÂMETROS ESTATÍSTICOS

MÉDIA, DESVIO PADRÃO, VARIÂNCIA, ETC

DE TESTES ESTATÍSTICOS

COCHRAN, HIPÓTESE, ETC

DE MÉTODOS MATEMÁTICOS

REGRESSÃO LINEAR, ETC

DE GRÁFICOSDISPERSÃO, RESÍDUOS, ETC

7

VALIDAÇÃO DO MÉTODO x

VALIDAÇÃO DA MEDIÇÃO

VALIDAÇÃO É A GARANTIA EXPERIMENTALDOCUMENTADA DE QUE O MÉTODO ÉADEQUADO À FINALIDADE A QUE SE DESTINA

IUPAC DIZ QUE A VALIDAÇÃO DEVE SE REFERIRAO SISTEMA ANALÍTICO (QUE COMPREENDE AMETODOLOGIA ANALÍTICA, A FAIXA DETRABALHO PARA O ANALITO DE INTERESSE, AMATRIZ) E NÃO À VALIDAÇÃO DO MÉTODO

IUPAC : 2002

EM 2003 AAPS, FIP E ISPE CHEGARAM A UM CONCENSO EM RELAÇÃO AO USO DA PALAVRA VALIDAÇÃO

AAPS = American Association of Pharmaceutical Chemists

FIP = International Pharmaceutical Federation

ISPE = International Society for Pharmaceutical Engeneering

ELA SERIA RESERVADA APENAS PARA PROCESSOS QUE INCLUÍSSEM MÉTODOS ANALÍTICOS E PROCEDIMENTOS, ALÉM DE DESENVOLVIMENTO DE PROGRAMAS COMPUTACIONAIS, ENQUANTO QUE INSTRUMENTOS SERIAM QUALIFICADOS(Swartz).

8

QUANDO VALIDAR O MÉTODO

v NOVO MÉTODO DESENVOLVIDO

v ALTERAÇÕES NO MÉTODO NORMALIZADO

v MÉTODO NÃO NORMALIZADO

v MÉTODO NORMALIZADO USADO FORA DO ESCOPO PARA O QUAL FOI DESENVOLVIDO

PROCESSO

DE VALIDAÇÃO

INSTRUMENTOS DENTRO DAS ESPECIFICAÇÕES

INSTRUMENTOS CALIBRADOS

INSTRUMENTOS FUNCIONANDO ADEQUADAMENTE

ANALISTA COMPETENTE

ANALISTA TREINADO

ANALISTA COM CONHECIMENTO SOBRE A PARTE QUÍMICA, FÍSICO-

QUÍMICA, ETC.

ANALISTA COM NOÇÕES SOBRE

QUALIDADE / ISO

9

DESENVOLVIMENTO DE MÉTODO

OTIMIZAÇÃO

VALIDAÇÃO

APLICAÇÃO

PLANEJAMENTOS DE EXPERIÊNCIA

REVALIDAÇÃO

CONTROLE QUALIDADE

Preparando um protocolo de validação

COMO VALIDAR O MÉTODO

10

O QUE É UM PROTOCOLO DE VALIDAÇÃO

É um conjunto organizado de ordens a partir das quais será possível observar o atendimento aos critérios de validação

QUAL A FORMA DE UM PROTOCOLO ?

Não há nenhum formato oficial ou obrigatório

O protocolo deve ser o retrato do laboratório

11

Existem formatos mais confusos

Existem formatos simples e fáceis de

acompanhar

12

EXEMPLO

TÍTULO

ESCOPO/ABRANGÊNCIA

NORMAS E DOCUMENTOS

DEFINIÇÕES

CRITÉRIOS DE DESEMPENHO

REFERÊNCIAS

ANEXOS

É GERAL; DÁ UMA IDÉIA MAIS AMPLA DA APLICABILIDADE DO PROTOCOLO

É MAIS ESPECÍFICO; DÁ MAIS INFORMAÇÕES QUE O TÍTULO

13

APRESENTA TODAS AS EXPRESSÕES QUE PODEM GERAR DÚVIDA

APRESENTA OS DOCUMENTOS QUE DEVERIAM ESTAR DISPONÍVEIS

PARA CONSULTA IMEDIATA

DEFINIÇÃO

PROCEDIMENTO

APRESENTAR

CRITÉRIO DE ACEITAÇÃO

14

SÃO AQUELAS QUE SERIAM INTERESSANTES CONHECER O CONTEÚDO

MAS QUE NÃO SÃO IMPORTANTES PARA EXECUÇÃO DO PROTOCOLO

SÃO USADOS NO CASO DE SE DESEJAR PREPARAR, POR EXEMPLO, TODO O

TRATAMENTO ESTATÍSTICOS A PARTE

1. Definir o escopo do método

2. Definir os parâmetro de validação

3. Identificar o tipo de método

4. Planejamento de experiências

FASES

VALIDAÇÃO processo contínuo !!!!!

15

5. Execução das experiências

6. Avaliação dos resultados

7. Documentação

8. Aplicação da informação adquirida

FASES

PLANEJAMENTO DE EXPERIÊNCIAS

REDUZIRÁ AO MÍNIMO O NÚMERODE EXPERIMENTOS NECESSÁRIOS

NÍVEL DE QUALIDADE DESEJADO

GRAU DE VALIDAÇÃO NECESSÁRIO

16

DOCUMENTAÇÃO

MÉTODO ANALÍTICO

RESULTADOS

PROTOCOLO DE VALIDAÇÃO

TRATAMENTO DE DADOS

CRITÉRIOS DE CRITÉRIOS DE DESEMPENHODESEMPENHO

Os critérios de desempenho variamde acordo com o tipo de método

TIPOS DE MÉTODOS

8

8

8

QUALITATIVOS

SEMI QUANTITATIVOS

QUANTITATIVOS

17

MÉTODOS QUALITATIVOS

MÉTODOS PARA OS QUAIS SE DESEJA RESPONDER PERGUNTAS DO TIPO

TEM OU NÃO TEM ?

ESTÁ OU NÃO ESTÁ ?

EXEMPLO: HÁ METABÓLITOS DE COCAÍNA NA URINA ANALISADA ?

MÉTODOS SEMI QUANTITATIVOS

MÉTODOS PARA OS QUAIS SE DESEJA RESPONDER PERGUNTAS DO TIPO

TEM MAIS DO QUE O VALOR LIMITE ?

ESTÁ ACIMA DO VALOR ACEITÁVEL ?

EXEMPLO: A QUANTIDADE DE ÁLCOOL NO SANGUE É MAIOR DO QUE O PERMITIDO

POR LEI ?

18

MÉTODOS QUANTITATIVOS

MÉTODOS PARA OS QUAIS SE DESEJA RESPONDER A SEGUINTE PERGUNTA

QUANTO TEM ?

EXEMPLO: QUAL A CONCENTRAÇÃO PIGMENTO NESTA TINTA ?

PLANEJAMENTO DE EXPERIÊNCIAS

TIPO DO MÉTODO NÍVEL VALIDAÇÃO CRITÉRIOS DE DESEMPENHO

QUALITATIVOS MUITO PEQUENO

SELETIVIDADE

ESPECIFICIDADE

LIMITE DETECÇÃO

SEMI QUANTITATIVOS

MÉDIO

ANTERIORES

LIMITE QUANTIFICAÇÃO

PRECISÃO

EXATIDÃO

QUANTITATIVOS GRANDE

ANTERIORES

LINEARIDADE

PREC. INTERMEDIÁRIA

REPRODUTIBILIDADE

19

NO ENTANTO, CADA CRITÉRIO DE DESEMPENHO TEM COMO OBJETIVO DEMONSTRAR A CAPACIDADE / ADEQUAÇÃO DE UM DETERMINADO MÉTODO EM ATENDER EM UMA EXIGÊNCIA ESPECÍFICA

EXECUÇÃO DOS CRITÉRIOS DE DESEMPENHO

NENHUMA NORMA/DOCUMENTO/GUIA / DIRETRIZ SE REFERE A UMA ORDEM DE EXECUÇÃO OU, PELO MENOS, DE APRESENTAÇÃO DESTES CRITÉRIOS

PORÉM, AS EXIGÊNCIAS DOS DOCUMENTOS

MUDAM LIGEIRAMENTE ...

20

TABELA COMPARATIVA DOS CRITÉRIOS SOLICITADOS PELOS DOCUMENTOS E

NORMASDOCUMENTOS

E NORMAS

CRITÉRIOS DE DESEMPENHO

S/E LIN SENSF.

TRABLD LQ CCa CCb EXAT RECUP REP P. INT REPR ROB

ICH X X X X X X X X X X

USP X X X X X X X X X X X

ANVISA X X X X X X X ** X X

INMETRO X X X X X X X X X X

MAPA X X X X X X X X

657 X X X X X X X X X

IUPAC X X X X X X X X X

EURACHEM X X X X X X X X X X X X

** = SE HOUVER REPRODUTIBILIDADE A PREC. INTERM. NÃO É NECESSÁRIA

EXECUÇÃO DAS EXPERIÊNCIAS E AVALIAÇÃO DOS RESULTADOS

1. ESPECIFICIDADE / SELETIVIDADE

2. PRECISÃO INSTRUMENTO

3. LINEARIDADE

4. FAIXA DE TRABALHO

5. SENSIBILIDADE

6. LIMITE DE DETECÇÃO

1. EXATIDÃO

2. LIMITE DE QUANTIFICAÇÃO

EQUIPAMENTO

AMOSTRA

1. COMPARAÇÃO INTERLABORATORIAL

2. PRECISÃO DO MÉTODOFINAIS

21

CRITÉRIOS DE DESEMPENHO

SELETIVIDADE/ESPECIFICIDADE

SENSIBILIDADE

PRECISÃO=REPETIBILIDADE

=PRECISÃO INTERMEDIÁRIA

=REPRODUTIBILIDADE

EXATIDÃO

LINEARIDADE

FAIXA DE TRABALHO

LIMITE DE DETECÇÃO (LD)

ROBUSTEZ

LIMITE DE QUANTIFICAÇÃO (LQ)

22

SELETIVIDADE / ESPECIFICIDADE

CAPACIDADE DO MÉTODO EM

DETERMINAR COM EXATIDÃO O

ANALITO DE INTERESSE NA PRESENÇA

DE COMPONENTES PASSÍVEIS DE

ESTAREM PRESENTES NA AMOSTRA,

COMO IMPUREZAS, PRODUTOS DE

DEGRADAÇÃO, EFEITOS DE MATRIZ,

ETC.

“Estamos verdadeiramente determinando o que pensamos estar determinando ?”

A medida pode serperturbada por reagentes,efeitos de matriz, analitosque afetam a sensibilidadedo detetor, etc.

23

Acompanhamento cuidadoso do conhecimento disponível

Determinarpossíveis fontesde interferênciae testá-las

DISPONIBILIDADE

* ANALITO

* MATRIZ (COM E SEM ANALITO)

* PRODUTOS SECUNDÁRIOS

* PRODUTOS DE DEGRADAÇÃO

* BRANCOS DE REAGENTES

FAZER A ANÁLISE COM A AMOSTRA E MATERIAIS DE REFERÊNCIA PELO MÉTODO EM ESTUDO E OUTROS

MÉTODOS VALIDADOS

ANALISAR AMOSTRAS CONTENDO VÁRIOS INTERFERENTES SUSPEITOS

NA PRESENÇA DO ANALITO DE INTERESSE

SELETIVIDADE

24

MATRIZ SEM ANALITO OU PADRÕES

DE REFRÊNCIA ESTIVEREM DISPONÍVEIS

APLICARTESTE F

TESTE t

ANÁLISE DOS DESVIOS DOS

VALORES DE REFERÊNCIA

HIPÓTESE: A MATRIZ NÃO AFETA O SINAL DO ANALITO NAFAIXA DE CONCENTRAÇÃO ESTUDADA, OU NA CONCENTRAÇÃODE INTERESSE

ANALITO + MATRIZ ANALITO

EM AMBOS OS GRUPOS AS AMOSTRAS DEVEM CONTER A MESMA CONCENTRAÇÃO DE ANALITO

n ³ 6

25

TESTE F

*matriz não tem efeito significativo na precisão do método

* o desvio padrão agrupado pode ser calculado

* aplica-se o teste t para comparar as médias dos grupos

* as variâncias não podem ser consideradas iguais

* intervalo de concentração pequenoaplica-se teste t pareado para

comparar as médias

tcalc > ttab a matriz tem efeito significativo no resultado da análise

tcalc < ttab a matriz não afeta a análise

* intervalo de concentração grande o teste t não se aplica . Observa-se o efeito de matriz analisando-se os desvios entre os valores medidos e os de referência

F NÃO SIGNIFICATIVO

F SIGNIFICATIVO

GRÁFICOS DAS DIFERENÇAS

X CONCENTRAÇÕESa b

c d

26

MATRIZ SEM ANALITO NÃO DISPONÍVEL

EM AMBOS OS GRUPOS AS AMOSTRAS DEVEM CONTER A MESMA CONCENTRAÇÃO DE ANALITO

MATRIZ COM ANALITO ANALITO

ETAPAS

1. LANÇAR OS RESULTADOS

EM GRÁFICO

2. COMPARAR AS

INCLINAÇÕES DAS RETAS

ANÁLISE

SE AS INCLINAÇÕES FOREMIGUAIS, O ÚNICO EFEITO DEMATRIZ PRESENTE É AINTERFERÊNCIA CAUSADAPELO NÍVEL BÁSICO DOANALITO

SIGNIFICÂNCIA QUÍMICA

QUAL O ERRO MÁXIMO NAS ANÁLISES

CAUSADO PELA MATRIZ ?

É ELE REALMENTE SIGNIFICATIVO NAPRÁTICA ?

27

VALORES ABERRANTES

O QUE SÃO

VALORES QUE NÃO PERTENCEM À POPULAÇÃO ESTUDADA

COMO DETERMINÁ-LOS

TESTE DE GRUBBS (PARA 1 OU PARA 2 VALORES)

OBS: Valores aberrantes não sãonecessariamente valores errados

OBS: Deve-se evitar o uso do teste de Dixon.

A VERIFICAÇÃO DA EXISTÊNCIA DE VALORES ABERRANTES DEVE SER FEITA AO LONGO DE TODO O PROCESSO DE VALIDAÇÃO !

LINEARIDADE

CAPACIDADE DE UMA METODOLOGIA ANALÍTICA EM DEMONSTRAR QUE OS RESULTADOS OBTIDOS SÃO DIRETAMENTE PROPORCIONAIS À CONCENTRAÇÃO DO ANALITO NA AMOSTRA, DENTRO DE UM INTERVALO ESPECIFICADO

28

LINEARIDADEQUANTIFICAÇÃO

Y = a + bx

Y = f(x)

y

xY = resposta medida (absorbância, altura do pico, vol. De reagentenecessário à neutralização, área, etc)

X = variável independente (concentração)

Coeficiente linear

Coeficiente angular (sensibilidade)

resíduo

LINEARIDADE

UMA RELAÇÃO LINEAR DEVE SER AVALIADA AO LONGO DA FAIXA DE TRABALHO E DEMONSTRADA ATRAVÉS DE DILUIÇÕES DE UMA SOLUÇÃO MÃE PREPARADA COM O ANALITO DE INTERESSE OU DE SOLUÇÕES DESTE ANALITO EM DIFERENTES CONCENTRAÇÕES. É RECOMENDADO O USO DE, NO MÍNIMO, 5 NÍVEIS DE CONCENTRAÇÃO

29

PREPARO DAS SOLUÇÕES

OU

N ³ 5

CONSTRUÇÃO DA CURVA

A CURVA É CONSTRUÍDA ATRAVÉS DE REGRESSÃO LINEAR,SEM FORÇAR SUA PASSAGEM PELA ORIGEM, USANDO-SE OMÉTODO DOS MÍNIMOS QUADRADOS

MATRIZ ISENTA DE ANALITO

O COEFICIENTE DE CORRELAÇÃO (r) É, EM GERAL, USADOCOMO MEDIDA DA LINEARIDADE DA CURVA DE CALIBRAÇÃO

Para HPLC

Ensaios biológicos

Ensaios farmacológicos

r ³ 0,995

r ³ 0,997

Ensaios em geral r ³ 0,9999

ICH, USP

OBS: Nem sempre se pode assumir que a matriz esteja isenta doanalito. No entanto, é permitido assumir que esta influênciaseja constante. Neste caso, a curva de calibração poderá serconstruída usando a adição de padrões de diferentesconcentrações à matriz.

30

GRÁFICO DE RESÍDUOSUSADOS PARA VERIFICAR A ADEQUAÇÃO DA CURVA

DE CALIBRAÇÃO

Se o gráfico de resíduos não apresentar nenhumatendência e os erros aleatórios forem pequenos, acalibração pode ser feita (casos D, E e F)

IDEAL -HOMOCEDÁSTICO

TENDÊNCIA -ESTRUTURA

TENDÊNCIA -ESTRUTURA

HETEROCEDÁSTICO HETEROCEDÁSTICO HETEROCEDÁSTICO

A B C

FED

HETEROCEDASTICIDADE

REGRESSÃO LINEAR PONDERADA

(y)1/2 = a + b (x) 1/2

y = a + b(x) 1/2

(y) 1/2 = a + bx

ln (y) = a + b (ln(x))

ln (y) = a + bx

y = a + b (ln(x))

31

LINEARIDADE

HOMOCEDASTICIDADE

PARÂMETROS DA RETA

COEFICIENTE DE CORRELAÇÃO

ADEQUAÇÃO DA CURVA DE CALIBRAÇÃO

VERIFICADA ATRAVÉS DO TESTE DE COCHRAN

DETERMINADOS ATRAVÉS DA REGRESSÃO LINEAR

DETERMINADA ATRAVÉS DO GRÁFICO DE RESÍDUOS

MUDANÇA RESPOSTA

MUDANÇA CONCENTRAÇÃO

S = dx / dc

MUDANÇA DA RESPOSTA

MUDANÇA DA CONCENTRAÇÃO

SENSIBILIDADE

32

DEPENDE

NATUREZA DO ANALITO

TÉCNICA USADA NA DETERMINAÇÃO

EXPRESSA COEFICIENTE ANGULAR CURVA DE CALIBRAÇÃO

ATRAVÉS REGRESSÃO LINEAR OU EXPERIMENTALMENTE

FAIXA DE TRABALHO/INTERVALO

FAIXA DE CONCENTRAÇÃO NA QUAL O ANALITO EM QUESTÃO PODE SER DETERMINADO COM PRECISÃO E TENDÊNCIA ACEITÁVEIS

33

É NORMALMENTE DEFINIDA ATRAVÉS DO ESTUDO DA

LINEARIDADE E DEPENDE DA APLICAÇÃO DO MÉTODO

FAIXA DE TRABALHO

É ESTABELECIDA PELA CONFIRMAÇÃO DE QUE O PROCEDIMENTO ANALÍTICO LEVA A RESULTADOS COM LINEARIDADE, EXATIDÃO E PRECISÃO ACEITÁVEIS AO LONGO DA FAIXA SELECIONADA

É A MENOR QUANTIDADE DE ANALITO PRESENTE NAAMOSTRA, QUE PODE SER DETECTADA MAS NÃONECESSARIAMENTE QUANTIFICADA, INDEPENDEN-TEMENTE DO RUÍDO

FORMAS DE DETERMINAÇÃO

AVALIAÇÃO VISUAL

RELAÇÃO SINAL/RUÍDO

DESVIO PADRÃO E INCLINAÇÃO DA RETA

AVALIAÇÃO BRANCO

LIMITE DE DETECÇÃO

34

AVALIAÇÃO DO BRANCO

s = desvio padrão dos valores do branco

LD = + t(a,n) sbrancox

= média dos valores do brancox

AVALIAÇÃO VISUAL

ANÁLISE DE VÁRIAS AMOSTRAS COM DIFERENTES CONCENTRAÇÕES DO

ANALITO

35

RELAÇÃO SINAL/RUÍDO

SINAL DAS AMOSTRAS COM BAIXA CONCENTRAÇÃO DO ANALITO

X SINAL DO BRANCO

PROCEDIMENTOS ANALÍTICOS QUE APRESENTEM LINHA DE BASE

ESTABELECER A MENOR CONCENTRAÇÃO NA QUAL O ANALITOPODE SER DETERMINADO

RELAÇÕES ACEITÁVEIS3:1

2:1

DESVIO PADRÃO E INCLINAÇÃO DA RETA

LD = 3,3 s / b

b = INCLINAÇÃO DA RETAESTIMADA ATRAVÉS

DA CURVA DE CALIBRAÇÃO

s = DESVIO PADRÃO

DO SINAL DO BRANCO NA CURVA DE CALIBRAÇÃO

36

APRESENTAR

O LIMITE DE DETECÇÃO

OS RESULTADOS MAIS RELEVANTES

VALIDAÇÃO INDEPENDENTE COMAMOSTRAS DE CONCENTRAÇÃO NO LDOU PRÓXIMA

Independente do método usado

É A MENOR QUANTIDADE DE ANALITO PRESENTE NAAMOSTRA, QUE PODE SER DETERMINADO COMEXATIDÃO E PRECISÃO ACEITÁVEIS

FORMAS DE DETERMINAÇÃO

RELAÇÃO SINAL/RUÍDO

DESVIO PADRÃO E INCLINAÇÃO DA RETA

AVALIAÇÃO VISUAL

A PARTIR DO LD

LIMITE DE QUANTIFICAÇÃO

37

AVALIAÇÃO VISUAL

ANÁLISE DE VÁRIAS AMOSTRAS COM DIFERENTES CONCENTRAÇÕES DO

ANALITO

SINAL DAS AMOSTRAS COM BAIXA CONCENTRAÇÃO DO ANALITO

X SINAL DO BRANCO

PROCEDIMENTOS ANALÍTICOS QUE APRESENTEM LINHA DE BASE

ESTABELECER A MENOR CONCENTRAÇÃO NA QUAL O ANALITOPODE SER DETERMINADO

RELAÇÃO ACEITÁVEL 10:1

RELAÇÃO SINAL/RUÍDO

38

LQ = 10 s / b

b = INCLINAÇÃO DA RETAESTIMADA ATRAVÉS

DA CURVA DE CALIBRAÇÃO

s = DESVIO PADRÃO

DO SINAL DO BRANCO NA CURVA DE CALIBRAÇÃO

DESVIO PADRÃO E INCLINAÇÃO DA RETA

A PARTIR DO DESVIO PADRÃO DO BRANCO (sb)

SUGEREM

AOAC

USP

LQ = 10 sb

LQ = 10 sb

EURACHEM LQ = 5, 6 OU 10 sb

39

O LIMITE DE QUANTIFICAÇÃO

APRESENTAR

OS RESULTADOS MAIS RELEVANTES

IMPORTANTE !!!!!

O LQ DEVE SER VALIDADO ATRAVÉS DE UM NO.ADEQUADO DE AMOSTRAS COM CONCENTRAÇÕES NOLIMITE OU PRÓXIMAS A ELE

O LQ DEVE SER ESTABELECIDO ATRAVÉS DE UMPADRÃO OU AMOSTRA APROPRIADA

DEVE SER DEMONSTRADA A PRECISÃO ERECUPERAÇÃO ACEITÁVEIS

40

O MÉTODO ANALÍTICO DEVE SERCARACTERIZADO PELO LIMITE DEDECISÃO (CCa) E PELA CAPACIDADEDE DETECÇÃO (CCb)

DIRETIVA 657 E MAPA

CCa E CCb PERMITEM CARACTERIZAR AS DUAS PRINCIPAIS FONTES DE VARIABILIDADE DE SINAIS

RUÍDO – DEPENDENTE DA SELETIVIDADE

MEDIDA – DEPENDENTE DA REPETIBILIDADE

LIMITE DE DECISÃO (CCa)

CÁLCULOS DEVEM UTILIZAR, DE PREFERÊNCIA, OS DADOS DA CURVA ANALÍTICA

PARA SUBSTÂNCIAS PERMITIDAS

sa 64,1+= LMRCC

DESVIO PADRÃO DA REPRODUTIBILIDADE INTRALABORATORIAL

OU DESVIO PADRÃO DA MATRIZ FORTIFICADA COM A CONC. DO LMR, PARA n = 20

LMR = limite máximo de residuo

41

LIMITE DE DECISÃO (CCa)

PARA SUBSTÂNCIAS PROIBIDAS

sa 33,2int += erceptoYCC

DESVIO PADRÃO DA REPRODUTIBILIDADE INTRALABORATORIAL

CONCENTRAÇÃO DA ORDENADA NA ORIGEM

CAPACIDADE DE DETECÇÃO (CCb)

PARA SUBSTÂNCIAS PERMITIDAS

s64,1+a=b CCCC

DESVIO PADRÃO DA REPRODUTIBILIDADE INTRALABORATORIAL

OU DESVIO PADRÃO DA MATRIZ FORTIFICADA COM A CONC. DO LMR, PARA n = 20 E O CCa CALCULADO PARA A SÉRIE

42

CAPACIDADE DE DETECÇÃO (CCb)

PARA SUBSTÂNCIAS PROIBIDAS

s64,1+a=b CCCC

DESVIO PADRÃO DA REPRODUTIBILIDADE INTRALABORATORIAL DO TEOR MÉDIO MEDIDO NO LIMITE DE DECISÃO

OU DESVIO PADRÃO DA MATRIZ FORTIFICADA COM A CONC. DO LMR, PARA n = 20 E O CCa CALCULADO PARA A SÉRIE

CRITÉRIO DE ACEITAÇÃO

CCa E CCb DEVEM SER MENORES QUE O DESEMPENHO MÍNIMO REQUERIDO

PARA SUBSTÂNCIAS PROIBIDAS

PARA SUBSTÂNCIAS PERMITIDAS

DEVEM SER ESTABELECIDOS DE ACORDO COM REQUISITOS PERTINENTES APLICÁVEIS, E COM OS REQUISITOS DE IDENTIFICAÇÃO/QUANTIFICAÇÃO

43

GRAU DE CONCORDÂNCIA ENTRE

O VALOR MEDIDO E O VALOR DE REFERÊNCIA

RESULTADOS DO MÉTODO

MÉTODO REFERÊNCIA

MATERIAIS CERTIFICADOS

MATERIAIS PADRÃOINTERLABORATORIAIS

MRCEXATIDÃO

FONTES DE ERRO

AMOSTRAGEM

PREPARO DA AMOSTRA

CALIBRAÇÃOMATRIZ

44

AMOSTRAGEM

AMOSTRA NÃO REPRESENTATIVA

AMOSTRA CONTAMINADA

DEGRADAÇÃO DO ANALITO

PERDA DO ANALITO

PREPARO DA AMOSTRA

ANALITO NÃO ESTÁVEL NOS SOLVENTES USADOS

ANALITO NÃO EXTRAÍDO DA MATRIZ

REMOÇÃO INSUFICIENTE DOS INTERFERENTES

CONTAMINAÇÃO POR REAGENTES E MATERIAIS IMPUROS

REAÇÃO DE DERIVATIZAÇÃO INCOMPLETA

CALIBRAÇÃO

TÉCNICA DE CALIBRAÇÃO INADEQUADA

CONCENTRAÇÃO DO ANALITO FORA DA FAIXA LINEAR

PADRÃO INTERNO INADEQUADO

TÉCNICA DE INTEGRAÇÃO NÃO CONFIÁVEL

MATRIZ

EFEITO DE MATRIZ

INSTABILIDADE DO SISTEMA DE ANÁLISE

REMOÇÃO INSUFICIENTE DOS INTERFERENTES

45

EXATIDÃO

RECUPERAÇÃO(“TRUENESS”)

PRECISÃO

A EXATIDÃO É VERIFICADA ATRAVÉS DA AVALIAÇÃO DOS ERROS ALEATÓRIOS E SISTEMÁTICOS

EXPRESSA EM DESVIOS (“BIAS”)

EXPRESSA EM DESVIOS PADRÃO

R (%) = [ (Cf – Cnf) / Ct ] x 100

Cf = CONC. ANALITO NA AMOSTRA FORTIFICADA

Cnf = CONC. ANALITO NA AMOSTRA NÃO FORTIFICADA

Ct = CONC. ANALITO ADICIONADA À AMOSTRA FORTIFICADA

AS AMOSTRAS DEVEM SER REPRESENTATIVAS DE TODA A FAIXA DE TRABALHO

% DE RECUPERAÇÃO

ACEITÁVEL

FAIXA DE TRABALHO

GRAU DE QUALIDADE EXIGIDO

RECUPERAÇÃO (R)

46

RECOMENDADO

9 DETERMINAÇÕES EM, NO MÍNIMO, 3CONCENTRAÇÕES AO LONGO DA FAIXA DETRABALHO

APRESENTAR

R (%)

DIFERENÇA ENTRE A MÉDIA E O VALOR REFERÊNCIA

OU

CÁLCULOSUSANDO MATERIAL DE REFERÊNCIA

MÉDIA E O DESVIO PADRÃO AMOSTRASx

VALOR DO MATERIAL DE REFERÊNCIA

PADRÃO DE REFERÊNCIA IDEAL É UM MATERIAL CERTIFICADO

MATRIZ NATURAL, SEMELHANTE A DA AMOSTRA DE INTERESSE

A DISPONIBILIDADE DE MATERIAIS DE REFERÊNCIA É LIMITADA

TIPOS DE MATERIAL DE REFERÊNCIA

AMOSTRAS FORTIFICADAS COM MATERIAIS DE REFERÊNCIAOU OUTROS COM PUREZA E ESTABILIDADE ADEQUADAS

MATERIAIS AVALIADOS NO LABORATÓRIO QUANTOÀ ESTABILIDADE, E NELE MANTIDOS

47

O MATERIAL DE REFERÊNCIA DEVE SER ADEQUADO AO SEU USO

CERTIFICAÇÕES

TRABALHOS DE LONGA DURAÇÃO

TRABALHOS ESPORÁDICOS OU NÃO CRÍTICOS

MATERIAL CERTIFICADO

MATERIAL ESTÁVEL OU CERTIFICADO

PADRÃO PREPARADO OU FORTIFICADO

EURACHEM

VANTAGENS

DESVANTAGEM

ESTABILIDADE CONHECIDA

HOMOGENEIDADE

PERMITE DETERMINAR DESVIOS

CAROS

48

COMO APRESENTAR O CRITÉRIO DE ACEITAÇÃO PARA A RECUPERAÇÃO DO MÉTODO ?

RECUPERAÇÃO MÍNIMA PARA OS DIFERENTES NÍVEIS DE CONCENTRAÇÃO

RECUPERAÇÃO MÍNIMA PARA TODA A FAIXA DE TRABALHO, INDEPENDENTE DO NÍVEL DE CONCENTRAÇÃO

FAIXA DE CONCENTRAÇÃO NA QUAL A RECUPERAÇÃO É ACEITÁVEL

PRECISÃO

EXPRESSA O GRAU DE DISPERSÃO DE UMA SÉRIE DE MEDIDAS E DEVE SER CONSIDERADA EM TRÊS NÍVEIS: REPETIBILIDADE, PRECISÃO INTERMEDIÁRIA E REPRODUTIBILIDADE

49

PRECISÃO

GRAU DE CONCORDÂNCIA DOS RESULTADOS

EXPRESSA

EM TERMOS DE DESVIO PADRÃO(s), DESVIO PADRÃO RELATIVO(sr), INTERVALO DE CONFIANÇA ECOEFICIENTE DE VARIAÇÃO

VERIFICADA

3 - 10 REPLICATAS

PRECISÃO

RE

PE

TIB

ILID

AD

EPR

EC

ISÃ

O

INT

ER

ME

DIÁ

RIA

REPRODUTIBILIDADE

50

ESTIMATIVA DA PREVISÃO QUANDO A MESMA AMOSTRA É ANALISADA

PELO MESMO PROCEDIMENTO

PELO MESMO INSTRUMENTO

PELO MESMO ANALISTA

CURTO INTERVALO DE TEMPO

REPETIBILIDADE

DETERMINADA

9 DETERMINAÇÕES AO LONGO DAFAIXA DE TRABALHO EM, PELOMENOS, 3 CONCENTRAÇÕES

6 DETERMINAÇÕES PARA UMAÚNICA CONCENTRAÇÃO

51

COMO DETERMINAR O CRITÉRIO DE ACEITAÇÃO PARA A REPETIBILIDADE ?

CV% MÍNIMO PARA OS DIFERENTES NÍVEIS DE CONCENTRAÇÃO

CV% MÍNIMO PARA TODA A FAIXA DE TRABALHO, INDEPENDENTE DO NÍVEL DE CONCENTRAÇÃO

FAIXA PERCENTUAL NA QUAL A VARIAÇÃO É ACEITÁVEL

COMO DETERMINAR O CRITÉRIO DE ACEITAÇÃO PARA A REPETIBILIDADE ?

LIMITE DE REPETIBILIDADE (r)

rn str .2)1,1( a--=sr = desvio padrão para cada nível de concentração

52

ESTIMATIVA DA PREVISÃO QUANDO A MESMA AMOSTRA É ANALISADA

PELO MESMO PROCEDIMENTO

EM DIFERENTES PERÍODOS DE TEMPO

POR INSTRUMENTOS DIFERENTES

POR ANALISTAS DIFERENTES

JAN FEV

PRECISÃO INTERMEDIÁRIA

DETERMINADA

PLANEJAMENTO FATORIAL

PLACKETT-BURMAN

É FORTEMENTE RECOMENDADO O USO DE PLANEJAMENTOS DE EXPERIÊNCIA

PLANEJAMENTO FATORIAL FRACIONÁRIO

“NESTED”

TAGUSHI

53

REPRODUTIBILIDADE/PRECISÃO INTER-LABORATORIAL

A REPRODUTIBILIDADE DEVE SER AVALIADA A PARTIR DE ESTUDOS COLABORATIVOS DE ACORDO COM A NORMA ISO 5725-2

CONDIÇÕES DE MEDIDAS QUE INCLUEM DIFERENTES LABORATÓRIOS, OPERADORES, SISTEMAS DE MEDIÇÃO, E REPLICATAS DE UMA MESMA AMOSTRA

COMPARAÇÕES INTERLABORATORIAIS

FINALIDADE GARANTIR (MELHORAR) A QUALIDADE DE SUAS MEDIÇÕES

UTILIZADAS PARA

DETECTAR ERROS DE TÉCNICAS ANALÍTICAS

INVESTIGAR DESEMPENHO DE TÉCNICAS ANALÍTICAS

AVALIAR DESEMPENHO DE LABORATÓRIOS

ESTABELECER A EFICIÊNCIA DO MÉTODO

CORRIGIR TENDÊNCIAS

CERTIFICAR MATERIAIS DE REFERÊNCIA

54

Z -SCORE

x

xxz

sm )( -

=

xm

xs

Média da população

Desvio padrão da população

REPRODUTIBILIDADE

ESTIMATIVA DA PREVISÃO DO MÉTODO QUANDO A MESMA AMOSTRA É ANALISADA

POR INSTRUMENTOS DIFERENTES

POR ANALISTAS DIFERENTES

PELO MESMO PROCEDIMENTO

PELA COMPARAÇÃO INTERLABORATORIAL

LAB 1 LAB 2

55

COMO DETERMINAR A PRECISÃO INTERMEDIÁRIA ?

ACOMPANHAMENTO DE GRÁFICO DE CONTROLE DO DESVIO PADRÃO

TESTE DE HIPÓTESE

ANÁLISE DE VARIÂNCIA (ANOVA)

COMO DETERMINAR A PRECISÃO INTERMEDIÁRIA ?

CÁLCULO DO DESVIO-PADRÃO DE PRECISÃO INTERMEDIÁRIA (Si(j,k))

åå= =

--

=t

j

n

kjjkkj yy

ntSi

1 1

2),( )(

)1(1

t = total de amostras analisadasn = total de ensaios por amostra analisada

j = número da amostra

k = número do ensaio

56

COMO DETERMINAR O CRITÉRIO DE ACEITAÇÃO PARA

A REPRODUTIBILIDADE ?

USAR O VALOR DO Z-SCORE

USAR O LIMITE DE REPRODUTIBILIDADE

USAR O VALOR DO s DO GRUPO

MEDIDA DA CAPACIDADE DE PERMANECER INALTERADO COM PEQUENAS VARIAÇÕES NOS

PARÂMETROS DO MÉTODO

DEVE SER CONSDERADA NA FASE DEDESENVOLVIMENTO DO MÉTODO

DEPENDE DO TIPO DE PROCEDIMENTO

DEVE MOSTRAR A CONFIABILIDADE DA ANÁLISE EMRELAÇÃO AS VARIAÇÕES A QUE O MÉTODO ESTÁEXPOSTO

SE AS MEDIDAS SÃO SUSCETÍVEIS A VARIAÇÕES NASCONDIÇÕES ANALÍTICAS, ESTAS DEVEM SERCONTROLADAS

ROBUSTEZ

57

CONSEQÜÊNCIA DA AVALIAÇÃO DA ROBUSTEZ

FICAM DETERINADAS AS CONDIÇÕES DOS PARÂMETROS PARA ASSEGURAR QUE A VALIDAÇÃO DO PROCEDIMENTO SEJA MANTIDA, INDEPENDENTEMENTE DE

QUEM OU DE ONDE O APLIQUE

DEVE SER AVALIADA DURANTE A ETAPA DEDESENVOLVIMENTO DO MÉTODO E DEVE MOSTRAR ACONFIABILIDADE DO RESULTADO DAS ANÁLISES EMRELAÇÃO A MUDANÇAS DELIBERADAMENTE CAUSADASNAS CONDIÇOES DAS VARIÁVEIS DO MÉTODO

ROBUSTEZ

58

LIMITE DE REPRODUTIBILIDADE (R)

Rn stR .2)1,1( a--=

sR = desvio padrão para laboratório

TESTES PARA AVALIAR AS CARACTERÍSTICAS DO MÉTODO

ATRAVÉS DA AVALIAÇÃO DEEQUIPAMENTOS / INSTRUMENTOS

REAGENTES

ENVOLVERÁ VERIFICAÇÃOLINEARIDADE

BRANCO

TESTE DEVEM SER FEITOS ANTES DO INÍCIO DE QUALQUER SÉRIE DE ANÁLISES

59

PROGRAMAS PARA VALIDAÇÃO

PARA USARMOS PROGRAMAS É IMPORTANTE

USAR UM PROGRAMA VALIDADO

SABER O QUÊ E COMO O PROGRAMA EXECUTA CADA ETAPA DO PROCESSO DE VALIDAÇÃO

TER O PROTOCOLO ESTIPULADO

O PREPARO DE PROTOCOLOS DE VALIDAÇÃO NECESSITA DE

ARTE

EXPERIÊNCIA

CONHECIMENTO

MÉTODO

NORMAS

DISCERNIMENTO

CONJUNTO DE PROCEDIMENTOS QUE PERMITEM DEMONSTRAR A CONFIABILIDADE

DO MÉTODO

60

DE UMA FORMA GERAL AS NORMAS, GUIAS E DIRETRIZES NÃO FORNECEM MUITA

INFORMAÇÃO SOBRE QUAIS E COMO APLICAR TESTES ESTATÍSTICOS PARA OS DIVERSOS

CRITÉRIOS DE DESEMPENHO

QUE NORMA/ GUIA/ DIRETRIZ

SEGUIR ????

61

PARA SELECIONAR A FORMACOMO A VALIDAÇÃO DEVERÁ SEREXECUTADA, É NECESSÁRIO

VERIFICAR SE ALGUMANORMA/DIRETRIZ OUGUIA DEVE SER SEGUIDO

EM CASO AFIRMATIVO, SEGUIR AS ORIENTAÇÕES DO MESMO

CASO CONTRÁRIO, SEGUIR ASRECOMENDAÇÕES DE UMDOCUMENTO REFERÊNCIA, COMOOS CITADOS NESTA APRESENTAÇÃO

O GUIA PARA A QUALIDADE EMQUÍMICA ANALÍTICA DA ANVISACOMENTA:

“... NÃO EXISTE UM ACORDO UNÂNIME SOBRE A INTERPRETAÇÃO DE ALGUNS DOS TERMOS NEM SOBRE AS CONVENÇÕES USADAS NA SUA DETERMINAÇÃO. ASSIM, AO MENCIONAR DADOS DE VALIDAÇÃO, É RECOMENDÁVEL MENCIONAR QUAISQUER CONVENÇÕES ADOTADAS.”

62

ABNT NBR ISO/IEC 17025 : 2005

VALIDAÇÃO DE MÉTODO (5.4.5.3)

NOTA 3

“A VALIDAÇÃO É UM EQUILÍBRIO ENTRE CUSTOS, RISCOS E

POSSIBILIDADES TÉCNICAS. ”

BOM SENSO

REFERÊNCIAS

The fitness for purpose of analytical methods. A laboratory guideto method validation and related topics; EURACHEM, 1998,1a.edição

Guidance for industry; Q2B Validation of analyticl procedures:Methodology; ICH, 1996

Data handling in Science and technology; Handbook ofChemometrics and Qualimetrics, vol 20, Part A, D.L. Massart etal., Elsevier, 1997

Projeto internacional de norma ISO/IEC DIS 17025, Associaçãobrasileira de normas técnicas, 1998

63

REFERÊNCIAS

Guia para laboratórios químicos. Um auxílio à organização e aocredenciamento de laboratórios, INMETRO, 1999

Practical method validation: Validation sufficient for naanalysis method, P. Bruce et al., Mikrochimica Acta,128(1998)93-106

Chromatographyonline.com; The website of LC/GC northamerica; Validation, qualification or verification?; Swartz,M.E.; Kull, I., out 2005

Validation of analytical procedures: text and methodology Q2(R1) - International conference on harmonisation of technical Requirements for registration of pharmaceuticals for human use (ICH) : 2005

Guia para validação de métodos analíticos e controle de qualidade interna das análises de monitoramento do plano nacional de resíduos e contaminantes – PNCRC animal: Ministério da agricultura, pecuária e abastecimento (MAPA): 2008

REFERÊNCIAS

Vocabulário internacional de metrologia (VIM) : 2008

Requisitos gerais de competência de laboratórios de ensaios e calibração - ISO/IEC 17025 : 2005

Practical method validation: validation sufficient for an analysis method, P. Bruce et al., MIKROCHIMICA ACTA, 128(1998)93-106

64

Validação – U.S. Pharmacopoeia (USP) 32 - CAPÍTULO 1225:2008

REFERÊNCIAS

Harmonized guidelines for single laboratory validation of methods of analysis; International union of pure and applied Chemistry (IUPAC) : 2002

Desempenho de métodos analíticos e interpretação de resultados - Decisão da comissão – Diretiva 96/23/CE : 2002 (657)

Orientação sobre validação de métodos analíticos – DOQ-GCRE-008; Instituto nacional de metrologia, normalização e qualidade industrial – INMETRO: 2008

Guia para a qualidade em química analítica. Uma assistência à habilitação. Séries temáticas 1 – Laboratório - ANVISA: 2005

Norma NBR ISO 9000:2000 - Sistemas de gestão da Qualidade – Fundamentos e vocabulário; 2005

REFERÊNCIAS

65

OBRIGADA !