MEDIDAS DE ACURÁCIA CURVA ROC

Prévia do material em texto

UNIVERSIDADE FEDERAL DE SERGIPE
PRÓ-REITORIA DE PÓS-GRADUAÇÃO E PESQUISA
PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIAS DA SAÚDE
MEDIDAS DE ACURÁCIA DIAGNÓSTICA
&
CONSTRUÇÃO DA CURVA ROC
Aracaju
2022
Aluna: Geyse do Espírito Santo Rezende
Professora: Drª Andrea Monteiro Correia Medeiros
Disciplina: Tópicos Especiais em Ciências Da Saúde
Organização da apresentação
Medidas de Acurácia
Sensibilidade
Especificidade
Razão de verossimilhança 
Curva ROC
Artigo 1
Artigo 2
Valor Preditivo
MEDIDAS DE ACURÁCIA
Conceitos
Medidas de Acurácia
É a forma de se obter os indicadores Sensibilidade, especificidade, valor preditivo positivo e negativo e razão de verossimilhança positiva e negativa. 
O resultado do teste será comparado ao resultado de outro teste considerado padrão de referência. O ponto de corte do instrumento e o seu poder em discriminar pessoas com e sem o desfecho serão obtidos por meio da curva ROC.
Pernambuco et al., 2017 
MEDIDAS DE ACURÁCIA
	Sensibilidade	é considerado que o teste é sensível quando identificar como positivo a pessoa que realmente tem a doença
	Especificidade	é considerado que o teste é específico quando identificar como negativo a pessoa que realmente não tem a doença
	Valor preditivo positivo 	é a proporção de pessoas verdadeiramente positivas em relação às diagnosticadas pelo teste como positivas
	Valor preditivo negativo 	é a proporção de pessoas verdadeiramente negativas em relação às diagnosticadas pelo teste como negativas
	Razão de verossimilhança positiva 	probabilidade de um resultado positivo em pacientes com a doença dividida pela probabilidade de um resultado positivo em pacientes sem a doença
	Razão de verossimilhança negativa 	é a probabilidade de um resultado negativo em pacientes com a doença dividida pela probabilidade de um resultado negativo em pacientes sem a doença
	Curva ROC 	Estabelece os pontos de corte, com base nos valores de especificidade e de sensibilidade
Andrade, 2017; Ferreira e Patino, 2018
Sensibilidade
Sensibilidade e Especificidade
Especificidade
Sensibilidade é a proporção de indivíduos que têm a doença e apresentam teste positivo
A especificidade é a proporção de indivíduos que não têm a doença e apresentam teste negativo
SENSIBILIDADE
ESPECIFICIDADE
Sensibilidade e Especificidade
		COM DOENÇA	SEM DOENÇA
	TESTE POSITIVO	VP	FP
	TESTE NEGATIVO	FN	VN
Especificidade
Sensibilidade
Quão bem um teste (positivo) detecta os doentes
Verdadeiros positivos entre todos os doentes
Quão bem um teste (negativo) detecta os sadios
Verdadeiros negativos entre todos os não-doentes
Dão uma ideia de quão bom é o desempenho de um novo teste diagnóstico em comparação com o de um teste padrão ouro existente
Sensibilidade e Especificidade
PORQUE SÃO IMPORTANTES?
Podem ser usadas para calcular as razões de verossimilhança
Há sempre uma troca entre sensibilidade e especificidade quando é definido um valor de corte para resultados de testes quantitativos.
VPP
Valor Preditivo
VPN
Proporção de indivíduos que apresentam resultado positivo no novo teste e têm a doença segundo o padrão ouro
VPP
VPN
Proporção de indivíduos que apresentam resultado negativo no novo teste e não têm a doença segundo o padrão ouro
Comparação do Novo teste com o Padrão Ouro
Ajudam a compreender o quão bem um novo teste é capaz de diagnosticar uma doença com base nos resultados do padrão ouro
Valor Preditivo (Positivo e Negativo)
PORQUE SÃO IMPORTANTES?
O VPP e o VPN são mais úteis que a sensibilidade e a especificidade para os clínicos porque estimam a probabilidade de doença (ou sua ausência) a partir do resultado do teste. 
RVP
Razão de verossimilhança 
RVN
Probabilidade de um resultado positivo em pacientes com a doença dividida pela probabilidade de um resultado positivo em pacientes sem a doença
Probabilidade de um resultado negativo em pacientes com a doença dividida pela probabilidade de um resultado negativo em pacientes sem a doença
RVP
Razão de verossimilhança 
RVN
As RV combinam sensibilidade e especificidade para quantificar o quão útil um novo teste diagnóstico é para mudar (aumentar ou diminuir) a probabilidade de ter uma doença em comparação com a prevalência dessa doença (probabilidade pré-teste) na população estudada. 
Razão de verossimilhança (Positiva e Negativa)
PORQUE SÃO IMPORTANTES?
Curva ROC
A troca entre sensibilidade e especificidade em diversos pontos de corte possíveis pode ser usada para traçar uma curva ROC e descrever o desempenho geral do teste de discriminar entre presença e ausência da doença 
A curva ROC é uma representação gráfica da sensibilidade (verdadeiro-positivos) contra “1 − especificidade” (falso-negativos) para todos os valores de corte possíveis de um novo teste 
Usamos curvas ROC para fazer uma avaliação global do valor de um teste diagnóstico por meio do cálculo da área sob a curva (ASC)
Curva ROC
Curva ROC do teste fictício em populações sabidamente sadia e doente
Uma curva ROC é um gráfico de linha que plota a probabilidade de um resultado positivo verdadeiro – ou a sensibilidade do teste – versus a probabilidade de um resultado falso positivo para uma série de diferentes pontos de coorte
Curva ROC
A curva ROC é um instrumento binário com cinco graus de classificação:
	EXCELENTE	0,9 a 1
	BOM	0,8 a 0,9
	RAZOÁVEL	0,7 a 0,8 
	POBRE	de 0,6 a 0,7
	NÃO DISCRIMINADOR	0,5 a 0,6
ARTIGOS CIENTÍFICOS
Protocolo de avaliação vocal
Qualidade de Vida em Voz Pediátrico
Ribeiro, Paula e Behlau, 2014
QVV-P
QVV-P
Versão Brasileira do protocolo PVRQoL, um instrumento americano válido e sensível a identificação do impacto de uma alteração vocal, composto por 10 questões e 2 domínios (Socioemocional e Físico)
Validação do QVV-P
Adaptação cultural e de idioma
Medidas Psicométricas: validade, confiabilidade e sensibilidade
Artigo publicado na CoDAS (Communication Disorders, Audiology and Swallowing) 2014
Mensurar a qualidade de vida relacionada a voz de crianças/adolescentes com queixa vocal por meio da validação brasileira do QVV-P
Teste da Razão de Verossimilhança (diferença ente os sexos quanto à avaliação da qualidade vocal)
Teste dos Postos Sinalizados de Wilcoxon (análise individual das questões do QVV-P, confiabilidade e sensibilidade do instrumento)
QVV-P
Qualidade de Vida em Voz Pediátrico
Ribeiro, Paula e Behlau, 2014Metodologia
1 escola particular
1 esola pública
Consultórios de ORL
1 Clínica escola com atendimento fonoaudiológico especializado na área de voz
Organização
Amostra
Participaram 230 pais/responsáveis de crianças/adolescentes com e sem queixa vocal, de ambos os sexos, com idade entre 2 e 18 anos
A amostra foi divida em cinco grupos denominados G1, G2, G3, G4 e G5.
Local da Pesquisa
Sensibilidade
População (G4)
Da amostra total (230), foram selecionadas 16 crianças/adolescentes com queixa de alteração vocal, sendo 9 do sexo masculino e 7do sexo feminino, com idade entre 6 e 18 anos
Procedimento
Todos os participantes foram submetidos a avaliação perceptivo-auditiva, realizada pela primeira autora com a escala GRBASI, e a avaliação laringológica, realizada por um ORL, por meio da videolaringoestroboscopia com videolaringoscópio rígido de 10 mm e 70° e fonte de luz (Endo-Stoboscope L-Atmos).
Dados
Os dados levantados durante os atendimentos foram utilizados como diário de campo para o registro de depoimentos e relatos sobre a execução dos exercícios vocais, bem como os benefícios obtidos.
Resultados
O QVV-P demonstrou sensibilidade ao tratamento fonoaudiológico para a reabilitação vocal dos 16 participantes, comprovada pela redução dos 3 escores do instrumento após 2 meses de fonoterapia, refletindo, assim, a melhora na qualidade de vida em voz
Sensibilidade
Resultados
Para o grupo com queixa vocal, os pais avaliaram as vozes de seus filhos como sendo ruins e, para o grupo sem queixa vocal, eles as julgaram como excelentes ou muito boas, independentemente do sexo dos participantes
	Teste da Razão de Verossimilhança 	
	Grupo Com Queixa Vocal 	 p=0,653 
	Grupo Sem Queixa Vocal 	p=0,264 
Verossimilhança
Conclusão
A versão brasileira do protocolo Pediatric Voice-Related Quality-of-Life Survey, denominado Qualidade de Vida em Voz Pediátrico (QVV-P), está validada para o Português Brasileiro, apresentando equivalência cultural e medidas psicométricas de validade, confiabilidade e sensibilidade, testadas de forma satisfatória
Curva ROC do Protocolo Qualidade de Vida em Voz Pediátrico
Krohling, Paula e Behlau, 2016
QVV-P
Artigo publicado na CoDAS (Communication Disorders, Audiology and Swallowing) 2016
Verificar a eficiência e determinar a nota de corte do instrumento Qualidade de Vida em Voz Pediátrico (QVV-P), bem como as medidas de sensibilidade, especificidade e eficiência.
As notas de corte, a curva ROC e as medidas de especificidade, sensibilidade e eficiência variaram conforme o escore investigado - geral, físico ou socioemocional
Os escores do QVV-P foram analisados pela curva ROC
Possibilitou a verificação da eficiência da sensibilidade e especificidade
Permitindo a classificação de crianças e adolescentes com e sem queixa vocal pela definição da área sob a curva (AUC)
Possibilitou a determinação da nota de corte pela combinação matemática de maior especificidade e sensibilidade
METODOLOGIA
Krohling, Paula e Behlau, 2016
Os dados de sensibilidade traduziram o número de verdadeiros positivos, identificados pelo QVV-P, em relação a todos os positivos que preencheram o instrumento.
Já os dados de especificidade refletiram quadros de falso positivo em relação a todos os negativos
		Nota De Corte	AUC	Especificidade	Sensibilidade	Eficiência
	Escore geral	96,25	Excelente	Excelente	Boa	Excelente
	Escore Socioemocional	96,87	Razoável	Excelente	Pobre	Razoável
	Escore Físico	91,68	Excelente	Excelente	Boa	Excelente
Pontos Relevantes
Os dados da curva ROC do escore geral demonstraram que os pais/responsáveis, ao reconhecerem o problema vocal do filho, também percebem o impacto na qualidade de vida, em 98% dos casos
A Especificidade excelente demonstrou que o QVV-P só aponta prejuízo na qualidade de vida quanto à queixa de problema vocal
A Sensibilidade excelente acompanhada de Especificidade pobre e eficiência razoável, demonstrou que, embora ele seja sensível à queixa vocal, não é específico à uma alteração de voz
A Sensibilidade boa indicou que indivíduos com queixa podem não ser detectados 
Conclusão
O QVV-P é um instrumento de avaliação parental eficiente e confiável, com poder discriminatório excelente, que pode ser utilizado em ações de triagem à reavaliação, mesmo que o indivíduo não tenha o diagnóstico de disfonia
OBRIGADA!
image1.png
image2.png
image3.png
image4.png
image5.png
image6.png
image7.png
image8.png
image9.png
image10.png
image11.png
image12.png
image13.png