Pesquisa publicada na revista científica Future Science OA aponta limites do ChatGPT em responder a perguntas sobre câncer.
O estudo, liderado por pesquisadores da Universidade de Miami, mostra que a ferramenta acertou em perguntas gerais sobre a doença, mas falhou em oferecer respostas precisas sobre tratamentos mais novos.
A pesquisa reforça a necessidade de cautela e a supervisão médica ao buscar informações de saúde em inteligências artificiais.
Um estudo recente publicado na revista Future Science OA avaliou a precisão do ChatGPT 3.5, versão gratuita do chatbot, em responder a perguntas sobre câncer hematológico.
A pesquisa, conduzida por uma equipe liderada pelo médico-cientista Justin Taylor, do Sylvester Comprehensive Cancer Center da Universidade de Miami, revela que, apesar de útil para conceitos gerais, a ferramenta ainda não é confiável para informações sobre terapias mais recentes.
Para o estudo, os pesquisadores submeteram dez perguntas ao ChatGPT: cinco de natureza geral, como efeitos colaterais da quimioterapia, e cinco sobre terapias mais específicas, como o uso de inibidores de BCL-2, um tipo de medicamento em fase de estudos.
As respostas foram avaliadas anonimamente por quatro hematologistas e oncologistas em uma escala de 1 a 5.
O resultado mostrou um desempenho moderado do chatbot. Em perguntas gerais, o ChatGPT obteve uma média de 3,38 pontos, considerada pelos avaliadores como “razoável, mas incompleta”.
Em questões sobre terapias mais recentes, a média caiu para 3,06 pontos. Nenhuma das respostas analisadas recebeu a nota máxima de 5.
Os autores do estudo concluíram que a supervisão médica é fundamental para verificar informações geradas por inteligências artificiais antes de serem utilizadas por pacientes.
Justin Taylor, líder da pesquisa, alerta os pacientes a manterem um “ceticismo necessário” ao buscar informações sobre tipos específicos de câncer e tratamentos.
Segundo ele, chatbots não são capazes de personalizar recomendações ou discutir as nuances de uma doença como um especialista pode fazer durante uma consulta.
Uma das limitações apontadas no estudo é o fato de ter sido utilizada a versão 3.5 do ChatGPT, cujo treinamento foi realizado com dados até 2021.
Isso significa que descobertas e tratamentos médicos lançados após essa data não foram incluídos nas respostas.
Apesar disso, Taylor destaca que, mesmo com versões mais recentes, a mensagem principal permanece a mesma: a IA pode ser um recurso de apoio, mas não substitui a orientação de um profissional de saúde.
A pesquisa, no entanto, também aponta o potencial da tecnologia. Os autores sugerem que chatbots podem auxiliar pacientes a se prepararem para consultas, formularem perguntas mais pertinentes e até encontrarem fontes confiáveis de informação.
A própria Universidade de Miami já investe em cursos sobre a ética da IA na medicina e em sistemas que usam a tecnologia para diagnóstico de tumores cerebrais e previsão de risco em mieloma múltiplo, o que demonstra a aposta no avanço e na aplicação responsável dessas ferramentas no setor de saúde.
Fonte: G1
Comentários