O GPT-4 da OpenAI conseguiu um desempenho notável contra oftalmologistas, afirma um novo relatório. As avaliações geradas pelo LLM (Large Language Model) Generative AI (Artificial Intelligence) conseguiram vencer médicos juniores e estagiários não especialistas. A Gen AI, financiada pela Microsoft, chegou perto de igualar os oftalmologistas especialistas.
GPT-4 responde MCQs de avaliação oftalmológica
Um estudo, publicado em PLOS Saúde Digital Diário, provou como os LLMs da Gen AI podem ajudar na área médica. Falando sobre os resultados, Arun Thirunavukarasu, o principal autor do artigo, disse:
“O que este trabalho mostra é que o conhecimento e a capacidade de raciocínio destes grandes modelos de linguagem num contexto de saúde ocular são agora quase indistinguíveis dos especialistas. Estamos vendo a capacidade de responder perguntas bastante complicadas.”
Ele estava se referindo à capacidade do GPT-4 de responder MCQs (perguntas de múltipla escolha) sobre oftalmologia. Ao todo, o estudo supostamente perguntou GPT-4 87 MCQs. Cinco oftalmologistas especialistas, três oftalmologistas estagiários e dois médicos juniores não especializados responderam às mesmas perguntas.
👁️ #AI é muito melhor do que médicos não especialistas na avaliação de problemas oculares e no aconselhamento, descobriram pesquisadores de Cambridge.
O GPT-4 poderia fazer a triagem dos pacientes e decidir quais #oftalmologia problemas são emergências que precisam de atenção imediata👇 https://t.co/nX9OYQb1XR
– Universidade de Cambridge (@Cambridge_Uni) 18 de abril de 2024
O estudo elaborou um questionário de um livro didático para testar os formandos sobre tudo, desde sensibilidade à luz até lesões. É interessante notar que o conteúdo do livro didático não está disponível em domínio público. Conseqüentemente, os pesquisadores acreditam que a OpenAI pode ter treinado seus LLMs durante um exercício de treinamento interno.
Durante o estudo, os pesquisadores deram ao ChatGPT, equipado com GPT-4 ou GPT-3.5, três tentativas para responder de forma definitiva. Se falhasse, os pesquisadores marcavam a resposta como “nula”.
GPT-4 supera alguns oftalmologistas, mas ainda não consegue igualar os especialistas
Dos 87 cenários de pacientes diferentes GPT-4 supostamente superou os juniores, e obteve resultados semelhantes aos da maioria dos especialistas. Especificamente falando, o GPT-4 acertou 60 das 87 questões. Os médicos juniores conseguiram uma média de 37 respostas corretas.
Os estagiários da área de oftalmologia chegaram bem perto com uma média de 59,7 acertos. Com exceção de um especialista, que respondeu corretamente a 56 MCQs, os demais especialistas obtiveram uma média de 66,4 respostas certas.
Comparativamente, o PaLM 2 conseguiu acertar 49 respostas, o GPT-3.5 obteve apenas 42 e o LLaMa ficou atrás do grupo com apenas 28 MCQs respondidos corretamente.
É importante ressaltar que o estudo foi realizado em meados de 2023. Em outras palavras, os LLMs provavelmente ficaram muito melhores na compreensão e resposta a perguntas complexas.
A indústria da saúde sem dúvida se beneficiaria com ChatGPT, Gemini e outras plataformas Gen AI. No entanto, alguns especialistas médicos alertaram contra a dependência da Gen AI para diagnosticar um paciente. Essas plataformas “carecem de nuances”, afirmaram. Conseqüentemente, pode haver uma probabilidade preocupantemente alta de imprecisão, alertaram alguns dos pesquisadores.
Para ficar por dentro sobre tudo que acontece no mundo da tecnologia e dos games, continue acompanhando o TecMania.
