Qual Exame Médico o ChatGPT Passou?

O tópico que recentemente tem tomado a internet de assalto é nada mais nada menos do que o ChatGPT, o chatbot de inteligência artificial que estreou em novembro passado. As pessoas têm se envolvido em conversas divertidas e descontraídas para testar a sua capacidade de conversação. Não só isso, o ChatGPT alcançou inúmeros feitos, como passar em alguns dos exames mais difíceis, como o exame de licenciamento médico dos Estados Unidos, um exame da Wharton Business School e quatro exames de Direito Constitucional da University of Minnesota Law School. Esse feito chamou a atenção do CEO do Twitter, Elon Musk, que deu uma alfinetada no chatbot de IA, dizendo "Tenho certeza de que tudo ficará bem". Vamos dar uma olhada em Que Exame Médico o ChatGPT Passou?

A Ascensão do ChatGPT

É interessante notar que a Open AI, a empresa de pesquisa na qual Musk e a Microsoft investiram, criou o ChatGPT. Qualquer pessoa que utilize o website da ferramenta de AI pode fazer uma pergunta sobre qualquer assunto e receber uma resposta rápida e detalhada em forma de parágrafo. O ChatGPT demonstrou sua capacidade em diversas áreas. Pode escrever ensaios instantâneos e complexos, elaborar propostas de marketing, produzir poemas e piadas e até redigir um discurso para um Congressista nos Estados Unidos. No entanto, existem receios de que a IA possa substituir alguns empregos humanos.

Também leia: É o ChatGPT 4 gratuito para usar?

ChatGPT realiza Exame Médico: Visão Geral

Uma das mais recentes conquistas desta ferramenta é a sua capacidade de passar nos exames de licenciamento médico dos Estados Unidos. Num estudo preliminar, os investigadores exploraram os limites superiores das capacidades do ChatGPT. Eles forneceram perguntas de exames anteriores à ferramenta de IA e tiveram as respostas, que variaram de respostas escritas de múltipla escolha a abertas, pontuadas de forma independente por dois médicos-adjudicadores. Eles garantiram que as respostas a essas perguntas não estavam previamente disponíveis no conjunto de dados acessível pelo ChatGPT durante o seu treino. A equipa observou que, mesmo que o ChatGPT não tivesse visto as respostas antes, ele desempenhou-se igual ou próximo do limite de aprovação nos exames, sem nenhum treino especializado ou reforço. A ferramenta obteve mais de 50% em todas as provas e aproximou-se do limite mínimo de aprovação do USMLE, que é cerca de 60%. "Portanto, o ChatGPT agora está confortavelmente dentro do intervalo de aprovação", concluiu o artigo.

ChatGPT Passa Exame USMLE: Tudo o que precisa de saber

Num estudo inovador, cientistas do Hospital Geral de Massachusetts (MGH) e da AnsibleHealth descobriram que o ChatGPT da OpenAI consegue passar no Exame de Licenciamento Médico dos Estados Unidos (USMLE) com uma impressionante taxa de precisão de 60%. Esta pesquisa abre excitantes possibilidades para o papel da Inteligência Artificial na educação e treinamento médico.

Ferramentas de Processamento de Linguagem Natural e Educação Médica

ChatGPT é uma ferramenta de processamento de linguagem natural que é treinada em grandes quantidades de dados de linguagem e procura padrões e relacionamentos. Sua capacidade de gerar novo texto com base na linguagem em que é treinado torna-o um candidato ideal para uso em educação médica. No entanto, a dependência do ChatGPT em dados de treinamento significa que ele não varre a web como outros chatbots de IA.

Testando o Modelo

Os cientistas avaliaram o modelo ChatGPT com base nos três testes padronizados que compõem o USMLE. A equipe treinou o modelo utilizando perguntas de teste do exame de amostra de junho de 2022 disponibilizado ao público. As perguntas que exigiam análise visual foram excluídas do conjunto de treinamento.

Para reduzir o viés de retenção de memória, a equipa introduziu três tipos diferentes de perguntas no modelo:

1. Resposta única de múltipla escolha sem justificação obrigatória, por exemplo, "A condição do paciente é principalmente causada por qual dos seguintes patógenos?"
2. Resposta única de múltipla escolha com justificação obrigatória, por exemplo, "Qual das seguintes é a razão mais provável para os sintomas noturnos do paciente? Explique o seu raciocínio para cada escolha."
3. Pergunta aberta, por exemplo, "Qual seria o diagnóstico do paciente com base nas informações fornecidas?"

Resultados impressionantes

Pela primeira vez, o modelo de IA passou no USMLE com precisão de cerca de 60%, sem a ajuda de treinadores clínicos. Este resultado é significativo e abre novas possibilidades para a IA na educação médica. Os pesquisadores também descobriram que os resultados do ChatGPT mostraram insights e raciocínio clínico válidos, aumentando a confiança na explicabilidade e no nível de confiança do modelo.

O Futuro da Educação Médica

A equipa acredita que o ChatGPT e outros modelos gerativos de conversação possam ajudar no treino de futuros médicos. Uma aplicação possível seria traduzir resultados médicos técnicos para uma linguagem mais compreensível para os pacientes. A AnsibleHealth já está a desenvolver esse projeto.

ChatGPT mostrando suas habilidades na área médica

Além de sua capacidade de responder a perguntas e diagnosticar doenças, o GPT-4 também é um excelente tradutor. Ele pode traduzir informações de alta para um paciente que fala português e filtrar jargões técnicos em algo que alunos do sexto ano poderiam facilmente entender. O GPT-4 também pode fornecer aos médicos sugestões úteis sobre maneiras adequadas de tratar os pacientes, oferecendo dicas sobre como falar com eles sobre suas condições de forma compassiva e clara.

Mesmo com suas limitações, GPT-4 pode imitar como médicos diagnosticam condições com resultados impressionantes, embora imperfeitos. Quando questionado se realmente pode se engajar em raciocínio causal, ele respondeu que sua inteligência ainda está "limitada a padrões nos dados e não envolve verdadeiro entendimento ou intencionalidade".

Pensamentos do Dr. Isaac Kohane sobre o GPT-4

Num próximo livro intitulado "A Revolução da IA na Medicina", o cientista da computação e médico Dr. Isaac Kohane, juntamente com dois colegas, testaram o GPT-4, o mais recente modelo de inteligência artificial da OpenAI, para ver como ele se saiu em um contexto médico. Os resultados foram impressionantes.

No livro, o Dr. Kohane observa que o GPT-4, lançado em março de 2023 para assinantes pagos, consegue responder corretamente a questões de licenciamento de exames médicos nos Estados Unidos mais de 90% das vezes. Ele é muito melhor do que os modelos de IA anteriores do ChatGPT, o GPT-3 e -3.5, e também é melhor do que alguns médicos licenciados. De acordo com Carey Goldberg e o vice-presidente de pesquisa da Microsoft, Peter Lee, o GPT-4 possui melhor julgamento clínico do que "muitos médicos" e pode diagnosticar doenças raras "da mesma forma que eu faria".

Testando o GPT-4: O Método

Para testar o GPT-4, o Dr. Kohane e seus colegas uniram-se para ver como o modelo de IA se comportava em um ambiente médico. Eles fizeram perguntas ao GPT-4 e deram a ele cenários clínicos para diagnóstico, que foram então comparados aos diagnósticos feitos pelos médicos humanos. Os autores observam que o GPT-4 tem várias vantagens sobre os médicos humanos, como a capacidade de lembrar e sintetizar grandes quantidades de informações de várias fontes.

No entanto, os autores também reconhecem que o GPT-4 tem várias limitações. Por exemplo, o GPT-4 é incapaz de levar em consideração o histórico médico único de um paciente ou os determinantes sociais da saúde. Além disso, a dependência do GPT-4 em grandes quantidades de dados levanta preocupações sobre privacidade de dados e viés.

GPT-4: Capacidades e Potencial

O GPT-4 é muito mais do que apenas um coletor de fatos e um bom avaliador; também é um excelente tradutor. Segundo os autores, o GPT-4 pode traduzir informações de alta complexidade para um paciente que fala Português e transformar jargão técnico em algo que alunos do sexto ano possam entender facilmente.

Mas não é apenas no campo do diagnóstico que GPT-4 mostra promessa. No livro, os autores explicam como o GPT-4 pode fornecer aos médicos sugestões úteis sobre a postura no leito do paciente, oferecendo dicas sobre como se conectar melhor com os pacientes.

No entanto, é importante notar que GPT-4 não é infalível. Como os autores alertam, ele ainda pode cometer erros e não fez o Juramento Hipocrático. Além disso, a tecnologia de IA, incluindo GPT-4, levanta questões éticas sobre o deslocamento de empregos e a privacidade do paciente.

Conclusão: O Futuro da IA na Medicina

Apesar destas limitações, o sucesso do GPT-4 no diagnóstico de condições médicas levanta possibilidades empolgantes para a tecnologia de IA na medicina. No futuro, modelos de IA como o GPT-4 poderiam ajudar os médicos a diagnosticar doenças raras, traduzir jargão médico e fornecer um melhor atendimento aos pacientes. No entanto, é importante que os modelos de IA sejam desenvolvidos e testados levando em consideração aspectos éticos.