Que exame médico o ChatGPT fez?

O tópico que recentemente tomou a internet de assalto é nada menos que ChatGPT, o chatbot de IA que estreou em novembro passado. As pessoas se engajaram nele em conversas lúdicas e descontraídas para testar sua habilidade em conversar. Além disso, ChatGPT alcançou inúmeros feitos, como passar em alguns dos exames mais difíceis, como o exame de licenciamento médico dos EUA, um exame da Wharton Business School e quatro exames da Faculdade de Direito da Universidade de Minnesota em Direito Constitucional. Esse feito chamou a atenção do CEO do Twitter, Elon Musk, que alfinetou o chatbot de IA, dizendo "Tenho certeza de que tudo ficará bem". Vamos dar uma olhada em Qual Exame Médico o ChatGPT Passou?

Ascensão do ChatGPT

É interessante notar que a Open AI, a empresa de pesquisa na qual Musk e Microsoft investiram, criou o ChatGPT. Qualquer pessoa que utiliza o site da ferramenta de IA pode fazer uma pergunta sobre qualquer tema e receber uma resposta detalhada e rápida em formato de parágrafo. O ChatGPT demonstrou sua capacidade em diversos domínios. Ele pode escrever ensaios instantaneamente e complexos, elaborar apresentações de marketing, produzir poemas e piadas, e até mesmo redigir um discurso para um congressista nos Estados Unidos. No entanto, há receios de que a IA possa substituir alguns trabalhos humanos.

Também leia: ChatGPT 4 é gratuito para uso?

ChatGPT faz Exame Médico: Visão Geral

Um dos mais recentes feitos desta ferramenta é a sua capacidade de passar nos exames de Licenciamento Médico dos EUA. Em um estudo pré-impresso, os pesquisadores exploraram os limites superiores das capacidades do ChatGPT. Eles alimentaram perguntas de exames anteriores para a ferramenta de IA e tiveram as respostas, que variavam de respostas escritas abertas a múltipla escolha, pontuadas independentemente por dois adjudicadores médicos. Eles garantiram que as respostas para essas perguntas não estavam presentes no conjunto de dados acessível pelo chatbot quando ele havia sido treinado. A equipe observou que, mesmo que o ChatGPT não tivesse visto as respostas antes, ele teve um desempenho próximo ou no limite de aprovação nos exames, sem nenhum treinamento especializado ou reforço. A ferramenta obteve mais de 50% em todos os exames e chegou perto do limite de aprovação do USMLE, que é de cerca de 60%. "Portanto, o ChatGPT está confortavelmente dentro da faixa de aprovação", concluiu o artigo.

ChatGPT Passa no Exame USMLE: Tudo o que você precisa saber

Em um estudo inovador, cientistas do Hospital Geral de Massachusetts (MGH) e da AnsibleHealth descobriram que o ChatGPT da OpenAI consegue passar no Exame de Licenciamento Médico dos Estados Unidos (USMLE) com uma impressionante taxa de precisão de 60%. Essa pesquisa abre emocionantes possibilidades para o papel da inteligência artificial na educação e treinamento médico.

Ferramentas de Processamento de Linguagem Natural e Educação Médica

O ChatGPT é uma ferramenta de processamento de linguagem natural que é treinada em vastas quantidades de dados de linguagem e busca por padrões e relações. Sua capacidade de gerar novo texto com base na linguagem em que é treinado torna-o um candidato ideal para uso na educação médica. No entanto, a dependência do ChatGPT em dados de treinamento significa que ele não busca na web como outros chatbots de inteligência artificial.

Testando o Modelo

Os cientistas avaliaram o modelo ChatGPT com base nos três testes padronizados que compõem o USMLE. A equipe treinou o modelo usando perguntas de teste da amostra do exame de junho de 2022 divulgadas ao público. As perguntas que exigiam análise visual foram excluídas do conjunto de treinamento.

Para reduzir o viés de retenção de memória, a equipe inseriu três tipos diferentes de perguntas no modelo:

1. Resposta única de múltipla escolha sem justificativa obrigatória, por exemplo, "A condição do paciente é principalmente causada por qual dos seguintes patógenos?"
2. Resposta única de múltipla escolha com justificativa obrigatória, por exemplo, "Qual a razão mais provável para os sintomas noturnos do paciente? Explique sua argumentação para cada opção."
3. Pergunta aberta, por exemplo, "Qual seria o diagnóstico do paciente com base nas informações fornecidas?"

Resultados Impressionantes

Pela primeira vez, o modelo de IA passou na USMLE com precisão de cerca de 60% sem a ajuda de instrutores clínicos. Esse resultado é significativo e abre novas possibilidades para a IA na educação médica. Os pesquisadores também descobriram que os resultados do ChatGPT mostraram insights clínicos válidos e fundamentação, aumentando a confiança na explicabilidade e confiabilidade do modelo.

O Futuro da Educação Médica

A equipe acredita que o ChatGPT e outros modelos conversacionais generativos podem ajudar no treinamento de futuros médicos. Uma aplicação possível seria traduzir resultados médicos técnicos para uma linguagem mais compreensível aos pacientes. A AnsibleHealth já está trabalhando nesse projeto.

ChatGPT demonstrando sua habilidade no campo médico

Além de sua capacidade de responder perguntas e diagnosticar doenças, o GPT-4 também é um excelente tradutor. Ele pode traduzir informações de alta para um paciente que fala português e simplificar jargões técnicos para que alunos do sexto ano possam entender facilmente. O GPT-4 também pode fornecer aos médicos sugestões úteis sobre comportamento à beira do leito, oferecendo dicas sobre como falar com os pacientes sobre suas condições de forma compassiva e clara.

Mesmo com suas limitações, o GPT-4 pode imitar como os médicos diagnosticam condições com resultados impressionantes, embora imperfeitos. Quando questionado se ele poderia realmente envolver-se em raciocínio causal, ele respondeu que sua inteligência ainda é "limitada a padrões nos dados e não envolve compreensão verdadeira ou intencionalidade".

Pensamentos do Dr. Isaac Kohane sobre o GPT-4

Em um livro próximo intitulado "A Revolução da IA na Medicina", o cientista da computação e médico Dr. Isaac Kohane, juntamente com dois colegas, testou o GPT-4, o mais novo modelo de inteligência artificial da OpenAI, para ver como ele se saiu em um ambiente médico. Os resultados foram impressionantes.

No livro, Dr. Kohane observa que o GPT-4, que foi lançado em março de 2023 para assinantes pagos, pode responder corretamente às questões de exames de licenciamento médico dos EUA mais de 90% das vezes. É um examinador muito melhor do que os modelos anteriores de IA do ChatGPT, o GPT-3 e o -3.5, e melhor do que alguns médicos licenciados também. De acordo com Carey Goldberg e o vice-presidente de pesquisa da Microsoft, Peter Lee, o GPT-4 possui melhor julgamento clínico do que "muitos médicos" e é capaz de diagnosticar condições raras "assim como eu faria".

Testando o GPT-4: O Método

Para testar o GPT-4, o Dr. Kohane e seus colegas se uniram para ver como o modelo de IA se sairia em um ambiente médico. Eles fizeram perguntas ao GPT-4 e forneceram cenários clínicos para diagnóstico, que foram posteriormente comparados aos diagnósticos feitos por médicos humanos. Os autores observam que o GPT-4 possui várias vantagens sobre os médicos humanos, como a capacidade de lembrar e sintetizar vastas quantidades de informações de várias fontes.

No entanto, os autores também reconhecem que o GPT-4 possui várias limitações. Por exemplo, o GPT-4 não é capaz de levar em consideração o histórico médico único de um paciente ou os determinantes sociais da saúde. Além disso, a dependência do GPT-4 em vastas quantidades de dados levanta preocupações sobre privacidade de dados e viés.

GPT-4: Capacidades e Potencial

O GPT-4 é muito mais do que um buscador de informações e um bom testador; ele também é um excelente tradutor. De acordo com os autores, o GPT-4 pode traduzir informações de alta complexidade para um paciente que fala português e simplificar jargões técnicos de forma que sejam facilmente compreendidos por alunos do sexto ano.

Mas não é apenas no campo do diagnóstico que o GPT-4 mostra promessa. No livro, os autores explicam como o GPT-4 pode fornecer sugestões úteis aos médicos sobre a postura no leito, oferecendo dicas sobre como se conectar melhor com os pacientes.

No entanto, é importante ressaltar que o GPT-4 não é infalível. Conforme alertam seus autores, ele ainda pode cometer erros e não fez o juramento hipocrático. Além disso, a tecnologia de IA, incluindo o GPT-4, levanta questões éticas sobre o deslocamento de empregos e a privacidade do paciente.

Conclusão: O Futuro da IA na Medicina

Mesmo com essas limitações, o sucesso do GPT-4 em diagnosticar condições médicas levanta possibilidades empolgantes para a tecnologia de IA na medicina. No futuro, modelos de IA como o GPT-4 poderiam ajudar médicos a diagnosticar doenças raras, traduzir jargões médicos e fornecer melhor assistência aos pacientes. No entanto, é importante que os modelos de IA sejam desenvolvidos e testados levando em consideração aspectos éticos.