Um experimento clínico produziu um resultado que parece contraditório. Diante de casos diagnósticos difíceis, o GPT-4, usado sozinho, obteve pontuação superior à de médicos que recorreram às fontes convencionais. Mas oferecer o mesmo chatbot aos médicos não melhorou de forma significativa o raciocínio deles.
O estudo, publicado em 2024 na JAMA Network Open, reuniu 50 médicos licenciados nos Estados Unidos, entre residentes e profissionais já formados. Eles foram distribuídos aleatoriamente em dois grupos. Um podia consultar o ChatGPT Plus, então baseado no GPT-4, além de recursos usuais como bases médicas e mecanismos de busca. O outro contava apenas com esses recursos convencionais.
Cada participante teve uma hora para examinar até seis vinhetas clínicas. A avaliação não se limitou a perguntar se o diagnóstico final estava certo. Uma rubrica, corrigida por especialistas que desconheciam a distribuição dos grupos, também considerou os diagnósticos diferenciais, os elementos favoráveis e contrários a cada hipótese e os próximos passos da investigação.
O grupo com acesso ao chatbot alcançou mediana de 76% por caso. O grupo sem o chatbot ficou em 74%. A diferença ajustada foi de dois pontos percentuais, com intervalo de confiança de 95% entre menos quatro e oito pontos e valor de p igual a 0,60. Em outras palavras, o experimento não demonstrou vantagem do acesso ao modelo.
Na análise exploratória, porém, o GPT-4 sozinho atingiu mediana de 92%. Sua vantagem sobre o grupo que utilizou recursos convencionais foi de 16 pontos percentuais. É justamente a distância entre esses dois resultados, o modelo sozinho e o médico com o modelo, que torna o estudo mais interessante.
FIGURA 1 — Desempenho no raciocínio diagnóstico por condição experimental.
Fonte: Goh et al. (2024). Direitos: recriação própria a partir dos dados do artigo, publicado sob licença CC BY.
O teste não era apenas de memória
Seria fácil explicar o resultado dizendo que uma máquina guarda mais informações do que uma pessoa. Mas o desenho do estudo tentou medir algo mais amplo do que recordar doenças raras. Os médicos precisavam organizar hipóteses, relacionar evidências a favor e contra cada uma e indicar como prosseguiriam.
Foram concluídos 244 casos. A amostra reuniu 26 médicos assistentes e 24 residentes, com mediana de três anos de prática. A maior parte tinha pouca familiaridade com modelos de linguagem: 28% nunca os havia usado ou os havia usado apenas uma vez; somente 16% relatavam uso semanal ou mais frequente. Ainda assim, todos os 22 participantes cujos registros de conversa estavam disponíveis utilizaram o chatbot quando ele lhes foi oferecido.
Também não houve ganho estatisticamente significativo de tempo. A mediana foi de 519 segundos por caso no grupo com o modelo e de 565 segundos no grupo convencional. A diferença ajustada, de menos 82 segundos, veio acompanhada de um intervalo de confiança que atravessava o zero.
Portanto, o ensaio não mostra que os médicos simplesmente ignoraram uma ferramenta disponível. Mostra algo mais incômodo: usar uma ferramenta não significa incorporá-la bem ao raciocínio.
A unidade de avaliação estava errada
Grande parte da conversa pública sobre inteligência artificial compara pessoas e modelos como se disputassem a mesma prova. Quem acertou mais questões? Quem produziu o melhor diagnóstico? Quem escreveu a resposta mais convincente?
Essa comparação mede capacidade isolada. Na prática, contudo, a unidade relevante raramente é apenas o modelo. É o conjunto formado por profissional, sistema, interface, instruções, tempo, contexto clínico e responsabilidade decisória.
Uma resposta correta só melhora uma decisão se for solicitada no momento adequado, apresentada de modo compreensível, confrontada com os dados certos e considerada com o peso correto. Se o médico formula uma pergunta estreita, recebe uma lista extensa, conserva a hipótese inicial ou não consegue distinguir uma sugestão útil de uma afirmação enganosa, a capacidade armazenada no modelo não chega inteira à decisão.
O estudo de Goh e colegas não foi desenhado para identificar qual desses mecanismos explica o resultado. Os próprios autores analisaram os registros de uso, mas o ensaio não isolou treinamento, desenho da interface ou diferentes estratégias de interação. Por isso, não é possível concluir que houve uma causa única, como resistência profissional, confiança excessiva ou baixa habilidade de escrever comandos.
É possível concluir algo mais restrito e mais útil: acesso, por si só, não bastou.
FIGURA 2 — A resposta do modelo percorre uma cadeia antes de se tornar decisão clínica.
Fonte: elaboração própria com base na interpretação do ensaio de Goh et al. (2024). Direitos: ilustração conceitual original; não representa resultado causal medido pelo estudo.
A evidência posterior muda a pergunta
Um segundo ensaio, divulgado como preprint em 2025, ajuda a formular uma hipótese, embora ainda não ofereça uma resposta definitiva. Nele, 60 médicos licenciados de instituições do Paquistão receberam treinamento estruturado em inteligência artificial, inclusive sobre modelos de linguagem. Dos 58 que concluíram o estudo, os que puderam usar o GPT-4o depois do treinamento obtiveram média de 71,4% na rubrica de raciocínio diagnóstico, contra 42,6% no grupo que utilizou recursos convencionais. A diferença ajustada foi de 27,5 pontos percentuais.
Os dois resultados não devem ser tratados como uma simples repetição com desfecho invertido. Mudaram o país, os participantes, o modelo, o tempo disponível e o desenho da preparação. O segundo trabalho também é um preprint: ainda não passou pela revisão por pares que antecede a publicação formal.
Mesmo com essas reservas, o contraste desloca a pergunta. Talvez não devamos perguntar apenas se médicos “com IA” superam médicos “sem IA”. Precisamos perguntar que formação receberam, que modelo usaram, como interagiram com ele, em quais casos e por meio de qual interface.
Essa mudança importa porque a expressão “uso de IA” encobre intervenções muito diferentes. Abrir uma janela vazia de chatbot é uma intervenção. Integrar o sistema ao prontuário, estruturar a solicitação, exigir evidências contrárias, sinalizar incerteza e treinar o profissional para conferir a resposta são outras. Elas não devem herdar automaticamente a mesma estimativa de benefício ou de risco.
O que o ensaio não autoriza dizer
O resultado de 2024 não prova que chatbots sejam inúteis na medicina. Também não prova que o GPT-4 diagnosticava melhor do que médicos em atendimento real.
Os participantes trabalharam sobre vinhetas resumidas, baseadas em casos publicados, e não entrevistaram pacientes. Não precisaram perceber uma hesitação, refazer uma pergunta, examinar um corpo, conciliar preferências, lidar com registros incompletos ou acompanhar a evolução de um quadro. O estudo avaliou raciocínio diagnóstico sob condições simuladas; não mediu dano, recuperação, mortalidade, satisfação ou qualquer outro desfecho clínico.
A análise do modelo sozinho também era exploratória. O GPT-4 respondeu aos casos três vezes com um comando padronizado elaborado pela equipe de pesquisa. Não estava tomando decisões autônomas diante de pacientes. Sua pontuação mostra capacidade naquela tarefa, sob aquela forma de avaliação, e não competência geral para praticar medicina.
Há ainda limites de escala e tempo. Foram 50 médicos, predominantemente de medicina interna, avaliados no fim de 2023 com uma versão específica de um produto comercial. Modelos, interfaces e hábitos profissionais mudam rapidamente. O estudo permanece relevante não porque encerra a discussão, mas porque revela uma falha recorrente de raciocínio sobre tecnologia: deduzir o desempenho do sistema a partir do desempenho de uma de suas partes.
Ferramentas também precisam de uma prática
Uma instituição que compra acesso a um modelo não comprou, no mesmo ato, melhores decisões. Comprou uma capacidade potencial.
A situação não é exclusiva da medicina. Entregar um modelo de inteligência artificial a um médico sem preparar sua forma de uso seria semelhante a disponibilizá-lo a um advogado e esperar, apenas por isso, petições mais consistentes ou estratégias processuais mais seguras. Nos dois campos, a resposta produzida pela ferramenta precisa ser confrontada com fatos, documentos, normas, precedentes, limitações do caso e consequências concretas. Um diagnóstico plausível pode ignorar um dado clínico decisivo, assim como uma tese juridicamente convincente pode se apoiar em jurisprudência inadequada, desatualizada ou incompatível com o processo analisado.
Médicos e advogados também compartilham uma característica central: não trabalham apenas com respostas, mas com decisões submetidas a responsabilidade profissional. O médico decide quais hipóteses investigar, quais exames solicitar e qual conduta adotar. O advogado define quais argumentos sustentar, quais riscos comunicar e quais medidas recomendar ao cliente. A inteligência artificial pode ampliar a capacidade de análise, mas não substitui o julgamento necessário para determinar se uma sugestão é pertinente àquela situação específica.
Transformar essa capacidade em benefício exige definir tarefas adequadas, formar usuários, desenhar verificações e medir o resultado do conjunto. Em saúde, isso significa avaliar mais do que a presença do diagnóstico correto em uma resposta. É preciso observar como a sugestão altera hipóteses, exames, condutas e desfechos, inclusive quando o modelo está errado. No Direito, a lógica é equivalente: não basta verificar se o texto parece tecnicamente correto. É necessário medir se a ferramenta melhora a pesquisa, reduz falhas, identifica riscos e contribui para decisões jurídicas mais bem fundamentadas.
A Organização Mundial da Saúde já advertiu, em sua orientação sobre ética e governança da inteligência artificial para a saúde, que seres humanos devem permanecer no controle das decisões médicas e que tecnologias precisam demonstrar segurança, precisão e eficácia para usos bem definidos. Essa cautela não equivale a rejeitar a automação. Ela impede que uma demonstração de capacidade seja confundida com evidência de benefício.
O ensaio de 2024 torna visível a fronteira entre essas duas coisas. O GPT-4 mostrou que podia produzir uma resposta forte. O experimento não mostrou que apenas colocá-lo ao lado do médico melhorava o raciocínio.
A pergunta decisiva, portanto, não é se a máquina acerta mais do que a pessoa. É se estamos construindo condições para que profissionais e máquinas, juntos, errem menos. Na medicina, no Direito e em qualquer atividade na qual uma resposta tecnicamente convincente ainda precise ser transformada em uma decisão responsável.
Referências
- GOH, Ethan et al. Large Language Model Influence on Diagnostic Reasoning: A Randomized Clinical Trial. JAMA Network Open, v. 7, n. 10, e2440969, 2024. DOI: 10.1001/jamanetworkopen.2024.40969.
- GOH, Kingshy et al. The impact of large language models on diagnostic reasoning among LLM-trained physicians: a randomized clinical trial. medRxiv, preprint, 2025. DOI: 10.1101/2025.06.06.25329104.
- WORLD HEALTH ORGANIZATION. Ethics and governance of artificial intelligence for health: WHO guidance. Geneva: WHO, 2021. Disponível em: https://www.who.int/publications/i/item/9789240029200.
