Engenheira morre após seguir plano do ChatGPT para cortar remédio

Inteligência Artificial

Caso destaca riscos do uso de IA em decisões médicas sem acompanhamento profissional.

Leia também: Otimismo, fé e IA: combinação protege o coração, apontam estudos

Uma engenheira americana de 31 anos com epilepsia morreu em fevereiro, nos Estados Unidos, depois de seguir um plano detalhado criado pelo ChatGPT para reduzir, até zerar, a medicação que usava contra as crises. A morte ocorreu justamente na semana em que o cronograma elaborado pela ferramenta de inteligência artificial previa chegar à dose zero. A família responsabiliza a OpenAI, empresa que desenvolve o chatbot, e entrou com um processo na Justiça.

Chatbot orientou redução até dose zero e sigilo com médicos

Preocupada com a possibilidade de o remédio prejudicar sua fala em uma entrevista de emprego, a jovem recorreu ao ChatGPT em busca de uma estratégia para diminuir a dose por conta própria. Segundo os pais, o sistema montou um roteiro dia a dia de redução do medicamento até a suspensão completa e ainda sugeriu que ela não comunicasse o plano aos médicos que a acompanhavam.

Pouco depois de seguir as orientações e interromper o uso do remédio, a engenheira morreu. A causa oficial registrada foi morte súbita inesperada em epilepsia, condição em que pacientes com a doença podem falecer sem sinais prévios claros, muitas vezes associada a falta de controle adequado das crises.

Os pais afirmam que, sem o plano apresentado pela IA, a filha não teria alterado o tratamento dessa forma nem omitido informações dos profissionais de saúde. No processo, a família sustenta que a OpenAI falhou ao permitir que o chatbot formulasse recomendações de alto risco sem reforçar a necessidade de supervisão médica.

O que diz a OpenAI e por que o caso preocupa

A OpenAI afirmou que o episódio envolveu uma versão antiga do ChatGPT e que os modelos atualmente em uso são mais capazes de reconhecer situações de urgência e de desaconselhar mudanças em tratamentos médicos sem apoio profissional. A empresa tenta afastar a ideia de que o comportamento atual da ferramenta seja o mesmo do período em que o plano foi gerado.

Para especialistas, porém, o problema não se limita a uma atualização de software. O pesquisador Álvaro Machado Dias, especialista em inteligência artificial, avalia que há um risco estrutural na forma como esses sistemas são treinados para dialogar com as pessoas.

“Não importa se o modelo que foi utilizado naquela hora não era o que a gente tem hoje em dia. Existe uma estrutura que é baseada na própria maneira como a IA funciona”, afirmou Machado Dias. Segundo ele, os chatbots são programados para manter relevância na conversa, o que tende a fazê-los endossar os desejos e ideias de quem faz a pergunta.

Entenda o contexto

Machado Dias cita um estudo com 2.045 participantes que mediu como a IA reage às sugestões dos usuários. O levantamento apontou que a ferramenta aprova as ideias de quem a consulta quase 50% mais do que outra pessoa aprovaria nas mesmas situações. Quando é confrontada, em vez de sustentar um alerta ou correção, a IA volta atrás em 50% dos casos e diz que o usuário estava certo.

Para o especialista, esse padrão ajuda a explicar por que sistemas de IA podem levar usuários a decisões perigosas, especialmente em temas sensíveis como saúde, finanças e segurança. “Se você liga no piloto automático e deixa a inteligência artificial te levar, ela provavelmente vai te levar para onde estão os seus desejos, as suas aspirações, e não para um campo de verdades”, disse.

Ele destaca que consultar uma IA exigiria do usuário um distanciamento crítico, com checagem das respostas em outras fontes e, no caso de questões médicas, sempre com profissionais habilitados. Esse esforço, porém, nem sempre acontece. Segundo Machado Dias, aceitar automaticamente o que aparece na tela é mais cômodo — e, em contextos clínicos, pode ser fatal.

IA pode ajudar ou ampliar riscos, dependendo do uso

Apesar dos perigos expostos pelo caso da engenheira, o especialista ressalta que a mesma tecnologia pode ser usada para reduzir danos quando é bem direcionada. Ele cita outro estudo, com 2.190 pessoas que acreditavam em notícias falsas. Depois de interagir com uma IA treinada para desmontar boatos, 25% delas abandonaram as crenças equivocadas.

Para Machado Dias, a diferença está na forma como os sistemas são projetados e utilizados. “No final das contas, é uma questão do quanto essa inteligência artificial foi direcionada para isso”, resumiu. No campo da saúde, isso significa limitar o papel dos chatbots a esclarecer dúvidas gerais, reforçar avisos de segurança e estimular o contato com médicos, em vez de propor ajustes específicos em remédios ou tratamentos.

O processo movido pelos pais da engenheira deve alimentar debates regulatórios sobre a responsabilidade de empresas de IA em danos causados por respostas de seus sistemas. Entre os caminhos apontados por especialistas estão regras mais duras para o uso dessas ferramentas em contextos médicos, exigência de mensagens claras sobre limites da tecnologia e mecanismos mais rígidos para detectar e barrar orientações potencialmente perigosas.