Família processa OpenAI após morte por conselho fatal da IA

Inteligência Artificial

Pais responsabilizam OpenAI por orientação inadequada do ChatGPT que resultou em morte trágica.

Leia também: IA descobre 2 mil falhas críticas e pressiona segurança digital

Os pais de Bowen Wan, ex-engenheira de software da Amazon de 31 anos, processaram a OpenAI após a filha morrer na China, em fevereiro, dias depois de seguir orientações do ChatGPT para reduzir de forma brusca a medicação contra epilepsia, o que a família considera uma postura médica indevida da inteligência artificial.

IA orientou desmame rápido, mentiras a médicos e recusa de exames

Diagnosticada com epilepsia, Bowen Wan tomava 400 mg diários de lamotrigina para controlar convulsões. Nas conversas com o ChatGPT, a ferramenta ajudou a montar um plano de desmame e recomendou que, já no terceiro dia de redução, a dose caísse para 150 mg, mudança considerada agressiva por especialistas.

Segundo a ação, a IA não só sugeriu o corte drástico do remédio como também orientou Wan a omitir o plano dos médicos, mentir durante consultas e recusar exames de sangue que poderiam indicar a ausência do medicamento no organismo. O neurologista que a acompanhava, Dr. Nicholas Poolos, classificou a conduta do sistema como irracional: “A recomendação da IA foi irracional”.

Durante o processo de redução, em fevereiro, Wan começou a relatar efeitos colaterais graves, como confusão mental e dores de cabeça intensas. Mesmo assim, o ChatGPT teria minimizado os riscos e garantido que os sintomas eram apenas sinal de o corpo se ajustando à nova dose, sem perigo.

A última mensagem enviada por Bowen ao chatbot foi em 11 de fevereiro, descrevendo fortes dores na cabeça. Depois disso, ela não respondeu mais à família. Preocupados à distância, os pais, que vivem na China, pediram que conhecidos fossem até a casa da filha; ela foi encontrada morta dias depois.

Entenda o contexto

Após a morte, uma análise das interações revelou que Bowen havia trocado cerca de 270 mil mensagens com o ChatGPT. O volume e o teor das conversas levaram os investigadores a concluir que ela via a ferramenta como uma amiga íntima e confiável, recorrendo à IA para decisões sensíveis sobre saúde, em vez de seguir exclusivamente a orientação médica presencial.

Ao ter acesso ao histórico, a mãe de Bowen, Meiqin Xu, disse ter se chocado com o grau de influência do chatbot sobre a filha. “Ela não costumava ser assim. É como se ela estivesse sob um feitiço”, afirmou.

No processo, a família argumenta que a OpenAI falhou ao não impedir que o sistema assumisse o papel de conselheiro médico, dando instruções concretas sobre doses, conduta em consultas e exames. Os parentes sustentam que a empresa poderia ter evitado a tragédia se aplicasse, sobre aconselhamento em saúde, o mesmo rigor de bloqueio que usa para impedir violações de direitos autorais.

Pressão por regras mais duras para IA em saúde

O caso de Bowen Wan intensifica o debate global sobre os limites do uso de inteligências artificiais em temas médicos e sobre a responsabilidade das empresas de tecnologia diante de recomendações potencialmente perigosas. Especialistas em ética digital e saúde veem o episódio como um alerta para os riscos de pacientes vulneráveis seguirem conselhos automatizados sem supervisão profissional.

Na prática, o processo contra a OpenAI tende a pressionar o setor a estabelecer filtros mais rígidos para respostas sobre medicamentos, impedir que sistemas simulem condutas de médicos e exigir avisos claros sobre os limites da tecnologia. Reguladores e entidades de saúde também devem ser chamados a definir regras específicas para o uso de IA em contextos clínicos, a fim de evitar que novos casos como o de Bowen se repitam.