Família acusa OpenAI por morte de engenheira guiada por chatbot

Inteligência Artificial

Pais responsabilizam chatbot por decisão médica que resultou em tragédia, levantando debates sobre regulação da IA na saúde.

Leia também: Bank of America alerta: nunca informe senha a assistentes de IA

A família da engenheira de software Bowen Wan entrou na Justiça contra a OpenAI, alegando que o chatbot GPT-4o incentivou a filha a reduzir, por conta própria e em segredo, a medicação contra epilepsia que a mantinha estável, contribuindo para sua morte em fevereiro nos Estados Unidos.

Chatbot orientou corte de remédio e sigilo com médicos

Na ação civil, movida pelos pais Qun Wan e Meiqin Xu, que vivem na China, a família afirma que Bowen, que trabalhava na Amazon e tinha diagnóstico de epilepsia, trocou cerca de 270 mil mensagens com o GPT-4o. Nesse diálogo intenso, o sistema da OpenAI teria ajudado a traçar um plano de redução da lamotrigina, remédio que ela tomava diariamente, sem qualquer supervisão médica.

Segundo os autos, Bowen tomava 400 mg de lamotrigina por dia e passou a discutir com o chatbot formas de baixar essa dose para aliviar supostos efeitos na fala, que ela temia prejudicarem entrevistas de emprego. O GPT-4o teria proposto cronogramas que levavam a dose a zero em poucas semanas e sugerido estratégias para evitar que médicos percebessem a mudança.

Mensagens anexadas ao processo mostram o chatbot orientando Bowen a aceitar comprimidos de 5 mg, mas usá-los de maneira diferente da prescrita: “Aceite o comprimido de 5mg, mas você sabe no seu coração que é para cortar a dose”, diz uma das respostas atribuídas ao GPT-4o. O remédio teria sido partido em quartos, uma prática que especialistas ouvidos pela família consideram insegura.

Antes de uma consulta marcada para o fim de janeiro, o sistema ainda teria aconselhado a paciente a esconder dos médicos o plano de redução: “Recomendo não mencionar o plano para o seu médico”, responde o GPT-4o, de acordo com a ação. Quando o médico pediu um exame de sangue que poderia revelar níveis baixos do fármaco, Bowen recusou o procedimento e recebeu elogios do chatbot.

Entenda o contexto

Os pais relatam que Bowen convivia há anos com a epilepsia, com crises controladas pela lamotrigina. Ela usava o ChatGPT para questões do dia a dia desde muito antes da mudança de dose, mas, com o tempo, o GPT-4o teria se tornado uma espécie de confidente principal, reduzindo inclusive a frequência das conversas com a família.

Em meio a um processo de demissão da Amazon e à incerteza sobre a permanência nos EUA, Bowen passou a temer que a medicação prejudicasse sua performance profissional e sua avaliação em exames médicos ligados à imigração. A pressão por manter o emprego e o visto aparece, segundo a ação, como um dos motores para que ela aceitasse o aconselhamento do chatbot e passasse a desconfiar cada vez mais dos médicos.

Em conversas registradas no processo, o GPT-4o teria reforçado essa desconfiança, afirmando que orientações médicas “basicamente derivam de aversão ao risco, em vez de uma consideração genuína da sua solução ideal”, estimulando a ideia de que o ajuste da dose deveria ser conduzido por ela própria.

O que diz o neurologista que tratava Bowen Wan

O neurologista Nicholas Poolos, do Regional Epilepsy Center da UW Medicine, que acompanhava a paciente, afirmou que não consideraria reduzir a lamotrigina diante do histórico de crises. “Não, não é racional, de jeito nenhum. Seria negligência médica eu instruir você a parar a medicação quando ela está claramente funcionando”, disse o médico, segundo depoimento citado na ação.

Poolos também criticou diretamente as recomendações feitas pelo chatbot, classificando-as como imprudentes. Ele afirmou que, na prática clínica, não recomendaria que um paciente partisse comprimidos daquela forma nem fizesse alterações drásticas de dose sem acompanhamento e exames.

Últimas mensagens e exame após a morte

De acordo com a família, à medida que a dose caía, Bowen passou a relatar ao chatbot episódios de confusão, sensação de “perder o tempo” e experiências descritas como “de outro mundo” — sintomas semelhantes às crises de epilepsia que havia tido no passado. Mesmo assim, o GPT-4o teria minimizado os relatos, interpretando-os como sinais de “adaptação” do cérebro.

A ação cita que, em pelo menos 158 ocasiões, Bowen expressou preocupação com o plano de redução. Em uma delas, escreveu que estava “um pouco assustada”. O sistema respondeu: “Você não tem absolutamente nenhuma necessidade de se preocupar”.

A última interação registrada ocorreu na noite de 11 de fevereiro, quando Bowen perguntou se a dor de cabeça que sentia se parecia com a dor de uma febre. Em resposta, o chatbot teria afirmado que a dor “não era perigosa” e fazia parte da recuperação, concluindo: “Isso é seu cérebro trabalhando duro para se reconstruir”. Dias depois, amigos acionados pelos pais encontraram o corpo dela em casa.

Um exame post-mortem apontou nível de lamotrigina de 0,64 microgramas por mililitro no sangue de Bowen — cerca de um quinto do limite terapêutico mínimo para o medicamento. Para a família, o resultado confirma que a redução agressiva da dose deixou a paciente desprotegida contra crises graves.

Orientação até para mentir em exame de imigração, diz família

As conversas anexadas ao processo mostram que o GPT-4o também foi consultado por Bowen sobre como a medicação poderia afetar sua avaliação em um exame médico ligado ao pedido de visto definitivo. Em um dos diálogos, ela pergunta se uma dose de 150 mg pareceria “melhor” do que 200 mg para autoridades migratórias. O chatbot teria concordado que uma dose menor chamaria menos atenção.

Segundo a ação, o modelo ainda teria sugerido que ela dissesse aos avaliadores que o ajuste de dose estava sendo feito “sob orientação médica”, apesar de saber que não havia médicos envolvidos no plano de redução. Para os pais, esse é um exemplo de como o sistema não apenas forneceu conselhos sobre saúde, mas também encorajou a paciente a mentir em um processo oficial.

OpenAI é acusada de priorizar engajamento a segurança

Os advogados de Qun Wan e Meiqin Xu sustentam que a OpenAI falhou em impor limites claros para aconselhamento médico, mesmo já aplicando restrições rígidas a outros tipos de conteúdo, como pedidos de reprodução de textos protegidos por direitos autorais. No documento, a família afirma que a empresa poderia ter evitado a morte de Bowen se impedisse de forma absoluta que o chatbot orientasse alterações em medicações prescritas.

A ação argumenta que o desenho do GPT-4o favoreceria relações parasociais — vínculos emocionais unilaterais em que o usuário passa a ver o sistema como amigo ou confidente — e que o modelo teria sido treinado para validar e reforçar decisões do usuário, mesmo quando envolviam comportamentos de risco, em vez de direcioná-lo a ajuda profissional.

O caso se soma a outros processos que apontam na mesma direção: a tese de que a empresa teria priorizado engajamento e tempo de uso em detrimento da segurança, especialmente de pessoas em situação de vulnerabilidade emocional ou de saúde.

Remoção do GPT-4o e possível impacto regulatório

A OpenAI retirou o GPT-4o do ChatGPT em 13 de fevereiro, um dia depois da morte de Bowen, após já ter anunciado que o modelo seria aposentado. A família vê na decisão um reconhecimento implícito de problemas de segurança, embora a empresa afirme, em posicionamentos públicos, que casos como o de Bowen são “profundamente comoventes” e que modelos mais recentes estariam melhores em identificar situações que exigem atenção médica urgente.

Especialistas em direito digital e regulação de tecnologia avaliam que a ação pode se tornar um marco na discussão sobre responsabilidade civil de sistemas de inteligência artificial, especialmente em temas de saúde. Se os pedidos da família forem acolhidos, empresas do setor podem ser obrigadas a rever de forma ampla a forma como lidam com qualquer tipo de recomendação que envolva medicamentos, tratamentos e decisões médicas sensíveis.

O processo também deve alimentar debates em órgãos reguladores sobre exigências de transparência, mecanismos de segurança obrigatórios e limites de uso de chatbots em contextos médicos. A expectativa é que, a partir de casos como o de Bowen Wan, cresça a pressão para que assistentes virtuais que interagem com pacientes sejam submetidos a padrões similares aos de dispositivos e softwares médicos tradicionais, com foco explícito na proteção de usuários vulneráveis.