Chefe de IA da AWS alerta: por que tokens não garantem lucro

Inteligência Artificial

Especialista da AWS destaca a importância de métricas tradicionais para avaliar projetos de IA além dos tokens.

Leia também: Perplexity lança Teammates, agente de IA sempre ativo

Colleen Aubrey, vice-presidente sênior de Soluções Aplicadas de IA na Amazon Web Services (AWS), defende que o sucesso de projetos de inteligência artificial seja medido pelas mesmas métricas de negócio que já orientam a gestão das empresas, e não por indicadores técnicos exclusivos de IA. Em entrevista concedida nesta semana, às vésperas do evento AWS re:Invent, ela afirma que quem continuar preso a métricas como contagem de tokens corre o risco de investir em experimentos que não mudam o resultado financeiro.

IA tem que mexer no balanço, não em dashboards técnicos

Aubrey, que acumula 20 anos de casa na Amazon e hoje é membro do S-team, o grupo executivo mais alto da companhia, resume o recado: o que importa são as métricas que o diretor financeiro já olha. “Eu me preocupo que as pessoas comecem a criar novas métricas para medir o impacto da IA, mas são as mesmas métricas”, explicou. “É o seu negócio que importa.”

Na prática, ela sugere abandonar a obsessão com retorno sobre investimento calculado em parâmetros de modelo, tokens processados ou benchmarks isolados e voltar à base: capital de giro, redução de custos, eficiência operacional, nível de serviço e satisfação do cliente. “A pergunta é: você pode mover suas métricas de negócio trabalhando de uma forma diferente?”, provoca.

Um dos exemplos apresentados é a Wells Vehicle Electronics, que usa soluções da AWS em sua cadeia de suprimentos. A empresa reduziu o inventário em 7% em três meses ao ampliar o volume de itens monitorados de 20 para 2.000 SKUs. O foco da conversa dentro da companhia não é desempenho de modelo, reforça Aubrey. “Ninguém na Wells está falando sobre tokens. Eles falam sobre capital de giro.”

Entenda o contexto

A orientação de Aubrey mira um problema comum: muitas organizações mantêm projetos de IA em fase de piloto porque não conseguem provar impacto concreto no negócio. Em vez de conectar as iniciativas a métricas clássicas de finanças e operação, equipes travam em debates sobre qual indicador técnico usar para calcular o ROI da tecnologia.

Segundo a executiva, isso cria uma desconexão entre área técnica e liderança de negócios. A consequência é um portfólio inflado de provas de conceito que consomem tempo e orçamento, mas não saem do laboratório. Ao atrelar cada projeto a um indicador que já existe no planejamento da companhia, o projeto deixa de ser “experimento” e passa a disputar recursos como qualquer outro investimento.

Por que projetos de IA emperram nas empresas?

Para Aubrey, um dos erros mais comuns é tentar automatizar ou replicar fluxos de trabalho inteiros com IA logo na largada. Esse tipo de ambição, avalia, aumenta a complexidade, alonga prazos e multiplica pontos de falha, até o projeto perder fôlego. Os casos que andam mais rápido são os que miram decisões específicas e dolorosas no dia a dia.

Foi essa abordagem que guiou a própria AWS no desenvolvimento de produtos internos e serviços para clientes. Quando assumiu a área de soluções aplicadas de IA, Aubrey herdou 35 programas de aplicação. O que mais chamou a atenção, diz, foi o desempenho do Amazon Connect, plataforma de atendimento em nuvem que se tornou referência dentro da casa.

Em vez de tentar igualar a lista de funcionalidades de concorrentes que já atuavam havia anos no mercado de centrais de atendimento, a equipe escolheu um diferencial claro. “Eles entenderam que não alcançariam paridade de funcionalidades”, disse Aubrey sobre a equipe do Connect. O foco passou a ser oferecer qualidade de voz superior apoiada na infraestrutura da AWS, e construir a partir daí.

A estratégia do “fazer menos, mas fazer muito bem” acabou virando modelo para a expansão da família Connect, que hoje inclui soluções como Connect Customer, Connect Talent, Connect Health e Connect Decisions.

Decisão certa, na hora certa

O caso de Connect Decisions ajuda a explicar a lógica. A primeira pergunta não foi como reescrever todo o fluxo de planejamento de cadeia de suprimentos com IA, mas onde estava a dor mais aguda e onde os sistemas atuais falhavam. A resposta: os planejadores de demanda, que lidam com excesso de sinais e decisões atrasadas.

“Eles estão sempre apagando incêndios, sobrecarregados por uma série de sinais. Quando chegam a decidir, o momento já passou”, relatou Aubrey. A partir daí, o produto foi desenhado para apoiar exatamente esse ponto crítico, aproximando sinais relevantes e sugerindo ações em tempo hábil, em vez de redesenhar todo o processo do zero.

Para ela, o recado aos executivos de tecnologia é direto: projetos de IA que tentam abraçar o fluxo inteiro tendem a travar. Os que identificam uma decisão cara, frequente ou arriscada e a tornam muito melhor têm muito mais chance de sair do papel e gerar resultado rápido.

Como medir o sucesso da IA na prática?

Na visão de Aubrey, o primeiro passo é esquecer a ideia de que IA precisa de um conjunto próprio de indicadores para justificar sua adoção. Se um projeto não consegue ser ligado a uma métrica que a empresa já acompanha — como giro de estoque, tempo de atendimento, taxa de conversão, margem ou índice de inadimplência —, ele deve ser tratado como experimento, não como investimento estratégico.

Isso não significa abandonar métricas técnicas, mas recolocá-las no lugar certo: como instrumentos internos para engenheiros acompanharem a saúde e a evolução dos modelos, não como vitrine para o conselho de administração. A régua final continua sendo o impacto no resultado.

Aubrey também chama atenção para um efeito colateral positivo da adoção em larga escala de ferramentas de IA, especialmente generativas, dentro da própria Amazon. A empresa começou como muitos clientes: liberando assistentes de código e outros recursos para equipes de desenvolvimento espalhadas. O primeiro momento é de caos controlado. “Todo mundo está apenas experimentando um monte de coisas”, disse a executiva.

Esse período de testes acaba escancarando gargalos estruturais. Conforme as equipes exploram os novos recursos, fica evidente onde a engenharia básica não dá conta. “Você passa por esse período de aprendizado de, sabe, nossa cobertura de testes é ruim”, contou Aubrey. Ao reforçar testes, surgem novos problemas: “nossos pipelines são ruins”. Ao melhorar os pipelines, reduzir intervenção manual e acelerar deploys, a organização finalmente captura ganhos de velocidade. No grupo liderado por ela, isso se traduziu em um aumento de duas vezes na velocidade de publicações em produção neste ano.

O ponto, para Aubrey, é que o ganho não veio “mágico” do assistente de código, mas do conserto da tubulação que a ferramenta expôs. Empresas que compram a solução sem encarar os ajustes de bastidor correm o risco de ver só aumento de atividade, sem aumento de entrega.

IA encaixada no trabalho real

Ao discutir desenho de produtos, Aubrey cita o que chama de “humorfismo”: a ideia de que a IA deve se encaixar na forma como as pessoas já trabalham, e não obrigar todos a se moldarem ao sistema. A principal preocupação hoje, diz, é reduzir o abismo entre protótipos internos e soluções prontas para uso diário.

Ela alerta que tecnologia forte com experiência ruim tende a fracassar. “Entregar uma boa IA com uma experiência de usuário ruim vai fracassar, na minha opinião”, afirma. Por isso, sua equipe investe em interfaces que vão além do comando textual tradicional e tentam antecipar intenções, lembrar decisões anteriores e carregar o trabalho adiante automaticamente.

Do lado da gestão, a adoção de IA também começa a mexer na definição de papéis. Em áreas de experiência do usuário da Amazon, funções se fundem: designers passam a ser pressionados a subir código em ambientes de teste, e surge um perfil híbrido, o “UX tech”. As metas, porém, ainda estão em ajuste. A mensagem de Aubrey ao time resume o tipo de mudança cultural envolvida: o profissional não pode se limitar à tarefa; precisa assumir o resultado. Em suas palavras, a única escolha que não vale é “assumir a tarefa” — é preciso “assumir o resultado”.

À medida que o re:Invent se aproxima, a leitura de Aubrey deve pautar conversas entre CIOs e líderes de negócio: em vez de correr para colecionar pilotos de IA, a prioridade será escolher problemas afiados, conectar cada iniciativa a métricas tradicionais e arrumar a casa de desenvolvimento para que a tecnologia deixe de ser promessa e apareça no balanço.