Amazon admite falhas em métricas de IA, mas mantém seu uso
Memo a engenheiros diz que tokens e adoção de IA são medidas imperfeitas, mas ainda servem para avaliar carreira e desempenho de equipes.
A Amazon reconheceu, em memo interno, que as métricas usadas para acompanhar o uso de inteligência artificial (IA) entre seus engenheiros de software são falhas. A empresa afirma, porém, que elas continuam sendo uma referência adequada para os profissionais pensarem na própria carreira e no desempenho das equipes. A informação é do HRD (Human Resources Director).
O documento foi dirigido aos engenheiros de desenvolvimento de software (SDEs, na sigla em inglês) e aos gestores, com apresentação de Terk Terkowitz, vice-presidente e engenheiro-chefe para as lojas da Amazon no mundo. Ele acompanha uma versão revista das diretrizes para a função de SDE, elaborada por líderes de engenharia a partir da observação dos engenheiros de maior sucesso da casa.
Foco em impacto, não em prática de IA
A diretriz não tenta definir o que é um bom uso de IA. Segundo os líderes, qualquer definição provavelmente pareceria ultrapassada em um ano. O texto se concentra no impacto para clientes, negócios e equipes.
O que o memo diz sobre as métricas
De acordo com o memo, a Amazon recorreu em alguns casos a métricas de entrada, como o consumo de tokens (as unidades de texto processadas pelos modelos de IA) e a adoção de ferramentas. Também usou medidas de volume de trabalho, como alterações de código e revisões. O motivo é que os resultados de longo prazo demoram a aparecer e são difíceis de isolar.
O documento é direto sobre as limitações: "Todos sabemos o quão falhas são essas métricas". Os líderes alertam que tratá-las como meta pode elevar custos e complexidade. Segundo o texto, buscar o maior consumo de tokens (o chamado tokenmaxxing) contraria o princípio de liderança da frugalidade, e medir linhas de código vai contra os princípios de inventar e simplificar.
Ainda assim, o memo afirma que essas métricas têm se correlacionado bem com os resultados que importam e que isso deve continuar por algum tempo. Segundo o texto, o efeito vem da maior produtividade nas equipes que mais adotaram IA, chamadas de "frontier teams", e do fato de que quem não adota a tecnologia ou não aumenta a produção está ficando para trás.
Orientação a gestores e engenheiros
Os gestores devem olhar para dois extremos: o décimo percentil de adoção de IA, para entender por que essas equipes não usam a tecnologia de forma eficaz, e o nonagésimo percentil, para verificar se o uso intenso gera ganhos equivalentes de entrega.
Para os engenheiros, o memo diz que, se as ferramentas atuais não ajudam em seu trabalho, isso deve ser tratado como uma constatação, e não como falha. Eles devem documentar os motivos e levá-los ao gestor. Segundo o texto, quem explica onde a IA ainda não ajuda mostra o discernimento que a empresa quer.
O memo não informa se as métricas entram em avaliações formais de desempenho ou em decisões de promoção.
O ranking interno que foi desativado
O documento vem depois de a Amazon encerrar, neste ano, um ranking interno de IA. Em junho, o painel conhecido como Kirorank pontuava funcionários pela atividade no Kiro, plataforma de IA para desenvolvedores da empresa. Alguns passaram a atribuir tarefas desnecessárias a agentes autônomos de IA para subir na lista, o que consumia capacidade de computação paga pela Amazon.
"Por favor, não usem IA só por usar", disse aos funcionários o vice-presidente sênior Dave Treadwell, segundo o Financial Times. A Amazon afirmou na ocasião que o painel, em versão beta, não era uma ferramenta formal nem aprovada e já havia sido desativado.
A empresa mantém a meta de que mais de 80% dos desenvolvedores usem IA toda semana. Adotou também uma medida chamada "normalised deployments", que acompanha os engenheiros que usam IA com regularidade para escrever código útil, em vez de contar o total bruto de tokens. A Amazon diz que seguirá ajustando a função de SDE conforme o efeito da IA no negócio e nas práticas de engenharia ficar mais claro.
Perguntas frequentes
O que é tokenmaxxing?
É o uso de IA para inflar números de consumo. No caso da Amazon, alguns funcionários atribuíram tarefas desnecessárias a agentes autônomos para subir no ranking interno Kirorank, gastando capacidade de computação que a empresa pagava.
Quais métricas o memo da Amazon reconhece como falhas?
As métricas de entrada, como consumo de tokens e adoção de ferramentas de IA, e as de volume, como alterações de código e revisões. O memo diz que elas são falhas, mas têm se correlacionado bem com os resultados que importam.
O que os gestores devem observar, segundo o memo?
O décimo percentil de adoção de IA, para entender por que essas equipes não usam a tecnologia de forma eficaz, e o nonagésimo percentil, para checar se o uso intenso traz ganhos equivalentes de entrega.
As métricas de IA entram na avaliação de desempenho na Amazon?
O memo não informa se elas são usadas em avaliações formais ou em decisões de promoção.
