A IA por trás do Adyen Uplift

Assim como a Adyen adota o conceito de fornecer funcionalidades de ponta a ponta em uma única plataforma, o mesmo se aplica a uma única transação.

Todas as etapas do fluxo de pagamento estão conectadas. Cada passo do processo depende do anterior, criando uma rede complexa de interligações. Por exemplo, a experiência de pagamento oferecida a um cliente depende do risco previsto, que por sua vez é influenciado pelo resultado da autenticação e pela escolha das rotas de pagamento, o que afeta os custos. Além disso, essa escolha também determina a estratégia de retentativa caso o pagamento falhe.

Para navegar por esse processo elaborado, investimos no desenvolvimento de um sistema capaz de tomar decisões estrategicamente ideais ao longo de toda a jornada de pagamento.

Ao mesmo tempo, nós, humanos, gostamos de controle e compreensão, mesmo que isso muitas vezes leve a erros. Para atender a essa necessidade, sistemas legados como o RevenueProtect ofereciam um vasto menu de condições para a criação de regras (“se isso, então aquilo”). Embora a sensação de controle possa ser bem recebida, o que realmente importa são os dados. Afinal, a qualidade de um sistema não se define por sua estrutura, mas pelo seu desempenho.

A única maneira de escalar tanto em complexidade quanto em volume, maximizando a performance global (não apenas local), é delegar a decisão às máquinas. Dada a complexidade dos padrões envolvidos, a única solução viável é permitir que a máquina aprenda com os dados (nota: sem ter acesso a todos eles – mais sobre isso abaixo).

Como em qualquer aplicação de IA, o papel dos humanos não é competir com a máquina pelas decisões, mas supervisionar seu comportamento.

Este artigo detalha algumas das decisões, engenharia e ciência por trás da IA do Uplift.

No passado, implantamos modelos de Machine Learning (ML) para otimizar localmente cada etapa de uma transação de forma isolada. Por exemplo, um modelo de fraude previa a probabilidade de um chargeback e bloqueava uma transação se a previsão ultrapassasse um determinado limite. Ao mesmo tempo, um modelo de autenticação, sem conhecimento do modelo de fraude, decidia qual rota era a melhor para um usuário específico (como isenção de SCA ou autenticação via 3DS1).

A IA por trás do Uplift muda esse paradigma. Ela foi projetada dentro do contexto de um processo de tomada de decisão e consiste em uma coleção de modelos de Machine Learning de diferentes naturezas, que compartilham conhecimento e consciência situacional. Esses modelos são otimizados globalmente por meio de Reinforcement Learning (Aprendizado por Reforço) e compartilham o mesmo objetivo: equilibrar fraude, custo e conversão de forma harmoniosa.

Vamos revisar alguns números da plataforma Adyen em 2023:

• US$ 1 trilhão em volume processado

• Crescimento de 26% ano a ano

• SLA para processamento de transações: 1 segundo, incluindo comunicação com adquirentes (600 milissegundos consumidos por essa etapa)

Agora, vejamos os números da plataforma Adyen na Black Friday/Cyber Monday de 2024 (4 dias):

• 670 milhões de transações processadas

• Pico de 163 mil transações por minuto (2,7 mil por segundo)

• Pico de 25 mil requisições de API por segundo

• Disponibilidade da API: 99,9999%

Estes números são impressionantes, mas tornam-se ainda mais quando consideramos que todas essas transações foram conduzidas por IA ao longo de sua jornada pela plataforma da Adyen. Cada transação passou por entre 2 e 5 endpoints de IA, onde um modelo de Machine Learning tomou uma decisão dentro de uma alocação de latência de 20 milissegundos.

Isso só é possível graças a uma série de componentes finamente projetados e desenvolvidos.

Infraestrutura e propriedade total

Todas as operações críticas da Adyen rodam on-premise. Isso significa que todos os componentes — incluindo o hardware de computação — são elaborados, construídos, implantados, testados e operados internamente pela Adyen. Nossa tecnologia é fortemente baseada em open-source, como evidenciado pelo stack tecnológico adotado.

Esse modelo nos permite ter propriedade e controle de ponta a ponta, garantindo a capacidade de implementar mudanças rapidamente, sem depender de terceiros para confiabilidade.

Plataforma de features

A IA está conectada a uma plataforma de features, que fornece vetores de entrada de baixa latência, alta cardinalidade e alto volume, abrangendo múltiplas geografias, tanto para serviços de treinamento quanto de inferência.

Para features mais lentas e complexas, utilizamos computação distribuída com Apache Spark. Já para features rápidas, processamos os dados em Apache Flink, armazenando e servindo essas informações em um backend Cassandra, distribuído em diferentes data centers ao redor do mundo para atender requisitos de latência e localização.

Essa plataforma de features permite servir funcionalidades com cardinalidade na casa das dezenas de bilhões e uma latência de resposta de poucos milissegundos. Discutimos o design e as decisões por trás dessa arquitetura nesta palestra no Codemotion 2023.

Serviço de inferência

Após o treinamento de um modelo, o aprendizado é registrado, armazenado e disponibilizado. O serviço de inferência, que chamamos de “Alfred”, permite que os cientistas criem experimentos, selecionem modelos, definam uma baseline e implantem o modelo com um tráfego dividido conforme a configuração escolhida.

O Alfred cria um endpoint de API interno conectado ao fluxo de pagamento – um dos fluxos mais críticos da Adyen. Ele é responsável por processar cada requisição com uma latência p50 de 20 ms e p99 de 100 ms. O tamanho do artefato e a arquitetura de serviço são fatores fundamentais para alcançar esse desempenho. Como curiosidade, nos tornamos especialistas em eliminar qualquer indexação, metadados ou caminhos auxiliares nos pickles do NumPy ou Pandas – indo direto ao essencial!

Além disso, o serviço de inferência gerencia os modelos com uma abordagem principal-desafiante. Cada implantação equivale a um experimento e segue estas etapas:

1. Ghost – o novo modelo é testado em background, registrando apenas telemetria e estatísticas, sem influenciar os resultados.

2. Challenger – o modelo começa a impactar as decisões para uma fração do tráfego, enquanto seguimos monitorando a telemetria.

3. Promoção a principal – se o modelo desafiante demonstrar desempenho superior ao principal com confiança estatística, ele substitui o modelo atual, que é aposentado.

Dessa forma, garantimos que apenas os modelos com melhor desempenho sejam utilizados na tomada de decisão em tempo real.

Serviço de experimentação

Todas as implantações de modelos operam sobre um serviço de experimentação, que quantifica o desempenho de cada modelo (principal, ghost ou challenger) com precisão científica. Cada implantação é estruturada como um experimento, ou seja, uma hipótese a ser testada.

Utilizamos testes A/B/n para comparar estatísticas entre modelos e um grupo de controle unificado, garantindo que os experimentos sejam conduzidos com implementações graduais para maximizar a experiência do usuário.

O grupo de controle unificado é um subconjunto consistente do tráfego em todas as etapas de uma transação, no qual os modelos não intervêm. Ele serve como referência para rastrear transações e comparar os resultados dos modelos. No entanto, ainda atuamos nesse grupo de controle com uma baseline de mercado – ou seja, um nível mínimo de qualidade que qualquer provedor de pagamentos competente ofereceria. Essa baseline inclui:

• Bloqueio de cartões roubados

• Isenção de SCA (Strong Customer Authentication) quando aplicável

• Forçamento de network token

• Repetição da autenticação com um desafio em caso de falha

Esse método resulta em um cálculo de melhoria mais conservador, mas também mais realista e confiável para avaliar o impacto dos nossos modelos de IA.

Resolução de entidades

Um dos maiores bancos de dados da Adyen é um grafo (estrutura de nós e arestas, representando relações entre estes objetos) que vincula atributos de transações para reconhecer entidades. Serve como uma fonte valiosa de informações para modelagem e treinamento.

Esse grafo contém mais de 100 bilhões de nós e 300 bilhões de arestas. Seguindo rigorosamente diretrizes como PCI e GDPR, estimamos que mais de 1 bilhão de indivíduos já transacionaram na plataforma da Adyen. 

Para armazenar esses dados, inicialmente usamos bancos PostgreSQL, que fornecem um tempo de resposta eficiente, mas não suportam a complexidade dos cálculos necessários. Por isso, migramos para uma arquitetura lambda híbrida, utilizando Cassandra para fluxo online e um fluxo offline que corrige e aprimora os dados a cada hora.

Chamamos esse sistema de CELL (Customer Event Linking Logic).

Computação e armazenamento

Escalar IA em nosso nível exige uma infraestrutura robusta. Aqui estão alguns números da plataforma de dados da Adyen em janeiro de 2025:

• 1.500+ nós

• 600 TB de RAM

• 60.000 núcleos de CPU

• 70 PB de armazenamento

• 96 GPUs NVidia A100 Tensor Core com NVLink Bridge

• 1.000+ DAGs rodando diariamente ou sob demanda (usamos Airflow e Spark)

Nosso investimento contínuo garante que nossa nuvem privada esteja sempre moderna e pronta para o futuro.

Regulamentação, autenticação e cofres de tokens

Escalar não se trata apenas de lidar com grandes volumes de dados, latência ou tempo de atividade. Também envolve a responsabilidade de garantir a segurança e a conformidade à medida que mais clientes confiam na Adyen para processar seus pagamentos e serviços financeiros. Isso exige que ofereçamos soluções técnicas que sigam as regulamentações de forma nativa, ao mesmo tempo em que atendemos às necessidades de crescimento do nosso negócio.

Para isso, temos impulsionado as diretrizes de Strong Customer Authentication (SCA) dentro do PSDx, inovando na forma de garantir conformidade regulatória enquanto desenvolvemos produtos que ajudam nossos clientes a aumentar suas taxas de conversão. O Uplift utiliza decisões inteligentes para selecionar a melhor abordagem de autenticação, enquanto equilibra riscos, conversão e custos. Ele pode escolher entre diversas ações disponíveis, como uma isenção, uma versão do 3DS ou um passkey.

Da mesma forma, escalamos nosso cofre de tokens, armazenando mais de 2 bilhões de tokens para proteger dados altamente sensíveis sob regulamentação PCI-compliant. Por exemplo, a inteligência artificial do Uplift pode decidir se deve tokenizar um dado, reutilizar um token ou convertê-lo de volta para um PAN, sempre com base em objetivos de otimização.

A eficácia da inteligência artificial depende do conjunto de ações que ela pode executar. No Adyen Uplift, criamos um ecossistema de ações compatíveis com regulamentações que, em escala, liberam todo o potencial da IA para maximizar a performance.

Decisões holísticas interconectadas

Em vez de manter modelos isolados, usamos passagem de mensagens (message passing) para conectar modelos e criar um ambiente de tomada de decisão coletiva.

Pesquisamos redes neurais mais complexas para unificar decisões, mas esbarramos em desafios de latência e disponibilidade. No entanto, continuamos investigando essa abordagem e planejamos migrar toda a pipeline para arquiteturas de Deep Learning no futuro próximo.

Avaliação off-policy

Geralmente, rodar testes A/B é um processo custoso em tempo e dinheiro. Implantar uma variante ruim pode gerar prejuízos financeiros, e o volume de tráfego necessário para alcançar significância estatística pode levar muito tempo. Além disso, há o desafio de ter um limite de quantos experimentos podem ser executados anualmente, o que pode atrasar a descoberta de uma versão superior e resultar em perda de receita. Sem contar o impacto operacional e cognitivo, além do "sacrifício" do tráfego para testar uma hipótese. Em organizações de produto maduras, é comum que muitos testes A/B resultem em efeitos neutros ou insignificantes, desperdiçando ainda mais tempo.

Para resolver esse problema, investimos em pesquisas sobre avaliação off-policy, que nos permite rodar testes A/B offline. Novas variantes podem ser testadas instantaneamente, com uma correlação superior a 80% em relação a estimativas on-policy (testes A/B tradicionais).

Os ganhos são expressivos: economizamos aproximadamente 20 semanas por ano em testes A/B inconclusivos e conseguimos processar entre 9 e 54 milhões de transações adicionais em um período de seis meses.

Essa pesquisa foi submetida ao RecSys ‘25 e um preprint já está disponível no arXiv.

Contrafactuais e inferência causal

Na nossa escala, compreender as causas por trás dos resultados dos experimentos não é apenas um interesse, mas uma necessidade. Isso nos permite identificar e evitar fontes sistêmicas de entropia no futuro.

Um dos maiores desafios surge quando tomamos uma decisão em uma transação – por exemplo, bloqueá-la por suspeita de fraude. Nesse caso, nunca saberemos o que teria acontecido se não tivéssemos agido. Em estatística, esse conceito é chamado de contrafactual. Para entender a distribuição completa do tráfego, precisaríamos não intervir, o que contraria o propósito do sistema.

Embora grupos de controle, randomização e tráfego de exploração ajudem a mitigar esse problema, aprofundar-se em disciplinas como inferência causal nos permite compreender melhor as razões por trás dos resultados experimentais e superar as limitações dos contrafactuais.

Além disso, estamos investindo em pesquisa acadêmica, financiando mais uma posição de doutorado na UvA’s AMLAB (Universidade de Amsterdã) para estudar inferência causal em grandes volumes de dados como os nossos. Os pesquisadores de PhD têm o objetivo de expandir as fronteiras da ciência e publicar artigos, enquanto colaboram com a equipe de engenharia da Adyen para testar e implementar hipóteses.

Um exemplo disso é nosso simulador de transações baseado em IA Generativa, que modela distribuições, contrafactuais e informações sensíveis (PII). Com ele, conseguimos testar e comparar algoritmos antes de rodar experimentos em tráfego real, garantindo mais segurança e eficiência nas nossas decisões.

Weak Supervision

Trabalhar com labels é um desafio por dois motivos: quantidade e qualidade. Dado o nosso volume de dados, temos labels suficientes para treinar modelos e podemos aplicar técnicas como downsampling sem comprometer o treinamento.

No entanto, ainda deixamos para trás parte do poder preditivo, pois os labels frequentemente chegam tarde, de forma incompleta ou sequer chegam. Para mitigar isso, investimos em pesquisa sobre Weak Supervision.

A premissa do Weak Supervision é que o modelo se beneficia mais de um grande volume de dados – mesmo que ruidosos – do que de uma quantidade menor de dados altamente curados. Em outras palavras, para um volume fixo de dados de alta qualidade, adicionar dados mais ruidosos pode gerar um desempenho melhor do que treinar apenas com um subconjunto pequeno e preciso.

Essa abordagem se conecta ao Adyen’s Data Flywheel, que busca aumentar simultaneamente a qualidade e a quantidade de labels, além de integrar Active Learning (trabalho futuro, mais detalhes abaixo).

Os resultados já são significativos:

• +22% de aumento no recall (capacidade de identificar corretamente casos de fraude)

• -46% de redução na perda de taxa de autorização

• +13% de aumento na taxa de recusas por emissores, melhorando a eficiência da detecção de fraudes

Com Weak Supervision, conseguimos maximizar o uso dos nossos dados e tornar a plataforma da Adyen ainda mais inteligente e eficaz.

Exploração não-uniforme para Contextual Bandits

Ao rodar um experimento em tempo real, com tráfego real, dentro de um sistema com o uso de Contextual Bandits (técnica de aprendizado por reforço, ou Reinforcement Learning), enfrentamos um dilema clássico:

1. Exploração – testar novas ações para garantir que nosso conhecimento continue válido e não estejamos apenas repetindo verdades antigas.

2. Exploitação – escolher a ação que, com base no conhecimento atual, maximiza a recompensa esperada.

A técnica mais simples para balancear esses dois fatores é o epsilon-greedy, onde uma pequena fração do tráfego (epsilon) é destinada à exploração, testando ações que podem não ser as ótimas no momento.

No entanto, há diversas abordagens para selecionar a melhor ação exploratória, garantindo que a exploração continue sem comprometer demais a performance geral. Pesquisamos e implantamos experimentos em toda a plataforma utilizando diferentes técnicas e encontramos resultados significativos em abordagens baseadas em Regression Oracles.

Essa pesquisa foi submetida à WWW ‘25 e um preprint já está disponível no arXiv: 📄 [2412.00569] Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning at Adyen

Deep Learning & Ensembling

Na Adyen, seguimos um princípio cultural essencial: buscar a simplicidade, criando soluções para problemas reais, e não problemas para justificar soluções tecnológicas.

Por isso, algoritmos clássicos de Machine Learning, como boosted trees, continuam sendo uma referência forte para a maioria dos problemas de classificação e regressão que envolvem dados estruturados. Em muitos casos, esses modelos ainda são a nossa baseline principal.

No entanto, temos conduzido experimentos avançados (com o nosso experimentation engine) implantando Heterogeneous Ensembles de Redes Neurais para pontuação online no fluxo de pagamentos. Os resultados mostraram que não apenas atingimos paridade de desempenho com os modelos baseados em boosting, mas em alguns casos conseguimos superá-los – e com ganhos que justificam o aumento da complexidade operacional.

Nota sobre IA Generativa

É importante ressaltar que IA Generativa (como LLMs) não é a tecnologia ideal para esse problema específico. No entanto, nos inspiramos no trabalho de empresas como a Hyperplane, que desenvolveram modelos offline baseados na arquitetura Transformer, eliminando a necessidade de um design manual de features – um tema que exploraremos no próximo ponto.

Arquiteturas Transformer

Estamos experimentando o uso de Pre Training Não Supervisionado e Transformers para explorar toda a escala dos nossos dados e incorporar os vieses indutivos corretos no nosso processo de modelagem.

Além dos esforços para utilizar mais dados, como Weak Supervision e Active Learning, também estamos considerando abordagens que mudem completamente o paradigma supervisionado e nos permitam desbloquear o potencial máximo dos nossos dados. Inspirados pelos avanços recentes em Self-Supervision aplicados à modelagem de linguagem, estamos aplicando os mesmos padrões de Pre Training Não Supervisionado aos dados de pagamentos. Ao inferir labels a partir da estrutura dos próprios dados, conseguimos alcançar uma supervisão sem intervenção humana e liberar todo o potencial dos nossos datasets.

Assim como frases são sequências de palavras, compradores são sequências de transações – essa é a estrutura de dados central da Adyen: sequências de transações dos compradores. Abordagens tradicionais de modelagem frequentemente ignoram essa suposição e tratam as sequências de forma independente ou tentam contornar isso com agregações pontuais dos compradores. No entanto, a arquitetura Transformer nos permite uma abordagem alternativa para extrair o poder preditivo dessas estruturas.

Portanto, Transformers e Self-Supervision estão nos permitindo construir um modelo fundacional de pagamentos treinado em bilhões de transações, possibilitando a inicialização de qualquer processo de modelagem em uma escala sem precedentes. Por meio de fine-tuning e entity embeddings, estamos aprimorando os insights sobre compradores, melhorando a detecção de fraudes e abrindo novas oportunidades de pesquisa, como a geração de dados sintéticos.

Observabilidade

Uma vez que os modelos são implantados e quantificados por meio de um experimento, executamos diagnósticos continuamente para garantir que o desempenho seja mantido. Aplicamos técnicas clássicas de detecção de drift (tradicionalmente no escopo de MLOps), além de algoritmos mais avançados para identificar desvios de desempenho de negócios e vieses.

Entre as abordagens utilizadas, combinamos MIST (Multiple Irregular Seasonalities and Trend Decomposition) e DTW (Dynamic Time Warping) para detectar padrões irregulares e mudanças estruturais nos dados. Abordamos esses aspectos em detalhes na PyData 2024.

Equidade e explicabilidade

Ao delegar decisões à máquina, surgem desafios para garantir que essas decisões não introduzam vieses que segmentem determinados grupos demográficos ou sejam consideradas injustas sob uma perspectiva humana.

Para isso, estabelecemos um grupo de trabalho interno composto por especialistas técnicos e jurídicos para acompanhar as regulamentações, incluindo GDPR e o AI Act. Também implementamos mudanças nos processos para garantir que a Adyen continue fiel ao seu princípio cultural de ser uma empresa altamente ética. Todos os produtos e modelos passam por avaliações rigorosas para detectar possíveis viéses e identificar riscos de não conformidade com regulamentações e diretrizes internas. Uma vez aprovados, monitoramos continuamente por meio de ferramentas de observabilidade para garantir que certos atributos sensíveis não sofram overfitting.

Todas as decisões tomadas por IA precisam ser explicáveis. Para isso, cada inferência é registrada, e algoritmos que avaliam os motivos subjacentes dessas decisões são pontuados (por exemplo, valores SHAP). A interface do Adyen Uplift exibe explicações detalhadas sobre cada decisão em nível de transação.

O Adyen Uplift representa o que há de mais avançado em IA aplicada a pagamentos, utilizando Machine Learning, Aprendizado por Reforço, experimentação avançada e infraestrutura escalável para otimizar cada transação. Com uma abordagem holística e controlada internamente, continuamos impulsionando a inovação no setor de pagamentos.

Embora este artigo ofereça uma visão geral dos bastidores, desafios e aprendizados na construção e implementação do Adyen Uplift, sabemos que ainda estamos apenas no começo da jornada.

Estamos ativamente pesquisando não apenas os campos mencionados acima, mas também novas abordagens promissoras, como Agentic Flows, Alignment, Weak Supervision + Active Learning Flywheel e Identity Representation Learning com Differential Privacy.

Aqui, apresentamos um panorama transparente e objetivo da tecnologia por trás do Adyen Uplift. Estamos sempre em busca de talentos excepcionais para se juntar ao nosso time. Se este conteúdo foi interessante pra você, confira nossa página de carreiras.