記事
Adyen UpliftのAI
パイロット版の成功を経て、Adyen Upliftが一般向けにリリースされました。これを機に、Upliftの背景にあるエンジニアリングとサイエンスについて掘り下げてみたいと思います。
本記事は、AdyenがAIをどのように捉えているか、そして全体的な進捗や今後の方向性を示したブログ記事「AdyenによるAIの活用」の続編です。本記事では、プラットフォーム上のすべての取引を最適化する上でAIが果たす役割について詳しく説明します。
AIは未来への唯一の道
Adyenが掲げる「単一のプラットフォームでエンドツーエンドの機能を提供する」というコンセプトは、個々の取引にも当てはまります。
決済フロー内のすべてのステップは相互に結びついており、それぞれが前のステップの結果に依存することで、複雑な依存関係を生み出しています。例えば、顧客に提供される決済体験は予測リスクに左右され、その予測リスクは認証結果によって変わります。また、決済レールの選択は、コストに影響し、決済が失敗した場合の再試行の戦略にも関わってきます。
この複雑なプロセスに対応するため、当社は決済ジャーニー全体でグローバルに最適な意思決定を行うシステムの開発に投資しました。
同時に、人間は自分でコントロールし、理解したいと考えるものです。それが多くのミスを招く可能性があっても、その欲求は変わりません。このニーズに応えるため、従来のシステムでは、ルールを作成できる無数の条件を並べたメニュー（「もしAならB」のようなもの）を提供していました。自分でコントロールしているという感覚は歓迎されますが、本当に重要なのはデータです。実際、システムの品質を決めるのは、その設計ではなく、パフォーマンスなのですから。
複雑性と取引量の増加に対応し、ローカルではなくグローバルなパフォーマンスを最大化するための唯一の解決策は、これら2つの要素を調和させることです。そして、それを実現するには、意思決定を機械に委ねる必要があります。そもそも、パターンが複雑であることを踏まえると、機械がデータからパターンを学習できるようにする以外の選択肢はありません（注：機械はすべてのデータを見るわけではありません。詳細は後述）。
あらゆるAIアプリケーションと同様、人間の役割は、意思決定や生成された内容をめぐって機械と争うことではなく、機械の振る舞いを監督することです。
本記事では、Adyen UpliftのAIの背景にある意思決定、エンジニアリング、そしてサイエンスについて詳しく説明していきます。
パート1：コンセプト
当社はこれまで、取引の各ステップを個別に最適化する機械学習モデルを展開してきました。例えば、不正利用モデルはチャージバックの確率を予測し、予測された可能性がしきい値を上回る場合に、その取引をブロックし、本人認証モデルは他の要因を考慮せず、特定のユーザーにとって最適なルートをリアルタイムに決定してきました（例：強固な本人認証の適用免除や3Dセキュア1.0など）。
Adyen UpliftのAIは、この常識を覆します。AdyenのAIは意思決定プロセスを基盤に設計されており、さまざまな種類の機械学習モデルで構成されています。これらのモデルは相互に認識と知識を共有しながら、強化学習によってグローバルに最適化されており、不正利用の低減、コストの削減、コンバージョン率の向上のバランスを取るという共通の目的を持っています。
パート2：エンジニアリング
2023年のAdyenプラットフォームの主要な数値を振り返ってみましょう。
プラットフォームで処理された取引総額：1兆ドル
前年比成長率：26%
取引処理のSLA：アクワイアラーとの通信を含めて1秒（通信には約600ミリ秒を要します）
次に、2024年のブラックフライデー／サイバーマンデー（4日間）におけるAdyenプラットフォームの数値を見てみましょう。
取引件数：6億7,000万件
ピーク時の取引件数：1分あたり16万3,000件（1秒あたり2,700件）
ピーク時のAPIリクエスト件数：1秒あたり2万5,000件
APIアップタイム：99.9999%
これらの数字だけでも十分に印象的ですが、さらに驚きなのは、これらの取引がすべてAdyenプラットフォームを介してAIによって処理されたことです。各取引は、2つから5つの異なるAIエンドポイントを経由し、そのたびに機械学習モデルが意思決定を行い、レイテンシーは中央値で20ミリ秒でした。
これは、精巧に設計され、エンジニアリングされた数々のコンポーネントによって実現されています。
注：Adyenのすべての重要なフローはオンプレミスで実行されています。つまり、ここで言及されているコンポーネント（コンピューティングハードウェアを含む）はすべて、Adyen自身が設計、開発、展開、テスト、運用しています。前述の技術スタックからも分かるように、当社はオープンソースを積極的に活用しています。インフラが整った環境では、完全な垂直統合によるエンドツーエンドの管理体制により、サードパーティに頼らずに信頼性を確保しながら、迅速に変更を適用できます。
特徴量プラットフォーム
当社のAIは特徴量プラットフォームに接続されており、この特徴量プラットフォームは、トレーニングおよび推論サービスの両方に対し、低レイテンシー、高カーディナリティ、高容量、複数地域対応の入力ベクトルを提供しています。計算に時間がかかる複雑な特徴量はSparkによる分散コンピューティングを利用し、即時計算が可能な特徴量はApache Flinkで処理します。これらのデータを、各地域のデータセンターに展開されたCassandraバックエンドに保存して提供することで、局所性とレイテンシーの要件に対応しています。
特徴量プラットフォームにより、数百億単位のカーディナリティと1桁ミリ秒単位のレイテンシーで特徴量を提供できます。これらの設計や決定事項についてはCodemotion 2023での講演とこのブログ記事で説明しています。
推論サービス
モデルのトレーニング後、アーティファクトが登録、保存、提供されます。推論サービス（「Alfred」と呼びます）により、サイエンティストは実験を作成し、モデルを選択し、ベースラインを定義し、トラフィックの分割割合を指定してモデルを展開できます。
Alfredは、決済フロー（非常に重要なフロー）に接続する内部APIエンドポイントを作成し、すべてのリクエストをp50で20ミリ秒以内、p99で100ミリ秒以内に処理する役割を担います。このような結果を得るには、アーティファクトのサイズと処理アーキテクチャが重要です。なお、当社はNumPyやPandasのPickleファイルから不要なインデックス、メタデータ、補助パスをすべて削除する作業に精通しており、余計なものを徹底的に排除しています。
推論サービスはモデル管理の役割も担っています。当社は、すべての展開（ここでは実験を指します）において、「プリンシパル・チャレンジャーモデル」を採用しています（詳細は後述）。Alfredは、大半のトラフィックで使用され、すべてのバージョンの中で最も高いパフォーマンスを発揮する単一のモデルを「プリンシパル」としてラベル付けします。実験として導入された新しいモデルは、次の2段階で展開されます。(1)「ゴースト」：テレメトリと統計データのみを記録し、結果には影響を与えません。(2)「チャレンジャー」：指定されたトラフィックの割合に応じて結果に影響を与え、テレメトリを記録します。チャレンジャーが統計的に有意な形でプリンシパルモデルよりも優れたパフォーマンスを示した場合、既存のプリンシパルが廃止され（「引退」）、チャレンジャーが新しいプリンシパルに昇格します。
実験サービス
すべてのモデルの展開は、実験サービス上で実行されます。このサービスでは、各モデル（プリンシパル、ゴースト、チャレンジャー）のパフォーマンスが科学的精度で定量評価され、仮説を検証するための実験の枠組みとして運用されます。具体的には、A/B/nテストを実施し、各モデルの統計を標準コントロールグループと比較しながら、段階的に展開し、得られた知見を反映しつつ実験を進めます。
標準コントロールグループとは、取引のすべてのステップで同じルールが適用され、モデルが作用しないトラフィックのことです。取引の追跡に利用され、すべてのモデルの比較ベースラインとして機能します。なお、「市場ベースライン」は別に定義されており、コントロールグループにも一定の処理が適用される点に注意が必要です。「市場ベースライン」とは、優れた決済プロバイダーが提供する標準的な決済体験の品質を指します。このベースラインには、盗難カードのブロック、強固な本人認証（SCA：Strong Customer Authentication）の適用免除、ネットワークトークンの強制適用、認証失敗時の再試行が含まれます。そのため、当社のシステムでは、算出される数値が低くなることがあるものの、より公正な成果の算出が可能になります。
パート3：拡張性
エンティティ解決
Adyen最大のデータストア（またはデータベース）の1つは、エンティティを識別するために取引の属性を相互に関連付けるグラフです。このグラフは強力な情報源となり、モデル化することで、特徴量を抽出したり、トレーニングに活用したりできます。
当社は、PCIやGDPRの厳格な指令のもと、高い倫理基準を維持する方針に従い、この情報をリスクベースの判断やデューデリジェンスの意思決定に活用しています。当社は、Adyenプラットフォーム上で取引を行ったことのある個人が世界中で10億人以上に上ると推定しています。このグラフには、すべての取引の属性が含まれており、現在の規模は1,000億ノード、3,000億エッジを超えています。
これまで、当社はこのデータをPostgresデータベースに保存してきました。Postgresは、データ提供速度の面では優れたソリューションですが、計算の複雑さ（関連付けロジック）やデータ量の面では課題があります。このため、当社はハイブリッドアプローチを採用したラムダアーキテクチャへのシステム移行を進めています。オンラインフローは、より効率的に関連付けを行うCassandraをベースとしており、より複雑な処理に対応できます。一方、オフラインフローは、複雑な計算を行い、新しいリンクの追加や誤ったリンクの解除を通じて、オンラインデータストアを毎時間更新します。当社ではこのシステムをCELL（Customer Event Linking Logic）と呼んでいます。
計算およびストレージのサイズ
当社の規模でAIを展開するには、必然的にその基盤となるデータを活用する必要があります。そのため、当社はこうしたプロセスを処理できるインフラとフレームワークに投資してきました。ここで、2025年1月現在のAdyenのデータプラットフォームに関する主要な数値をご紹介します。
1,500以上のノード
600TBのRAM
6万個のCPUコア
70PBのストレージ
NVLink Bridgeを備えた96個のNVIDIA A100 TensorコアGPU
1,000以上のDAGをプラットフォーム上で毎日またはアドホックに実行（当社は主にAirflowとSparkを活用）
当社は、将来を見据えて、最新化と容量確保のための投資を継続的に行っています。つまり、独自のクラウドを運用し、それを常に最新の状態で稼働させるためのプロセス、人材、文化を備えているということです。
規制、本人認証、トークン管理システム
拡張性とは、データ負荷、レイテンシー、アップタイムの増加を意味するだけではありません。Adyenを信頼し、決済や金融サービスの処理をお任せくださる加盟店様が増えるにつれ、当社が負う責任も増していきます。そのため、当社は規制を本質的に遵守する技術的ソリューションを提供しつつ、同時にビジネスのスケーリング（拡大）ニーズにも応えなくてはなりません。
その一環として、Adyenは欧州の決済サービス指令に基づく強固な本人認証の導入を推進しており、規制を遵守しながらも、加盟店のコンバージョン率向上に役立つプロダクトを市場に投入し続けています。
Upliftでは、AIが最適な認証手段（レール）を選び、不正利用の低減、コンバージョン率の向上、コストの削減のバランスをとります。具体的には、「免除」、「3DSの特定バージョン」を使うか、「パスキー」を使うかなど、いくつかの選択肢の中から判断します。
同様に、当社はトークン管理システムの規模を拡大し、PCI準拠の規制に基づき、極めて機密性の高いデータを保護する20億以上のトークンを管理しています。例えば、UpliftのAIは、グローバルな最適化目標に基づき、トークン化、トークンの使用、またはトークンからPANへの変換を選択できます。
AIの効果は、「アクションの選択肢の広さ（＝行動の幅）」によって決まります。そのため、Upliftではスケーラブルかつ規制に準拠した多様なアクションを設計しており、それによってAIの性能を最大限に引き出すことができるのです。
パート4：サイエンス
統合された包括的な意思決定
最も難しい課題の1つは、「互いに無関係な機械学習モデルの集まりを、共通の目的に向かわせること」です。Upliftの現行バージョンでは「メッセージパッシング」という手法を使っており、これはシンプルながらも効率的に各モデルが他のモデルの推定結果を基に推定を行い、結果的に「全体としての最適解」に近づくことができます。
当社は、複数の意思決定を統合できる、より大きなアーティファクトや複雑なディープラーニングモデルも試しましたが、それらは重要なフローにおいて、しばしばオンライン展開のエンジニアリング要件（レイテンシー、アップタイム）を満たせないことが分かりました。それでも、当社はこのアプローチを引き続き検討し、技術的な限界を押し広げる取り組みを続けており、近い将来、パイプライン全体をディープラーニングアーキテクチャに移行できると見込んでいます（詳細は後述）。
この分野において、当社は積極的に研究開発を進めています。例えば、アムステルダム大学のAMLAB（機械学習研究所）と連携し、強化学習の観点からこの課題に取り組むための博士課程ポジションの研究資金を提供しています。この分野に関する研究成果は、すでにこちらのカンファレンス講演を通じてコミュニティと共有しています。
オフポリシー評価
A/Bテストの実施には、多くの時間と費用がかかります。効果の低いバリアントを導入すると、コストがかかり、統計的に有意な結果を得るまでに大量のトラフィックが必要となり、時間もかかります。また、1年間に実行できる実験の数には上限があるため、最適なバリアントの発見が遅れ、収益の損失につながる可能性もあります。さらに、仮説を検証するために、運用負荷や認知負荷がかかるだけでなく、トラフィックの一部を「犠牲」にする必要があります。また、成熟したプロダクト組織では、A/Bテストの結果にほとんど差がなかったり、有意差が認められなかったりすることも多く、時間を浪費することになりがちです。
そこで、当社はオフポリシー評価に関する研究を行い、オフラインでA/Bテストと同様の評価ができる手法を開発しました。新しいバリアントは、オンポリシー推定（実際のA/Bテスト）との相関が80%以上と高く、即座にテストが可能です。これにより、成果が得られないA/Bテストに費やされていた時間を年間で推定20週間節約し、6カ月間で900万～5,400万件の取引を追加で処理できるようになりました。
この研究論文はRecSys 2025に投稿済みで、プレプリント版がarXivで公開されています。
反実仮想と因果推論
当社の規模では、実験結果をもたらす原因を理解することは、「重要」ではなく「不可欠」です。なぜなら、システム全体に影響を与える不確実性の要因を特定し、将来それを回避するのに役立つからです。
同じ発想に基づくと、特定の取引に対して意思決定を下した場合（例：不正利用の可能性があるとしてブロックするなど）、その意思決定を下さなかった場合の結果を知ることはできません。統計学では、これを反実仮想と呼びます。トラフィック全体の分布を把握するには、本来ならトラフィックに対して何も介入しない必要がありますが、そうするとシステムの目的そのものが成り立たなくなります。
コントロールグループ、ランダム化、探索トラフィックは、この問題を解決するのに役立ちます。しかし、因果推論のような分野を深く学ぶことで、実験結果が生じた根本的な理由をより深く理解するだけでなく、反実仮想の問題を克服することも可能になります。
また、UvAのAMLABで別の博士号取得者にも資金を提供し、当社規模のデータセットを対象にした因果推論の研究を進めています。博士号取得を目指す研究者は、研究の発展に貢献し、論文を発表する一方で、Adyenのエンジニアリングチームと協力し、仮説を実装して検証できます。例えば、当社は現在、生成AIを利用した取引シミュレーターの開発を進めています。このシミュレーターは、分布、反実仮想、PII情報を一般化し、実際のトラフィックを分割して行う実験の前に、アルゴリズムや技術のベンチマーク評価を実施できるようにします。
弱教師あり学習
ラベル（データに付けられる正解のタグ）は、量と質の2つの理由から扱いが難しいものです。Adyenが扱うデータ量においては、モデルを学習させるのに十分なラベルは揃っており、ダウンサンプリングなどのバランス調整技術を使用しても、モデル学習には問題ありません。
しかし、「ラベルが後から付けられる」「そもそも付かない」「不完全な形で届く」といった状況が多く、モデルの予測性能を最大限に活かしきれていないのが現状です。これを解決するため、当社は「弱教師あり学習」の研究に取り組んでいます。弱教師あり学習の前提は、ノイズを含んでいても大量のデータを使用する方が、少量の高品質なデータのみを使用するよりも、モデル化プロセスに有益であるというものです。より正確には、「一定量の高品質データに加えて、ノイズを含むデータを追加したほうが、学習の効果が高まる」という考え方です。弱教師あり学習は、ラベルの質と量を向上させる取り組みと能動学習（今後の課題、詳細は後述）を組み合わせた「Adyenのデータフライホイール」の一部となっています。弱教師あり学習を本番環境で利用した結果、次のような成果が得られました：
リコール（再現率、不正の見逃し防止率）を22%以上向上
オーソリ承認率低下を46%削減
イシュアーによる拒否率を13%向上
これらは、不正検知の精度向上による成果です。
文脈バンディットにおける不均一ランダム探索
リアルタイムで、実際のトラフィックを使いながら強化学習システム上で実験を行う場合、次のようなジレンマに直面します。
すなわち、現時点で得られている知見に基づいて最も高い成果が得られる行動を取るのか、あるいはその知識が今でも正しいと盲目的に信じるのではなく、それを検証するために別の行動を試すのか、という選択です。
誰でも導入できる最も単純な手法として、「イプシロン・グリーディ」と呼ばれるものがあります。これは、トラフィックのごく一部（イプシロン%）をランダムに探索用に割り当て、通常、利用可能なアクションの中から次善のアクションを選択する手法です。次善のアクションを選択する手法について、さまざまな研究が進められており、最適ではないものの、一定の水準を満たすベースラインを維持しながら探索を続ける手法が検討されています。当社は、複数の手法を用いたプラットフォーム全体の実験の研究・展開を行っており、特に回帰オラクルを活用した手法で統計的に有意な成果を得ています。
この研究論文はWWW 2025に投稿済みで、プレプリント版（[2412.00569] Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning at Adyen）がarXivで公開されています。
ディープラーニングとアンサンブル学習
当社の文化的な信条のひとつは、「シンプルさを追求し、問題を解決するためのソリューションを開発すること」で、使いたい技術ありきで問題を作ることは避けています。。そのため、当社では、ブーステッドツリーなどの従来型の機械学習アルゴリズムが、入力が構造化データである分類や回帰の問題の大部分において、依然として強力なベースラインとして機能しています。また、状況によっては、今なお主要なベースラインになる場合もあります。
また、当社は、決済フローにおけるオンラインスコアリングのために、複雑なニューラルネットワークの異種アンサンブルを展開する実験（実験エンジンを参照）を行っており、従来のブースティングのベースラインと同等のパフォーマンスを達成しただけでなく、それを上回る結果も出ており、増加した運用負荷と複雑性に見合う十分な価値があることが示されています。
注：厳密に言えば、生成AI（LLMなど）は、この問題の解決に役立つテクノロジーではありません。しかし、当社は、Hyperplane社（素晴らしい商品と優秀なチームを持つ企業）のような企業の取り組みからヒントを得ています。同社は、Transformerアーキテクチャを基盤とした大規模ネットワークを活用して、明示的な特徴量設計を不要にするオフラインモデルを構築しています（これについては次の項目で触れます）。
Transformerアーキテクチャ
当社は、教師なし事前学習とTransformerを活用する実験を行い、データの潜在能力を最大限に引き出すと共に、モデル化プロセスに適切な帰納バイアスを組み込むことを目指しています。
また、弱教師あり学習や能動学習など、より多くのデータを活用する取り組みに加え、教師あり学習のパラダイムを完全に変え、データの潜在能力を最大限に引き出すアプローチも検討しています。当社は、言語モデリングにおける自己教師あり学習の最近の画期的な進歩からヒントを得て、教師なし事前学習の同じ手法を決済データに適用しています。データそのものの構造からラベルを推論することで、人の手を介さずに学習を進め、データセットの潜在能力を最大限に引き出すことができます。
文章が単語のシーケンスであるように、顧客も取引のシーケンスとして捉えられます。こうした顧客の取引シーケンスこそが、Adyenの中核となるデータ構造です。従来のモデリング手法では、この仮定を無視して、シーケンスを個別にモデル化したり、「特定の時点における顧客のデータを集約する」などの回避的な手法でこの仮定をモデル化しようとしたりすることが一般的でした。しかし、Transformerアーキテクチャにより、これらの構造から予測のための情報を抽出する代替アプローチを実現できるようになりました。
その結果、Transformerと自己教師あり学習により、数十億件の取引を基にトレーニングされた決済の基盤モデルを構築し、かつてない規模のモデル化プロセスを実現しました。さらに、ダウンストリームの微調整とエンティティ埋め込みにより、顧客インサイトの強化、不正利用検出の向上、さらには合成データ生成のような新たな研究機会の開拓も実現しています。
可観測性
モデルが展開され、実験を通じて定量評価された後は、継続的に診断を実施し、パフォーマンスが維持されていることを確認しています。従来型のドリフト検出（通常はMLOpsの一環として実施）に加え、MIST（Multiple Irregular Seasonalities and Trend decomposition）およびDTW（Dynamic Time Warping）アルゴリズムの組み合わせなど、ビジネスパフォーマンスのドリフトやバイアスを検出できるさらに複雑なアルゴリズムも実行しています。これらの内容については、PyData 2024で発表しました。
公平性と説明可能性
機械に意思決定を委ねる場合は、特定の属性によって人々を分類するバイアスがそれらの意思決定に含まれていないことや、人間の観点から不公平と見なされないことを保証する必要があります。
このため、当社は技術および法律の専門家による社内ワーキンググループを設立し、GDPRやAI法などの規制に対応しています。また、Adyenの文化的理念である「倫理観の高い企業」であり続けるため、手続きの見直しも行いました。すべての商品やモデルは、バイアスがないか評価され、ハンドブックや規制に抵触する可能性がないかを精査されます。さらに、ワーキンググループの承認後は、可観測性ツールを使用し、特定のセンシティブな特徴量に依存しすぎてないかを監視します。
AIによるすべての意思決定は、説明可能でなければなりません。そのため、すべての推論呼び出しを記録し、AIの判断理由を解析するアルゴリズムを評価しています（例：SHAP値）。また、Adyen UpliftのUIでは、各取引における意思決定の説明を提供しています。
今後の展望
本記事では、Adyen Upliftの構築と展開を通じて明らかになった内部の仕組み、課題、教訓などの一端をご紹介してきましたが、実際には、当社の目標のほんの一部しか達成できていないことは明らかです。
当社は、これまでに述べた分野に加え、エージェンティック・フロー、アライメント、弱教師あり学習と能動学習を組み合わせたフライホイール、差分プライバシーを活用したアイデンティティ表象学習など、初期段階で有望な成果が期待できる新たな分野にも積極的に取り組んでいます。
本記事では、Adyen Upliftの背景にあるテクノロジーについて、透明性を重視しつつ、事実に基づく概要を説明しました。なお、当社では、優秀なチームの一員としてご活躍いただける優秀な人材を随時募集しています。本記事の内容に共感された方は、ぜひ採用情報ページもご覧ください。
