ルールと機械学習を融合させた不正決済検知システム #yjtc / YJTC21 A-2
4.3K Views
January 12, 21
スライド概要
クレジットカードの不正利用額は年々増えており、オンライン決済での不正決済への対策は必要なものになっています。
このセッションでは、ヤフオク!やYahoo!ショッピングでの不正決済検知の仕組みについて、検知システムの概要と、機械学習の適用方法を中心に紹介します。
Yahoo! JAPAN Tech Conference 2021 は2021年1月22日に開催しました。
https://techconference.yahoo.co.jp/2021/
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
関連スライド
各ページのテキスト
ルールと機械学習を融合させた 不正検知システム ヤフー株式会社 コマースCTO コマースインフラ本部 塚原 剛 ©2021 Yahoo Japan Corporation All rights reserved.
塚原 剛 コマースインフラ本部安全対策部 不正対策システムの開発を担当 他にデータ分析・機械学習モデルの作成など Copyrights 2019 Yahoo Japan Corporation. All Rights Reserved. ©2021 Yahoo Japan Corporation All rights reserved.
このセッションについて ヤフオク!やYahoo!ショッピングにおける不正決済検知の仕組みについて、 機械学習の適用方法を中心に紹介します ©2021 Yahoo Japan Corporation All rights reserved.
テーマ ルールと機械学習の融合 ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
1.不正決済とは 不正決済の手口 不正決済には様々な手口が存在し、頻繁に傾向が変化する ・ 盗用クレジットカードによる決済 ・ のっとりアカウントによる決済 ・ 利用規約違反 ・ etc. ©2021 Yahoo Japan Corporation All rights reserved.
1.不正決済とは 不正決済の被害額推移 不正被害額は年々増加傾向にあるため対策は必須 日本におけるクレジットカード不正利用被害額 (番号盗用被害) 単位:億円 250 200 150 100 50 0 2014年 2015年 2016年 2017年 2018年 2019年 日本クレジット協会 「日本のクレジット統計 2019年版」 https://www.j-credit.or.jp/information/statistics/download/statistics_domestic_2019.pdf ©2021 Yahoo Japan Corporation All rights reserved.
1.不正決済とは 対象サービス YAHOO! ショッピング JAPAN ヤフオク! PayPay モール PayPay フリマ ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
2.検知システムの概要 検知方法 システムと目視審査の両方を組合せた判定フロー システムによる判定 ・ 独自開発の検知システム ・ 基本はルールベースの判定 ・ ルールは専用のWebツールで管理 専門審査チームによるチェック ・ システムで判断しきれないものは目視 チェック ・ 24h365dの監視体制 ©2021 Yahoo Japan Corporation All rights reserved.
2.検知システムの概要 検知システム 検知システムは外部ソリューションには頼らず、独自に開発 独自開発のメリット ・ 外部データ送信によるセキュリティリスクの回避 ・ 低コスト ・ 仕様変更に柔軟に対応可能 ・ ヤフーの各サービスで蓄積されたデータの横断的活用 ©2021 Yahoo Japan Corporation All rights reserved.
2.検知システムの概要 システム概要 審査チーム エスカレーション Client 判定リクエスト /結果 判定API ルール参照 ルール (Cassandra) Webツール ルール管理 ルール管理者 結果分析 判定ログ feedback loop Feedback 審査結果ログ DWH (Teradata) データ参照 レポート (Tableau) ©2021 Yahoo Japan Corporation All rights reserved.
2.検知システムの概要 判定ルール 条件としきい値を設定する 複数の条件をAND、ORで組み合わせる 【条件】 param [=| <| >|in|not in] value OR AND AND 条件A 条件B 条件C 条件X 条件Y 条件Z ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
3.ルール VS 機械学習 ルールベース判定の特徴 GOOD ・ 判定理由が明確である ・ 即時修正が可能である ・ 細かい調整が可能である BAD ・ ルール作成に手間がかかる ・ ルールのメンテナンスが難しい ©2021 Yahoo Japan Corporation All rights reserved.
3.ルール VS 機械学習 機械学習モデルの特徴 GOOD ・ 高い判定精度 ・ 自動的なモデル更新 BAD ・ 即時修正が行えない ・ モデルの説明性の担保が難しい ・ システムの複雑化 ©2021 Yahoo Japan Corporation All rights reserved.
3.ルール VS 機械学習 不正判定特有の課題 ・ 偽陽性判定 (False Positive) を極力避ける ・ 高い説明性が求められる ・ ルールベースの判定が不可避である (規約違反、過去履歴の照合など) ©2021 Yahoo Japan Corporation All rights reserved.
3.ルール VS 機械学習 ルールと機械学習を融合させる！ ルールと機械学習の特性イメージ ルール 機械学習 要件 精度 システム簡潔性 調整可能 自動化 即時性 説明性 ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法①：機械学習の判定スコアをルールに組み込む 1. 判定モデルを作成 2. モデルの推論APIを用意 3. モデルのスコアを条件にしたルールを登録 4. スコア取得&ルール参照 スコア 取得 推論API 【条件】 param [=| <| >|in|not in] value 判定API ルール参照 スコア しきい値 ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法①：機械学習の判定スコアをルールに組み込む <実現できること> ・ スコアのルール化 ・ スコアのしきい値調整 ・ スコアと他の条件を組合せたルール作成 ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法①：機械学習の判定スコアをルールに組み込む <留意点> ・ 不正判定モデルの学習データは正例/負例が極端に不均衡 ・ そのため、モデルの出力スコアの補正 (キャリブレーション) が必要 ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 モデルのスコア補正 (キャリブレーション) について 補正が必要なケース (1) モデル学習時にアンダーサンプリングを行った場合 p = βps βps - ps + 1 論文「Calibrating Probability with Undersampling for Unbalanced Classification」 https://www3.nd.edu/~dial/publications/dalpozzolo2015calibrating.pdf p : 補正後の確率 ps : 不均衡モデルの予測確率 β : ダウンサンプリング率 補正前 補正後 ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 モデルのスコア補正 (キャリブレーション) について 補正が必要なケース (2) 「スコア ≠ 確率」なアルゴリズムを使う場合 Calibration plots (reliability curve) 1.0 0.8 0.6 0.4 0.2 0.0 0.0 0.2 0.4 0.6 0.8 1.0 Perfectly calibrated Logistic (0.099) SVC (0.163) SVC + Isotonic (0.100) SVC + Sigmoid (0.099) https://scikit- learn.org/stable/auto_examples/calibration/plot_calibration_curve. html#sphx-glr-auto-examples-calibration-plot-calibration-curve-py ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法②：ルール自体を機械学習で自動生成する 1. 決定木モデル作成 2. 適合率の高いノードを選定 3. 選定したノードまでの分岐情報を抽出 4. ルールに変換&登録する 【凡例】 オレンジ: 判定クラス0 (通常) ブルー: 判定クラス1 (不正) ルール (Cassandra) ルール登録 DWH (Teradata) データ抽出 ルール生成 AND 条件A 条件B 条件C ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法②：ルール自体を機械学習で自動生成する <実現できること> ・ モデルのアウトプット=ルール ・ モデル更新の自動化 ・ 低計算リソースなモデリング ・ 決定木の部分採用による高い適合率 ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 方法②：ルール自体を機械学習で自動生成する <留意点> ・ 過学習しやすい (train/validデータをユーザID、時系列で分割することで過学習を軽減) train/validデータの分割 ユーザID train valid Time ©2021 Yahoo Japan Corporation All rights reserved.
4.機械学習の適用方法 システム概要 (機械学習適用後) 審査チーム スコア 取得 推論API エスカレーション Client 判定リクエスト /結果 判定API ルール参照 ルール (Cassandra) Webツール ルール管理 ルール管理者 結果分析 判定ログ 審査結果ログ DWH (Teradata) データ参照 ルール登録 データ抽出 ルール生成 レポート (Tableau) ©2021 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 不正決済とは 2. 検知システムの概要 3. ルール VS 機械学習 4. 機械学習の適用方法 5. まとめ ©2021 Yahoo Japan Corporation All rights reserved.
5.まとめ 本セッションのまとめ ルールベースシステム 機械学習モデルの適用 方法①：機械学習の判定スコアをルールに組み込む 方法②：ルール自体を機械学習で自動生成する ルールと機械学習を融合させた検知システム ©2021 Yahoo Japan Corporation All rights reserved.
5.まとめ 成果 ルール数 +33% 不正防止金額 +10% (2020年4月~11月までの各サービスにおける平均値) ©2021 Yahoo Japan Corporation All rights reserved.
安全な決済で日本をもっと便利に Photo by Paul Felberbauer on Unsplash
21 Yahoo! JAPAN Tech Conference 2021 ©2021 Yahoo Japan Corporation All rights reserved.