ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

2.7K Views

February 02, 22

#yjtc #AIプラットフォーム #データ基盤 #MLOps #機械学習 #ヤフー

スライド概要

ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。

Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/

アーカイブ動画はこちらからご覧ください。
https://youtu.be/XZKOHIfEnsU

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 159.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.4K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

10.

11.

12.

13.

14.

AIプラットフォーム AIプラットフォーム開発前の課題サービス開発エンジニアやデータサイエンティストが各⾃でAI開発環境を⽤意。課題 • サーバリソース管理、環境構築、サーバメンテナンス、データを計算環境に転送等のデータ準備に時間と⼿間がかかっていた • 本来注力するべき機械学習モデル・予測モデルの精度向上業務やサービス改善業務に注力出来ない ©2022 Yahoo Japan Corporation All rights reserved.

15.

16.

AIプラットフォーム Google定義のMLOpsの構成を参考画像はGoogleが定義した MLOpsレベル1 出典︓https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja ©2022 Yahoo Japan Corporation All rights reserved.

https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

17.

AIプラットフォーム ACP (AI Cloud Platform) AIプラットフォームの基盤。マルチテナントKubernetes環境。サービス/ユーザーごとに専⽤のKubernetes Namespaceを作成。 CPUノード数︓130 Nodes+ GPUノード数︓90 Nodes+ アクティブNamespace数︓100 Namespace+ ©2022 Yahoo Japan Corporation All rights reserved.

18.

AIプラットフォーム ACPの特徴 (1/2) • データが使いやすい • HDFSに置かれているデータを効率的に処理できる • データ処理フレームワークのサポートが多い • データ処理に必要なワークフローツール • Hive, Trino(Presto) 等を実⾏してのETL処理 • 機械学習向けの統合開発環境であるJupyterHub ©2022 Yahoo Japan Corporation All rights reserved.

19.

AIプラットフォーム ACPの特徴 (2/2) • 必要なリソースを柔軟にプロビジョニングできる • 必要であれば⼀時的に⼤量の計算資源を確保してデータを処理 • 多くのパラメータで機械学習モデルを学習 • PersistentVolumeをサポート • セキュアな環境 • 外部への通信を遮断、必要最⼩限のポートしか開放しない • Falcoを使い不正なコマンド発⾏や通信を検知してAuditを残す • 経路を追えるように通信のAuditを残す ©2022 Yahoo Japan Corporation All rights reserved.

20.

AIプラットフォーム Model training - LakeTahoe / acloud LakeTahoeはACP上で動作する機械学習モデル・予測モデルを学習するためのWeb API。内製。読み⽅は「レイクタホ」。 • GPUを含めた⼤量の計算資源を使ってHDFSのデータを使ったモデルの学習を実現 • TensorFlowやXGBoost、scikit-learn、PyTorchやLightGBMを利⽤可能 • システム組み込みのハイパーパラメータチューニング acloudはLakeTahoeのAPIを操作するCLIツール。 ©2022 Yahoo Japan Corporation All rights reserved.

21.

AIプラットフォーム Model training - JupyterHub JupyterHubのDockerイメージを使うことでACP上に⾃分だけの開発環境を構築してAIを開発できる。 JupyterHubイメージはNotebookから利⽤可能なTensorboardを備えており、学習状況を簡単に確認できる。 ©2022 Yahoo Japan Corporation All rights reserved.

22.

23.

AIプラットフォーム Automated pipeline - Airﬂow / Argo workﬂows • Airﬂow ワークフローツール。OSS。データ取得、前処理、学習、等の⼀連のジョブを管理。 AIプラットフォームではAirﬂowのHelmチャートを管理、提供しておりユーザーごとに独⾃のAirﬂow 環境を構築。 • Argo Workﬂows Kubernetesネイティブのワークフローツール。OSS。 Kubernetes内で完結するワークフローに適している。利⽤頻度が⾼い汎⽤的な処理は、 ACPの全てのユーザが利⽤できるCluster Templateとして AIプラットフォームチームが管理、提供。マネージドサービスとして提供しているため、すぐに利⽤可能。 ©2022 Yahoo Japan Corporation All rights reserved.

24.

AIプラットフォーム ML metadata store - MLﬂow 機械学習システムライフサイクルを管理。 OSS。⼤きく4つの機能で構成。 • MLﬂow Tracking • MLﬂow Projects • MLﬂow Models • Model Registry 主に機械学習の実験の記録・管理と機械学習モデルのライフサイクルを管理するために利⽤。 ©2022 Yahoo Japan Corporation All rights reserved.

25.

26.

27.

AIプラットフォーム社内プラットフォームの利⽤ AIプラットフォーム以外の社内向けプラットフォームも利⽤。 • Source repository 社内GitHubを利⽤。機械学習ジョブやWebサービスのコードを管理。 • Pipeline deployment AIプラットフォームとしてはArgo CDを提供しているが、その他にも Screwdriver.cdを利⽤。 Gitのリポジトリの変更があると事前に設定したイベントを検知してデプロイ。 • Model registry 機械学習モデル・予測モデルを置く場所としてDragon（社内の分散オブジェクトストレージ）とHDFSを利⽤。 ©2022 Yahoo Japan Corporation All rights reserved.

28.

29.

今後の展望今後の展望 • 推論に関わる機能を提供するCuttySarkとモニタリング機能を提供する Dronachを主に磨き込む • validation機能の提供 • 使いやすいインターフェースを開発する • 社内での利⽤をさらに広げるために利便性を向上させるサイエンティストの⽣産性を向上させるプラットフォームを提供し続けることで事業に貢献。 ©2022 Yahoo Japan Corporation All rights reserved.

30.

ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc