【DeNA Data/ML Engineering Night】#1 令和最新版 DeNAデータ・MLエンジニアリング組織について
2K Views
March 21, 25
スライド概要
2025/03/14に開催されたオフライン勉強会「DeNA Data/ML Engineering Night」の発表スライドです。
イベント概要: https://dena.connpass.com/event/339744/
DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。
関連スライド
各ページのテキスト
TechCon 2025 AfterEvents March 14, 2025 令和最新版 DeNAデータ・MLエンジニアリング組織に ついて 株式会社ディー・エヌ・エー ソリューション本部データ統括部データ基盤部 深瀬 充範 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 1
(登壇者紹介) 深瀬 充範 ソリューション本部データ統括部データ基盤部 部長 ● 2020年DeNAに中途入社。前職は大手通信会社にて システム開発およびデータ基盤構築・運用など。 ○ データ・AIプラットフォームによる包括支援、 データプロダクト活用推進、 データガバナンス・データマネジメント推進、 実家の猫 エンジニアリングマネージャーを担当 ● © DeNA Co., Ltd. https://youtrust.jp/users/norif もどうぞ TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 2
データ基盤部 組織概要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 3
現在のデータ基盤部体制 全社横断でデータ基盤や機械学習（ML）基盤の開発‧運⽤を実施している組織 「チームトポロジー」を導⼊して事業ドメイン毎にチームを細分化 ゲーム / エンタメ ヘルスケア / メディカル ライブコミュニティ スポーツ / スマートシティ 事業部 横断組織 データ/ML利活⽤⽀援 データ基盤部 ゲーム エンタメG ヘルスケア‧ メディカルG ライブ コミュニティG スポーツ‧ バックオフィスG 経営企画 / HR / CS など 関係部署 横断機能の提供‧技術⽀援 AI技術開発部 プラットフォームG 統括部内連携 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 4
DeNAグループ全体 データ/AI関連部署 アナリティクス部 DeSC所属データエンジニアとの 合同勉強会開催 データアナリストとの協働 各事業/サービス向け分析基盤提供 データ基盤部 AI/LLM案件での連携/協働 MLパイプライン/基盤提供 開発統括部 データエンジニア AI技術開発部 データ基盤部より出向 グローバルデータ基盤を支援 データ活用推進G 研究開発部 データ分析G データ統括部 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 5
DeNAグループ全体 データ/AI関連部署 #3 データ基盤の新規構築で取り組んだ テストピラミッドの理想と現実 アナリティクス部 データアナリストとの協働 各事業/サービス向け分析基盤提供 #4 Triton Inference ServerとTensorRT の導入による機械学習サービスの性能 とリソース使用効率の改善 本日のセッション内容 #2 データモデリングツール勉強会 運営してみた！ データ基盤部 AI/LLM案件での連携/協働 MLパイプライン/基盤提供 データ活用推進G 開発統括部 データエンジニア データ基盤部より出向 グローバルデータ基盤を支援 AI技術開発部 #6 1,000,000+ユーザー固有モデルの運用 を実現する学習パイプラインと推論API DeSC所属データエンジニアとの 合同勉強会開催 研究開発部 #5 アルムのデータ基盤における Snowflake導入に向けた取り組み データ分析G データ統括部 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 6
組織構成：チームトポロジーの適用 ● Tech Play：DeNAのデータエンジニアが語る、事業プロダクトを横断するデータドリ ブンな組織設計、社内データの利活用、データマネジメントとは ○ https://techplay.jp/column/1626 ● Tech Plus：DeNAの事例から見る、エンタープライズなデータ利活用プラットフォー ム構築と人材・組織育成のヒント ○ https://news.mynavi.jp/techplus/article/20230621-2699506/ ● デタマネFES：データ活用を支えるチームトポロジー型組織の現在 ○ https://jdmc.connpass.com/event/288996/ これまで『データエンジニアリング組織』に焦点を当ててきたが、 データ基盤部にはMLエンジニアやソフトウェアエンジニアなど、多様なロールが存在している © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 7
組織構成： 2024/09時点 データ基盤部 ソフトウェアエンジニア (BI開発・提供) データエンジニア MLエンジニア ライブコミュニティ データG バックオフィス データG データプロダクト 開発G MLエンジニアリングG ヘルスケア・メディカル データG ゲームデータG プラットフォームG インフラ・技術支援 © DeNA Co., Ltd. 推論基盤(Hekaton) TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 8
２年間運用した結果 ● データエンジニアリング組織で生じていたリソース不足・認知負荷が大幅に改善 ○ ストリームアラインドチーム間兼務を完全に廃止、 不足リソースを新卒配属・中途採用・社内異動にて大幅に拡充 → ○ データエンジニアの人数が２年間で１４名増加 自担当事業領域に専念することで、それぞれの領域に最適化された開発・運用 体制が確立 ■ プラットフォームGにてワークフロー・基盤のメンテナンス、セキュリティ確保、 コストマネジメントなど横断的なサポートを対応 → 共通機能の上で各事業領域での最適化が進んできた → 技術的分断/サイロ化抑制については勉強会等や支援活動でカバー © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 9
２年間運用した結果 ● データ・MLの縦割り組織に起因する課題 ○ データエンジニアとMLエンジニア間のコミュニケーション不足 ■ ○ 連携不備により、双方の視点があれば防げたコスト関連のインシデントが発生 MLエンジニアの負担は増加傾向 ■ 複数事業横断チームだが、AI/ML活用・案件が活発になるにつれて窓口負荷増加 ● ■ チームトポロジー適用前のデータエンジニア組織と同様 チームの形としても「コンプリケイテッドサブシステム」よりは 「ストリームアラインドチーム」寄りの動きであり、 １つの組織による多事業対応によるスケール面での課題が見えてきた © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 10
２年間運用した結果 ● ストリームで分割したデータエンジニア組織の課題 ○ 一度アサインされた事業ドメインチームからの異動が行われず、人員のアサインが硬直化 ○ データエンジニア内でのロール間異動を理想としていたが、案件ごとの役割が固定化し 当初のような柔軟なロール変更というものは実現できず ● データプロダクト開発組織と事業部門の距離が遠くなり、以下の課題が見えてきた ○ 開発メンバーが事業の理解を深める機会が少ない ○ データアナリストや事業部のデータエンジニアでなければ把握しにくいニーズや課題が存在 ○ ユーザーの視点が不足しており、開発の優先度判断が難しい ■ © DeNA Co., Ltd. 自律的な価値貢献・最大化に向けた取り組みが困難な状態に陥ってしまった TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 11
組織改革① ● データ・ML機能で分けずに、事業単位でのストリームアラインドチームを再定義 ○ 部内構成としてデータエンジニア・MLエンジニア別の機能別組織ではなく、 ストリームアラインドチームとして統合し「職能横断型組織」へとシフト ■ ○ ● そのため「データエンジニア」「MLエンジニア」ロールはそのまま 事業ごとのチームとしてE2Eで支援・活用推進が進められる状態へ データプロダクト開発GをプラットフォームGへ統合 ○ 対チーム・事業のコミュニケーションのI/Fをグループとして統一 ○ グループ内でのインフラ支援を活性化させることでよりプロダクト提供に集中できる状況を 目指すため © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 12
組織構成：令和最新版 データ基盤部 ソフトウェアエンジニア データエンジニア MLエンジニア ライブコミュニティG バックオフィスG ヘルスケア・メディカルG ゲームエンタメG プラットフォームG インフラ・技術支援 © DeNA Co., Ltd. 推論基盤(Hekaton) TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night BIツール開発・提供 13
ストリーム統合による関連明確化 アナリティクス部 データ基盤部 AI技術開発部 Biz Unit スポーツ・スマートシティ 事業本部 スポーツ・バックオフィスG ゲームサービス事業本部 エンターテインメント事業本部 ゲームエンタメG ライブコミュニティ事業本部 ライブコミュニティG ヘルスケア事業本部 メディカル事業本部 ヘルスケア・メディカルG 全社・部門横断 研究開発・技術支援等 プラットフォームG © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night (LLM技術推進) 14
機能別組織の強みもあったのでは？🤔 人員硬直の問題は解消してないよね？🥺 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 15
組織改革② ● 同じ専門性を持ったメンバーが定期的に集まり、専門技術や関連ナレッジの共有を 促進させるための「ギルド活動」を導入 ○ ギルド活動推進のため、各ロールに対する “Division TechLead” 役割を新設 ■ TechLeadとしての役割もギルド活動を通して明確化を進めている最中 ● ○ © DeNA Co., Ltd. 標準化 / シナジー強化 / 課題発見＆改善 / メンバー全体のスキル底上げ etc.. 現在、チーム分割が行われたMLエンジニアを対象にトライ中 ■ ギルド活動成果はどう活用されているか？ ■ ギルド活動そのものがメンバー負担になっていないか？ TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 16
組織改革③ ● 人員流動性の確保 ○ 前述の「Division TechLead」のアサインを硬直化せず、原則最長1年で交代 ■ ○ 役割としての流動性を維持し、メンバーの成長機会を提供 単一ドメインを長期で担当することも重要だが、特に新卒や若手が多角的な経験 を積むため定期的な異動を設定 ■ ○ 来年度に向け、現在進行形で大規模な主務変更・兼務開始を積極的に進めている データ / ML / ソフトウェアエンジニア間の柔軟な異動 ■ 例: MLエンジニアリングを軸にするが、案件状況に応じてMLパイプライン本開発の 前段階の整備・構築としてデータエンジニアリング業務をサポート © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 17
ギルド型活動の立ち位置 アナリティクス部 データ基盤部 AI技術開発部 Biz Unit スポーツ・スマートシティ 事業本部 スポーツ・バックオフィスG ゲームサービス事業本部 エンターテインメント事業本部 ゲームエンタメG ライブコミュニティ事業本部 ライブコミュニティG ヘルスケア事業本部 メディカル事業本部 ヘルスケア・メディカルG 全社・部門横断 研究開発・技術支援等 プラットフォームG データ エンジニア ギルド © DeNA Co., Ltd. (LLM技術推進) ML エンジニア ギルド TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 18
まだまだ課題は多くある ● データ・MLプロダクトにおけるPM/PdMの不足 ○ 内製BIツールやHekatoncheir（ML推論基盤）の戦略・ビジョンを描く役割が不足 ○ 事業目標や課題にフォーカスし、さらなる価値提供・推進が求められる ■ ● データガバナンスの推進 ○ エンジニア組織主体ではあるが、データ所有の観点から事業部・ユーザーの関与も不可欠 ■ ○ グループ全体に適用するポリシー策定のため、経営・法務・セキュリティ部門との連携が重要 データカタログをはじめ、品質管理やリネージなどの技術基盤の検証を進行中 ■ © DeNA Co., Ltd. データBizDevメンバーの兼務を進めるなどして改善アクション中 これらを各ストリームへ展開し、事業へのアプローチを強化していくことがミッション TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 19
これからの取り組み © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 20
２つのBIツール ~ Looker & Argus ~ データ基盤部では２つのBIツールを準備し、データ利活用の選択肢として幅広く提供 Looker ● 10年以上利用されてきたDeNAの内製BIツールを ● Google社が提供する有償のBIプラットフォーム リプレイス開発し、昨年10月にリリースした ● ガバナンス確保のための機能が充実しており、事業部に ● ● 現在もユーザーFBを元に改善を進めており、 限らず経営企画や人事部門などバックオフィス部門で広く 旧Argusから絶賛移行中 活用されている アドホックな分析や迅速なレポート提供に特化 データアナリストを中心に広く活用されている ○ 可視化のカスタマイズ性も高く、データ基盤部にて Looker活用支援・開発を継続に行っており 全社的な人事施策での活用や管理会計・予算策定 など業務効率化・経営効率化の可視化手段として 確立したもの © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 21
汎用LLM基盤 SAI セキュアかつ低コストで最適化された内製LLM Webプラットフォーム 全社員向けでの業務効率化 / AIリテラシー向上 / 新たな価値創出を目的として開発を進めている DeNAにおける5階建て垂直AI戦略 5 事業戦略型AI 3 業務推進生成AI コーポ戦略型 4 生成AI 汎用生成AI 2 ワークスペース 1 LLM基盤 この一部がSAIであり、 DeNA AI戦略に沿った 基盤改善などを データ基盤部が担う © DeNA Co., Ltd. 全社AI戦略・SAI導入効果の詳細については DeNA x AI Day || TechCon 2025 アーカイブ動画にて — DeNAにおけるAI技術の歩み:組織と技術戦略を紐解く Web LLMプラットフォームのSAIのリリースと利用価値の評価 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 22
データガバナンス推進 データガバナンス 企業がデータ資産を素早く、効果的かつ安全にビジネス活用できる状態にする全社横断の活動 データ収集から活用までの方針・評価・監視体制の明文化 社内で先行して進んでいるAIガバナンス・ポリシーとの協調・実践 データマネジメント データ利活用・データ品質管理・データ基盤における体制・ルール整備を通じ、 データをビジネスにて継続的に活用できる状態を維持する活動 ガバナンスによりグループスタンダードとなる指標を与え、 それぞれの事業に即した具体ガイドラインの整備・プロセス構築/実行、 データスチュワードの設置・育成などを促進 ※AI利活用においてもデータ品質担保・向上は非常に重要なトピック © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 23
データガバナンス推進 DeNAグループにて確立されている 高度な情報セキュリティ・個人情報管 理体制 CERT(GISP)および個人情報管理委員会の 設置など全社的なガバナンス体制が 整備・運用されている状況 データ・ BI活用推進＆民主化 / DX推進やAI/データ利活用に向けた マスタデータマネジメントやカタログ活用 Strategy Application 事業・サービスによってはデータ活用体制が未整備、 また管理されたものとなっていないケースもまだ多い Platform ソリューション提 供 Security 連携 強化 各事業・グループ会社における データ基盤整備・管理 Data Governance 【拡充対象】データガバナンス体制 ＝ データマネジメント観点全体における評価・管理 「データ分析基盤」から「データ活用基盤」への 変革に向けた管理・取扱・提供ガイドの整備および支援 明文化 データマネジメントに関するポリシー・手続き・評価指標・ ツール・責任について定義し、グループ全体での データマネジメントの促進を支援する Data Management Criteria として、アーキテクチャからデータ 取り扱い観点の指標整備を進めている 経営・ IT・セキュリティ等関係部門との連携により、グループスタンダートに向けたデータガバナンス推進での協働を図る © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 24
取り組むべきことはまだまだ多い ● LLMOps ○ ● LLM活用が全社的に進み始めており、現状以上にOpsが重要となりうる ML基盤拡充 ○ データサイエンティスト側の課題へフォーカスした取り組み ■ ● 学習・検証効率化のためのA/Bテスト基盤など検討余地がある状況 組織・人材戦略の継続改善 ○ （前述）PM/PdMの立ち上げ・育成 / 全社スコープでのデータガバナンス推進 ○ 事業・部門状況に応じたストリームの統廃合（組織再設計）・リソース拡充（配属・採用） データ・MLエンジニアリングを活かした課題への自走・価値創出型の組織へと成長させる © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 25
© DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 26