【DeNA Data/ML Engineering Night】#2 データモデリングツール勉強会運営してみた！

TechCon 2025 AfterEvents March 14, 2025 データモデリングツール勉強会 運営してみた！ Bruno Watanabe, Takahiko Hemmi © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 1

登壇者紹介 (ソリューション本部 データ統括部 データ基盤部) 渡辺 ブルーノ / Bruno Watanabe ゲーム事業のデータエンジニア 好きなポケポケのカード発表: フーディン 邉見 貴彦 / Takahiko Hemmi 22 新卒, ライブコミュニティ事業の データエンジニア OpenMetadata Contributor © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 2

• https://github.com/open-metadata/OpenMetadata/commits/main/?author=fuzmish

目次 1 概要 2 dbt DeNA Community 3 Dataform 友の会 4 まとめ © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 3

概要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 4

この発表で話すこと メインコンテンツ ● データモデリングツールに特化した勉強会の運営ばなし ○ 設立の経緯 ○ 運営の工夫/ツラミ ○ 今後について サブコンテンツ ● 各勉強会で面白かったトピック紹介 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 5

データモデリング特化の勉強会が作られた理由 以前から「データ基盤トーク」という、データに関連する業務を行うエンジニアが 集まって開催している勉強会があった。 ここでは、技術に関わればトピックは何でも良く平和な日々を過ごしていた。 平和なデータ基盤トーク © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 6

データモデリング特化の勉強会が作られた理由 モダンなデータモデリングツールが流行りだした。 「DeNAまだ導入してないの〜」になりかけていた。 モダンなデータモデリングツールの襲来 dbt号 平和なデータ基盤トーク © DeNA Co., Ltd. dataform号 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 7

データモデリング特化の勉強会が作られた理由 データモデリングツールに特化した勉強会をスピンアウト。 この波に乗り遅れないようにしつつ実業務の生産性UPへの寄与を目指す!!! モダンなデータモデリングツールの襲来 dbt DeNA Community dbt号 平和なデータ基盤トーク © DeNA Co., Ltd. dataform号 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night Dataform 友の会 8

dbt DeNA Community Bruno Watanabe © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 9

登壇者紹介 (ソリューション本部 データ統括部 データ基盤部) 渡辺 ブルーノ / Bruno Watanabe ゲーム事業のデータエンジニア 好きなポケポケのカード発表: フーディン 邉見 貴彦 / Takahiko Hemmi 22 新卒, ライブコミュニティ事業の データエンジニア OpenMetadata Contributor © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 10

• https://github.com/open-metadata/OpenMetadata/commits/main/?author=fuzmish

dbt DeNA Community What's dbt dbtとは ソフトウェア開発フローを取り入れて、高品質なデータプロダクトの開発を目指すデータ変換ツール dbtが提供する機能 ● jinjaテンプレートによるSQLの機能拡張 ● 作成するテーブル設定に応じたDDLのコンパイル ● クエリのモジュール/マクロ化 ● テスト機能 etc.. © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 11

dbt DeNA Community dbt登場以後の変化 dbt登場以前: 考えることいっぱい ● ● ● ● SQLのモジュール化 DDLを使ったデータ挿入方法の制御 冪等性の担保 データプロダクトのテスト方法考案 (やることいっぱいで諦めてラーメン食べてる私の図) © DeNA Co., Ltd. dbt登場以後: dbtのサポートにより開発に集中 select句とyamlファイルの設定で多くのこと をdbtに委任できるようになった！ 設計、品質向上に集中できる (集中できるようになり感動している私の図) TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 12

dbt DeNA Community 社内でのdbt利用 DeNAのデータ基盤のあらゆる事業で活用されている ゲーム/エンタメ ヘルスケア/メディカル スポーツ / バックオフィス etc 協業 ゲーム タイトル 経営企画 / HR / CS など などなど それぞれのプロジェクトにフィットする使い方を模索し、活用の幅が広がっている ( 同時に各々悩みを抱える… ) © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 13

dbt DeNA Community コミュニティ設立の背景 利用拡大に伴い各チームで知見/問題が蓄積されているが共有は進んでいなかった ● チーム独自のノウハウが貯まりチーム内で継承 ● チーム内の個々メンバーのキャッチアップに頼る場面が増える こういった場面が目に付くことが増えた 👀 三 爆速アップデートしていくdbt君を追いかける図 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 14

dbt DeNA Community コミュニティ設立の背景 💡そこで私は仮説を立てた 「いろんなチームのノウハウや悩みをオープンにしたら課題解決、データパイプライン の品質向上に繋がるのでは？」 Let's dbtコミュニティ設立 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 15

dbt DeNA Community コミュニティの構築 コミュニティの構築で設定すべきこと ● 誰に向けて = コミュニティターゲット ● どこで = コミュニティの形式 コミュニティターゲット コミュニティの形式 1. 社内のデータエンジニア全員 ● 2. 距離の近い合弁会社のデータエンジニア © DeNA Co., Ltd. コミュニケーションの場として slackチャンネル新設 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 16

dbt DeNA Community コミュニティの構築 dbtの技術特化の交流ができるコミュニティになるべく以下施策を打った ● チャンネルでアップデートや参考になった記事など共有して話題作り ● 隔週の知識共有会の開催 ● 社内slackチャンネルでdbtに関する発言をコミュニティチャンネルに転送 トピックの定期的な供給によりコミュニティ参加メンバーを増やすことができた © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 17

dbt DeNA Community コミュニティの運営強化 24年に設立したコミュニティで24年9月まで1人で運営して以下の悩みが発生してきた ● 知識共有会の資料作成が業務過多のとき大変 ● dbtのアップデートが早く知識共有会の開催間隔ではキャッチアップ追いつかず ● コミュニティの盛り上げを行う要員不足で盛り上げの頭打ち このままだとコミュニティが しりすぼみするかも… © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 18

dbt DeNA Community コミュニティの運営強化 運営強化の特効薬 数の暴力じゃ © DeNA Co., Ltd. ー＞ その名も運営メンバーを募る!!! これで以下の運営強化が行えた ● 知識共有会の開催頻度を週1に変更 ● 運営メンバーによるお悩み解決 ● 複数人でのトピックの発信数の増加 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 19

dbt DeNA Community 行った知識共有を一部ご紹介 ● Unit testの検証 > 実際のプロジェクトに適用を実現できた ● micro batchについて技術を追え内部共有できた > みんな使ってみたいとなり検証どう進めるか考え始めている ● dbt test + Elementaryのゲームチームでの利用 > このトピックに関する技術ブログを2本出した ○ dbt testとelementaryを活用してデータ品質テストを爆速で実装した話 ○ プロジェクト開発と並行したdbt testの導入と運用でデータサイズのスケールに耐える dbt testの利用について © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 20

• https://engineering.dena.com/blog/2024/04/dbt-test-and-elementary/
• https://engineering.dena.com/blog/2024/12/dbt-test-method/

dbt DeNA Community 運営の総括 運営を続けたことで得られた数字 ● 運営期間: 1年超えた！ ● コミュニティ参加メンバー数: 9人 ● 知識共有会の開催数: 20数回 数字以外の成果 ● 運営メンバー以外の技術トピックの自発的な発信 ● コミュニティチャンネルでdbtでの悩み解決につながった ● 知識共有会でのメンバー間のコミュニケーションの促進 確実にdbtの知識、悩み相談などが組織内でオープンになりつつある © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 21

dbt DeNA Community 今後の展望 得られた成果はあるもののまだ件数は少ない… よりオープンなコミュニティを目指すのに以下を考えている ● コミュニティがdbtを学ぶための役割も担えるようにする ● dbtのハイレベルな知識を共有し、コミュニティメンバー全員の水準を上げる ● 知識共有会を起点とした対外発信を増やして会社のプレゼンス向上に寄与する © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 22

Dataform 友の会 Takahiko Hemmi Dataform および ロゴ は Google LLC に権利が帰属します。 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 23

登壇者紹介 (ソリューション本部 データ統括部 データ基盤部) 渡辺 ブルーノ / Bruno Watanabe ゲーム事業のデータエンジニア 好きなポケポケのカード発表: フーディン 邉見 貴彦 / Takahiko Hemmi 22 新卒, ライブコミュニティ事業の データエンジニア OpenMetadata Contributor © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 24

• https://github.com/open-metadata/OpenMetadata/commits/main/?author=fuzmish

Dataform 友の会 Dataform Google Cloud のサービスとして提供されるデータモデリングツール ● ● ● December 9, 2020 Acquisition August 25, 2022 Preview May 04, 2023 Generally Available 主な特徴 ● ● ● ● © DeNA Co., Ltd. JavaScript による拡張 (↔ dbt Jinja, Python) Google Cloud Console で開発環境が提供される (Workspace) 実行基盤も Google Cloud で提供される (サーバーレス) Dataplex 等, 各種 Google Cloud との統合 (**) TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 25

• https://cloud.google.com/dataform/docs/overview?hl=ja
• https://cloud.google.com/blog/products/data-analytics/welcoming-dataform-to-bigquery
• https://cloud.google.com/dataform/docs/release-notes#May_04_2023

Dataform 友の会 Dataform の特徴 強み ● Google Cloud と統合された開発環境と実行基盤が提供されている ● 非データエンジニアで SQL ケイパビリティがあるメンバーにもデータ整備の裾野を広げやすい （民主化） © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 26

Dataform 友の会 Dataform の特徴 強み ● Google Cloud と統合された開発環境と実行基盤が提供されている ● 非データエンジニアで SQL ケイパビリティがあるメンバーにもデータ整備の裾野を広げやすい （民主化） 弱み ● Google Cloud, BigQuery にロックイン ● (dbt と比較して) エコシステムの成熟度が低い ○ ツールそのもの ○ 3rd party ○ コミュニティ © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 27

Dataform 友の会 勉強会の発足 強み ● Google Cloud との統合 ● 非データエンジニアへの民主化可能性 弱み ● Google Cloud, BigQuery にロックイン ● (dbt と比較して) エコシステムの成熟度が低い ライブコミュニティ事業・バックオフィス系案件のデータ基盤で、強みの部分に 期待して採用があった。 弱み部分を補完するような情報共有の場として勉強会をつくった。 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 28

Dataform 友の会 Dataform 友の会の活動 ● 2023 年 12 月から開始して通算 38 回開催した ● 社内での導入事例の共有 ○ どういう課題を抱えていたのか？なぜ dbt じゃないのか？ ● 社外事例のサーベイ ○ GA 以降、多くはないが着実に採用は増えていっているようだ ○ （社外と連携してコミュニティづくりするなら今か！？） ● 技術的な知見共有 (ツールの機能不足を補う方法の模索) ○ 外部との連携 ○ 開発環境の整備 ○ JavaScript ライブラリの開発 ○ ...など © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 29

Dataform 友の会 Dataform 友の会の活動 ● 2023 年 12 月から開始して通算 38 回開催した ● 社内での導入事例の共有 ○ どういう課題を抱えていたのか？なぜ dbt じゃないのか？ ● 社外事例のサーベイ ○ GA 以降、多くはないが着実に採用は増えていっているようだ ○ （社外と連携してコミュニティづくりするなら今か！？） ● 技術的な知見共有 (ツールの機能不足を補う方法の模索) ○ 外部との連携 ○ 開発環境の整備 ○ JavaScript ライブラリの開発 ○ ...など © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 30

Dataform 友の会 (参考) 外部との連携 ● ● Dataform は外部と連携する機能がいまのところ REST API しかない ○ のに加えて compile→update→invoke と3 段階呼び出しが必要で手間 → Cloud (Run) Functions で wrapper をつくった Run BigQuery jobs Workflow Orchestration Link GitHub Actions (CI/CD) HTTP Other automation tools © DeNA Co., Ltd. requests BigQuery Dataform Repository Call Dataform REST APIs Dataform API Wrapper (Cloud Functions) TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 31

Dataform 友の会 (参考) JavaScript ライブラリの開発, 開発環境の整備 ● dbt にインスパイアされたサポートライブラリ (JavaScript) の開発 ○ incremental model の拡張, テスト (assertion) ライブラリ など ● 要素技術としてコンパイラの挙動をオーバーライドする アプローチ（かなりハック） ● SQLX は JavaScript として評価されるので、コンパイル中にデバッガを利用して ブレークポイントで止めるなどが可能 (!!) © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 32

Dataform 友の会 (参考) JavaScript ライブラリの開発, 開発環境の整備 ● dbt にインスパイアされたサポートライブラリ (JavaScript) の開発 ○ incremental model の拡張, テスト (assertion) ライブラリ など ● 要素技術としてコンパイラの挙動をオーバーライドする アプローチ（かなりハック） ● SQLX は JavaScript として評価されるので、コンパイル中にデバッガを利用して ブレークポイントで止めるなどが可能 (!!) Dataform 内部の理解につながるディープな内容まで触れられた © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 33

Dataform 友の会 青い海、深く潜ると綺麗だったが、魚は少なかった.... 課題というか反省 ● 参加者数観点でグロースしなかった ○ 単純な利用人口の少なさ ● ネタの枯渇 ○ Dataform 本体/界隈の動き自体がそんなに高頻度ではない ○ 登壇者も限られるのでネタがあっても準備の負担が大きい ● 技術的なおもしろさだけの追求だけでは足らず、持続的に運用できる体制づくりも 必要だった © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 34

Dataform 友の会 今後 ● 大きめのリリースや共有ネタなどがあったときに不定期開催にする予定 ● 実務で利用している有識者集団としてのサポート/コンサルティングが可能なライ ンとして維持する © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 35

まとめ © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 36

まとめ ● ● 分野特化の勉強会 ○ アップデートの早い分野で継続的にキャッチアップするのに有効 ○ 運営の難易度は相対的に高く、持続可能な運営体制がより重要 広めの話題を扱う勉強会 ○ 運営・参加双方で人があつめやすい ○ テーマを絞らないことで組織の知識の偏りや固定化を防げる 双方の勉強会の特性を活かして両立させながら組織の技術力向上を目指していく © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 37

© DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 38