【DeNA QA Night #6】リアルタイム品質モニタリングの導入

リアルタイム品質モニタリングの導入 2025.03.05 藤﨑 隆 品質管理部 IT本部 © DeNA Co., Ltd. 1

名前 藤﨑 隆 所属 IT本部 品質管理部 担当 社会課題領域、スポーツ領域 モットー めんどくさいを無くしたい 趣味 陸上競技 2024年:40歳 100m 11.29(+0.8) 4×100mR 日本一 横浜 在住 19XX © DeNA Co., Ltd. 会 ーズ 入 タ ス ラブ ベイ テス A eN ンク D 浜 ァ 横 フ NA De へ ズ ズ ター リー ス シ ベイ 日本 2006 2011 2021 2024 界へ A業 Q ト、 2014 入社 2

ズ ー スタ イ ベ NA e D 横浜 り ぶ う と 年 6 で 2 め お 一 本 日 © DeNA Co., Ltd. ©自分 3

現状の品質モニタリングプロセス QAの仕事は進化して品質を評価できるようになってきた 品質検査 （品質確認） 品質管理 品質保証 事実を把握 統計的な予想 品質の判定 QAは、より重要な役割を担いつつある © DeNA Co., Ltd. 4

品質の判定 品質が悪いと判定されたものは、高確率で本番障害に繋がる QAの品質懸念 × 本番障害 © DeNA Co., Ltd. 5

変化の必要性 重要な役割である品質評価にも課題がある 長い経験が必要 判定基準が無い ボトルネック レポート 単純な過去比較で良いのだろうか シニア QA ボトルネック発生 データが不十分 データ提供 テストの前半では言えることが無い 要望・期待 良し悪しが混合 一言にまとめづらい（だが期待される リリース回数 結構大変です © DeNA Co., Ltd. 各事業部 QA 大小含めて、年間250回のリリース 開発形態が自由 開発形式・ドキュメント形式・ツール・フォーマット・委託先はサービス依存 システムの豊富さ スポーツ、メディカル・ヘルスケア・共通基盤（計30弱） 6

新しいモニタリング手法の導入 品質を指数化 ▷品質指数 品質指数をモニタリング ▷リアルタイム品質モニタリング 良い 経過 悪い 読み方 赤線に注目 ・上方向が高品質 ・真ん中（0pt）が基準値 ・赤点線は上限期待値 © DeNA Co., Ltd. シンプルに言うと 『上』にいかないとリスクが高い 7

新旧手法の比較 デ ー タ シニアQAの経験 自動算出 （品質指数） 報告書 モニタリング 分 析 特 徴 © DeNA Co., Ltd. 〇Positive ・深く細部にわたる情報提供 ・長期保存 ・経営レポート 〇Negative ・シニアQAの手を要する 〇Positive ・直感的で、いつでも見れる ・準備終わればローコスト 〇Negative ・根拠の事前説明が必要 ・日々更新されるので断面把握 8

数値の根拠 品質指数は信頼できるか？ Q.品質指数の分布は？ Q.品質指数と本番障害に相関は？ Q.本番障害はどれくらい発生する？ ２年間で544リリース サインオフレポートでデータを分析できるように蓄積 14％ < 0pt < 53％ < 10Pt 33% < -10pt < 4% 6.6% （新規運用合算） Q.品質指数を出して社内基準と比較するこの方法に対して、事業部はどのような反応だったか？ 好意的な反応を頂いている ・他のプロジェクトと直感的に比較 が出来た ・品質指数を踏まえて、今後の対策 の会話がしやすかった © DeNA Co., Ltd. 9

品質指数の考え方とDeNAチューニング ① ② ③ 基準不具合”量” 実際の不具合”量” ①対象テストは『機能テスト』 output input 機能テスト 、表示テスト、多端末テスト、 QC © DeNA Co., Ltd. 複合テスト、ロングランテスト、 障害復帰テスト、負荷テスト、性能テスト、 シナリオテスト、アドホックテスト、 本番課金検証、全体リグレッションテスト セキュリティ部 脆弱性診断 法務 法務チェック ソーシャルQA Pre-cert、倫理校正、CESA検証、有料ガチャガイドラ イン、Webアクセシビリティ 機 能 テ ス ト 機能テスト項目 ざっくり要件 インスペクション テスト設計 テスト技法 しっかり要件 機能テスト項目 10

品質指数の考え方とDeNAチューニング ① ② ③ 基準不具合”量” 実際の不具合”量” ②非ゲームの標準不具合率は『5%』 ➡ 100項目ごとに5件分の不具合を許容 Q.なぜ、5%なのか？ 開発 テスト種別 項目（数） 全テスト 662,768 不具合数（件） 1.0% 新規・運用 6849 機能テスト 248,208 全テスト 50,497 2.8% 2.3% 新規 1164 機能テスト 32,083 ソフトウェア新規開発の障害率の平均値は、 88%が5%以下でリリース © DeNA Co., Ltd. 不具合率 3.6% 5.4% 出典： 「ソフトウェア開発データ白書2016－2017」／IPA P.221／図表7-5-54●テスト工程別 工数あたりのテストケース数、検出バグ数の基本統計量（新規開発）(２)より、総 合テスト/結合テストの平均値を算出 11

• https://www.ipa.go.jp/files/000057877.pdf

品質指数の考え方とDeNAチューニング ① ② ③ 基準不具合”量” 実際の不具合”量” ③B,Cバグは重要度が低い © DeNA Co., Ltd. ランク 概要 S システム停止 ユーザーからの見た目 係数 全く利用できない！！ ＊4.0 A 基本操作が阻害 バグが結構多い！ B 仕様違反 細かい機能でバグが・・ ＊0.5 C 改善提案 少しモヤモヤ ＊0.0 システム 項目 S A B C 品質 指数 Ⅰ 350 1 5 6 50 0.5 Pt Ⅱ 5000 10 10 350 2000 15.0 Pt ＊2.0 12

チームとワークフローの変化 以前の課題 長い経験が必要 ボトルネック 改善点 ・・・テスト経験があれば活用可能。直感的に判断できる。 ・・・自動収集され、この作業にコストを取られない 品質評価の課題 ボトルネック解消 レポート シニア QA ボトルネック発生 シニア QA データ提供 要望・期待 要望・期待 QA 各事業部 QA 各事業部 品質指数 偏りなく テストを進める © DeNA Co., Ltd. 基本的な部分から テストする 分析用に 定義明確化 13

データ分析と意思決定 序盤から品質悪い傾向にありますね 注視しましょう そうですね・・ 指数が更に下降傾向です 原因を特定して改善しましょう 不具合分析して一緒に対策しましょう OKです （その後、バグ修正時のデグレも多いことが判明し、対策された） 改善が見られましたね ただし、まだマイナスのリスクが高いため、 次工程のテストを強化しましょう 確かにそれが良さそう！ 最終値はややマイナスが見込まれますね 弱点分析も済んでいるのでスムーズに移行させますね 状況が正確に分かるとそれだけで安心する！ よろしくお願い！ © DeNA Co., Ltd. 14

実際の使用実績 日報用に情報量UP ▼プロジェクト状況 ・致命傷は無いが、基本動作がずっと安定しない ・ズルズルと点数は低下 ・デグレ対策を行い、品質の底が見えてから改善傾向 ▼成果 ・開発者へのリリース前確認 の強化要望 ・テスト強化のためにコスト追加 スクリプト テスト ノンスクリプト テスト リグレッション テスト 本番 テスト ▼プロジェクト状況 ・序盤に致命傷不具合が多発（設定ミス） ・直後に安定し、以降大きな不具合は無し ▼成果 ・進捗5割時点で本番障害の少なさ を確信 ➡ノンスクリプトテストを軽減して、コスト削減 スクリプト テスト ノンスクリプト テスト リグレッション テスト 本番 テスト ・序盤の悪印象が持ち続けた人の認識を訂正 © DeNA Co., Ltd. 15

ここまでのまとめ ● 品質を可視化すると、ステークホルダーと目線合わせが簡単になる ○ 目線を合わせることで品質に関わるコスト感や基準のすり合わせがスムーズに行 なえる ● 品質判定を自動化すると、重要度が高い情報がいつでも得られる ○ 品質に関わるメンバーから情報共有が無くても資料を閲覧すればステークホル ダーでも状況をキャッチアップできる ● 各社の価値観に沿った判定であることが大切 © DeNA Co., Ltd. 16

今後の展望 単一視点 全体を知る 全機能 不具合検出”時期”による プロジェクトリスク © DeNA Co., Ltd. 多角的に 簡単な手間で ログイン 詳細情報も分かる 決済 設定 マイページ 履歴 本番障害予測モデルと 損害金額予測モデルと開発費の対比 17

今後の展望 QAも知りたいことがある ベロシティ スプリント内の開発量 リソース 人的リソース、サービス負荷 進捗 開発進捗、渉外進捗 コスト 開発コスト、プロジェクト予算 セキュリティ 脆弱性情報、セキュリティインシデント 性能・パフォーマンス スパイク耐性、データ量増大率 NPS プロモーター、パッシブの割合 売上 月次、累計 ユーザー指標 アクティブユーザー指標、ユーザーエンゲージメント指標 コード品質 サイクロマティック複雑度、N 没入度 テストカバレッジ ステートメントカバレッジ 社会的品質 倫理校正、有料ガチャガイドライン プロジェクト 技術 ビジネス 品質 実績 © DeNA Co., Ltd. 基準 評価可能 18

今後の展望 Business Project XXXX XXXX 通期売上 売上 プロジェクト ストレス 2025年2月度 売上 2025年3月度 売上 開発コスト XXXX 2025年3月度 売上 経理 利用率 XXXX Quality テスト カバレッジ XX XXXX XXXX コード品質 XXXX Technology XXXX NPS 脆弱性 XXX XXXX 新しい可視化スキーム © DeNA Co., Ltd. 19

© DeNA Co., Ltd. 20