LTech22 QA組織によるプロセス改善の取り組み 〜Agile TPI〜
3.3K Views
December 14, 22
スライド概要
LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。
関連スライド
各ページのテキスト
QA組織によるプロセス改善の取り組み 〜Agile TPI〜 株式会社LIFULL 中野 直樹 2022-11-02 1 #Ltech © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
株式会社 LIFULL テクノロジー本部 品質戦略部 品質改善推進ユニット 中野直樹 エンタープライズシステムの 開 発 者 、プロジェクトマネージャなど を経験後、テスト技術者へ転向。 ネット証券のシステム開発部門 のテストチームのリーダーを 経 験 後 、 現 在 のLIFULLでQAマネー ジャー（エンジニアリングマネージャー）としてソフトウェアテスト 技 術の展開など品質改善の仕組み作りに従事。 共著「ソフトウェアテスト教科書 JSTQB Foundation 第4版」NPO法 人ソフトウェアテスト技術振興協会（ASTER)理事/JSTQB技術委員 /JaSST Tokyo 実行委員など。
1. QAのビジョン・ミッション 2. QAチームの活動 contents 3. プロセス改善の取り組み 4. アセスメント結果の全体感 5. まとめ
QA の ビジョン・ミッション
QA の ビジョン・ミッション 最高のQA体験を実現する ~ Have a nice QA ~
QAチームの活動
開発チームの状況 LIFULL タイトルが挿入されます。 - Webサービスの開発を中心にチームやプロジェクト規模は様々 - リリース件数は月200件を超える - チームは主にディレクター、デザイナー、エンジニアで構成 - 必要に応じて品質組織のメンバーはプロジェクトに参加
QAのロール ポジショニング https://www.slideshare.net/YasuharuNishi/quality-management-funnel-3d-how-to-organize-qarelated-roles-and-specialties
QAのこれまでの取り組み 事業部に対しての主な支援 テスト計画コンシェルジュ/QAサポート（プロジェクト支援） これまでの約 7年間で 300PJ 以上の支援実施
プロセス改善の取り組み
品質部門全体での取り組み 品質パートナーシッププログラム やろうとしていること 「持続可能な・長期的発展を目指した品質改善」 各領域毎にアセスメントを実施 - 運用・監視 - セキュリティ - QA（今日お話するテーマ） - DevOps（CI/CD/自動化等含む） - UX活動（UX成熟度） - アクセシビリティ
品質パートナーシッププログラム QA - Agile TPI テストプロセス改善のアセスメントに「Agile TPI」モデルを採用 https://www.tmap.net/building-blocks/agile-test-process-improvement-agile-tpi
品質パートナーシッププログラム QA - Agile TPI とは - Agile TPIとは - TPI NEXT®をアジャイル実践へ応用したモデル - TPI NEXT®とは Sogeti社が作成したビジネス主導のテストプロセス改善のモデル https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
品質パートナーシッププログラム QA - Agile TPI とは - Agile TPIのモデル - 16のキーエリア（評価軸） 3つのカテゴリ（評価するスコープの広さが3段階） キーエリア×カテゴリごとに１つ以上のチェックポイント（質問） チェックポイントを改善の優先度別に集めたクラスタ https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
品質パートナーシッププログラム QA - Agile TPI とは - 16のキーエリア（評価軸） - 以下のような分類が評価軸として設定されている - テスト戦略、テスト組織、テストプロセス管理、メトリクス、欠陥管理… https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
品質パートナーシッププログラム QA - Agile TPI とは - 3つのカテゴリ（評価するスコープの広さが3段階） - 個人を対象とした「個人レベル」 - 開発チームの「チームレベル」 - 会社組織全体の「組織レベル」 https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
品質パートナーシッププログラム QA - Agile TPI とは - チェックポイント - キーエリア(評価軸)ごとに複数のチェックポイント（質問）がある - 下表のセル毎にチェックポイント（質問） - これらに「YES/NO/回答不能」のいずれかを回答する https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
品質パートナーシッププログラム QA - Agile TPI とは - チェックポイントを改善の優先度別に集めたクラスタ - クラスタはA~Gまであり、Aが初歩的なステップ - アルファベット順にステップが上がり段階的に改善していくことが望ましい https://www.tmap.net/sites/tmap/files/files/Whitepaper%20-%20Agile%20TPI%20Japanese%20v1.0.pdf
Agile TPI導入に向けてやったこと
テーラリングの実施
Agile TPIの導入に向けてやったこと - キーエリア・チェックポイント見直し - キーエリア「テスト組織」はLIFULL内では不要と考え削除 - 「テスト組織」の代わりに「レビュー」追加 - 日本語へ翻訳・日本語修正 - 公式の日本語版 + DeepL版 + 手動翻訳 - 日本語のトーン、ニュアンス、用語などを調整 - 評価プロセスの決定 - AgileTPIの評価シートの作成 - レポートの構成検討・テンプレ化 - 改善検討用のFBコメント作成
キーエリア・チェックポイントの一部見直し キーエリア「テスト組織」のチェックポイントを見直し テスト組織 レビュー
アセスメント実施の流れ
アセスメント実施からパートナーシップ締結の流れ 品質 部門 PO PdM アンケート依頼 アンケート回答 分析 レポート作成 結果確認 （必要に応じて）
Agile TPI 作成したチェックポイント（質問項目） チェックポイント チェックポイント（一部）
Agile TPI 作成したチェックポイント チェックポイント チェックポイント（一部） チェックポイントのシート全体 基本的には長いExcelのアンケートシート
Agile TPI 作成したチェックポイント チェックポイント チェックポイント（一部） シーケンス番号（キーエリア毎に採番） クラスタ (改善優先度) A~GでAが優先度が高い
Agile TPI 作成したチェックポイント チェックポイント チェックポイント（一部） チェックポイント（質問 項目） 回答欄
Agile TPI 作成したチェックポイント チェックポイント チェックポイント（一部） 全体で80項目程度の質問に 回答すると評価結果が出る
Agile TPI アセスメント結果のチェックポイント チェックポイント毎の 回答結果 “Yes(できている)”が グリーンの部分
Agile TPI アセスメント結果のチェックポイント 16のキーエリア (評価項目のカテゴリー)
Agile TPI アセスメント結果のチェックポイント 個人レベル(Professional)の チェックポイントの結果
Agile TPI アセスメント結果のチェックポイント 開発チームレベル(Team)の チェックポイントの結果
Agile TPI アセスメント結果のチェックポイント 組織全体レベル (Organization)の チェックポイントの 結果
Agile TPI アセスメント結果のレーダーチャート キーエリア毎の ”Yes(できている)”と回答した割合
Agile TPI アセスメント結果 改善提案 チェックポイントで”No(できていない”)と回答した 項目へのフィードバック（推奨する改善活動）を記載
アセスメント結果の全体感
アセスメント結果（全体感） プロダクト規模 × プロセス成熟度（AgileTPIのできている割合） 高 プ ロ セ ス 成 熟 度 低 小 プロダクト規模 大
アセスメント結果（全体感） 品質や開発生産性に関するメトリクスとの相関はどうなっているか・・・？ 高 成熟度が高いプロダクトはパ フォーマンスが高いと非常 に嬉しいが・・・ プ ロ セ ス 成 熟 度 低 小 プロダクト規模 大
アセスメント結果（全体感） 品質や開発生産性に関するメトリクスとの相関はどうなっているか・・・？ 高 定点観測で成熟度の 変化とパフォーマンスの相 関をモニタリングしていくこ とになりそう プ ロ セ ス 成 熟 度 低 小 プロダクト規模 大
Agile TPI アセスメント結果のレーダーチャート キーエリア毎の カバレッジで パフォーマンスに 影響がありそうか？ (分析中...)
まとめ
Agile TPI やってみての感想や振り返り - テーラリングでのチェックポイントの検討は意外と考えることが多い - QAEとして開発組織にどうなっていって欲しいか考える良い機会に - 仕組み化によりアンケートからFBまでをかなり効率的に実施できた - FBした開発チームから改善に伴走して欲しい旨の依頼有り - 定性評価であるものの開発組織の改善への動機付けには良さそう - 各プロダクトのプロセス成熟度の測定まで完了 - プロセスの成熟度と品質のメトリクスと相関は分析中 - 個々のキーエリア、チェックポイントと品質との 繋がりは設計時に考慮しておいても良かった
お知らせ
テストもテスト以外も色々なQA活動をやってみたい人を募集しています！ 今日の発表について TwitterなどでFBしていただけると嬉しいです。 ハッシュタグ #Ltech 弊社QAチームは今後も内部環境（課題）や外部環境（トレンド）を 鑑みて状況にあった活動を続けていきます。 一緒に働いてくれる仲間を絶賛募集中です！