カカクコムでのmabl運用

カカクコムでの mabl運用 2024/3/29 株式会社カカクコム システム本部 QAエンジニア 伊藤由貴（@yoshikiito） 1

自己紹介：伊藤由貴（いとうよしき） n 仕事の経歴 l 2012 ~ 2022 ベリサーブ 主にシステムテスト自動化 l 2023 ~ カカクコムでQAチーム立ち上げ中 n 社外の活動 l JSTQB AL テスト自動化エンジニアシラバス翻訳 l テストツールまるわかりガイド改訂 l TechTeamJournalライター l Sqripts スクリプター n Twitter：@yoshikiito 2

発表の概要 n 社内でのmablの利用範囲や利用度合い n 使い方・用途 n 利用拡大のためにやったこと など大まかにご紹介。 詳細はフリーディスカッションで！ もっと詳しく聞きたい！等ありましたら mablers̲JPのDiscordなどでもお気軽にお声がけください。 3

カカクコムにおけるmablの 活用状況 組織体制 / 開発チームとQAの役割分担 / 実行回数・利用チーム推移 4

カカクコムでの利用状況の概要 n 時期：2022/8~ n プラン：3000回/月 n 用途：主にブラウザテスト l APIテスト、アクセシビリティは一部のみ n テストの実行タイミング l 週に1〜2回の定期実行 l デプロイ前後 などチーム毎にさまざま 5

開発組織の構成とQAの立ち位置 シ ス 開発部1 開発チーム1-A 開発部2 開発チーム1-B 開発部3 開発チーム1-C テ … … ム 本 部 QAの立ち位置 開発部7 • 各部・チームに対して広く浅く DevX室 テスト等の活動を支援 QA(私) • テストの実務を担うのではなく、 テストプロセス整備や技術移転 6

開発チーム主体で自動テストを運用中 QAエンジニア（伊藤） • 全体に関わる運用 開発チーム • 自動テストの利用全般 • 実行回数のウォッチ • テストの作成・修正 • mabl Link関連 • プラン作成 • mabl社とのやりとり • 実行結果の確認 • 導入・利用サポート • デモ・ハンズオン • Fail時の調査 などなど • 困ったときに技術調査 などなど 7

2023年度で利用を拡大 n 月間実行回数の推移 2902 3000 2808 2538 2433 2500 2288 2011 2000 1726 1500 1000 500 804 370 132 180 209 3月 4月 5月 0 6月 7月 8月 9月 10月 11月 12月 1月 2月 8

2023年度で利用を拡大 さらに 複数チームで トライアル中 n 利用チーム数 １ チーム 22年度末 ７ チーム 23年度末 などなど 9

jobcubeでの利用状況 n 実行回数 l 約500~800回/月 n 環境 l Development、Production n テスト数 l 4プラン、19テスト（PC10, SP9） より詳しい話は フリーディスカッションにて n 実行タイミング l Every deployment 10

1年間の推進活動 利用拡大のために行ったこと / 結果 11

利用拡大のために行ったこと（の一部） n ルール整備やドキュメントの整備 n 個別の説明会や、デモ・ハンズオン n mabl Link導入 12

施策：ルール整備 n 複数チームで使うにあたっての運用ルールを整備し、 ドキュメント化。 l 利用開始時の手続き l フローやテスト、プラン等の命名規則 など 「興味はあるけど誰に言えばいいの？」「何をしてOKで、何はダメなの？」 状態になると普及しづらい。 ルール整備のうえ、コツコツ宣伝した。 13

施策：個別の説明やデモ・ハンズオン n 利用希望チームとは必ず初回MTGを行い、 目的や対象となるテスト、想定実行ボリュームなどを確認。 利用方法について認識を揃えた状態で導入検討。 n 導入前後ではデモやハンズオン、個別の技術的フォローも 継続し、「詰まったから放置」を回避する努力。 “銀の弾丸”化を防ぎつつ、mabl利用希望の背景にある問題を探る。 mabl導入はあくまでもきっかけで、 ほんとうにやりたいのはそのチームでのテスト等の改善活動。 14

施策：mabl Link導入 n 社内環境に対してテストのクラウド実行を可能にする、 mabl Linkの仕組みを導入。 l 多くのサービスの開発環境がオンプレミスのため、 mabl Link導入前は本番環境に対してしかテストができなかった。 利用拡大にはこれが一番効いたと思っています。 15

その他のサポート n 最初にQA側でテストシナリオを作成し、サンプルとして提供。 l 「とりあえず動くもの」があると着手しやすい。 l データテーブル利用やフロー化などの参考になる。 16

mabl利用拡大の効果例 n 自動でのリグレッションテストを行うチーム増。 l テストの範囲拡大 l テストの頻度向上 n 自動化・効率化に関する意識向上と、 自動テストナレッジ蓄積。 17

まとめと今後 さらに有効活用するために 18

まとめと今後 n 2023年度で大きく利用拡大 l 7チーム2800回~/月程度 l QA側からのデモ実施や、1シナリオ作成して渡すなどの支援 l 導入前と比べてリグレッションテストの範囲と頻度が拡大 n 今後やりたいこと l GitHub Actionsと連携してローカル実行の割合増 19

以上 ご質問・ご意見などぜひコメントください👏 20