脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ

脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェント の使いどころ 脅威モデリングナイト #16 サイボウズ株式会社 PSIRT 湯浅 潤樹 1

自己紹介 • 湯浅 潤樹（Junki Yuasa） • X: melonattacker • サイボウズ株式会社 PSIRT • 主な業務は脆弱性診断、脅威分析など • 趣味は釣り、ランニング、銭湯 • セキュリティツールを作るのが好き • 徳島県に住んでいます ↑徳島のハゼです ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 2

背景・課題 脅威モデリングとの出会い • 2024年7月、徳島で開催された脅威 モデリングワークショップに参加1 • 大きい紙にDFDを書き、グループワ ークで脅威を洗い出して評価 • 手を動かして脅威モデリングの基礎 を学んだ [1] https://tokushima-cyber-security-meetup.org/seminar-20240727/ ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 3

• https://tokushima-cyber-security-meetup.org/seminar-20240727/

背景・課題 社内での脅威モデリング導入・実施 • 社内で脅威モデリングワークショップを開催 2 • 開発・運用系メンバーに脅威モデリングの考え方を掴んでもらうことが目的 • 部署横断の課題解決のための取り組み 3にも脅威モデリングを活用 ワークショップでの成果物の一例 ©️ Cybozu, Inc. [2] https://blog.cybozu.io/entry/2025/10/08/110000 [3] https://blog.cybozu.io/entry/2025/10/22/080000 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 4

• https://tokushima-cyber-security-meetup.org/seminar-20240727/
• https://blog.cybozu.io/entry/2025/10/22/080000

背景・課題 脅威モデリングの課題 • 脅威を洗い出すフェーズが大変 • 付箋がゼロの状態から脅威を洗い出す心理的なハードル • セキュリティ担当以外は日々「脅威」について考えているわけではない • 付箋が少し出てくると、とっかかりができて付箋が増える・議論が弾む ©️ Cybozu, Inc. 付箋ゼロの恐怖 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 5

背景・課題 脅威モデリングにAIを活用する • AIを「脅威を考えるための補助」として使えないか？が本発表のテーマ • 「AIに脅威モデリングを丸投げ」ではなく、AIを使って人間が脅威モデリ ングをより効率的に・効果的にできるかを考える 人間 ©️ Cybozu, Inc. AI 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 6

Threat Thinkerを作った Threat Thinkerとは • 構成図を入れるだけで脅威候補を出力するツール4を作った ©️ Cybozu, Inc. [4] https://github.com/melonattacker/threat-thinker 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 7

• https://github.com/melonattacker/threat-thinker

Threat Thinkerを作った Threat Thinkerのアーキテクチャ・機能 • 構成図パース→構成図の補完→脅威推論→フィルタ→レポート生成 • 主な機能 • 多様な構成図のサポート : Mermaid、draw.io、画像形式の構成図に対応 • RAG : ドキュメントを参照させることで脅威推論を強化 • Threat Dragon連携 : Threat Dragon形式での出力が可能 • 脅威の可視化 : 構成図上で脅威の該当箇所を可視化 ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 8

Threat Thinkerを作った LLMに直接やらせればいいのではという問い • Threat Thinkerは内部でLLMを使っている • つまり、LLMを脅威モデリング用にパッケージ化したツール • 最近、LLMはとても賢くなってきている → LLMに直接やらせることもできるのでは？ ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 9

LLMでもできるのでは？ ChatGPT、Claudeで脅威の洗い出しをやってみる • 同じ構成図をChatGPT、Claudeに投げて、同条件で比較した • Threat Thinkerの脅威洗い出しと同じフォーマットで出力させる ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 10

LLMでもできるのでは？ ChatGPT、Claudeでの脅威洗い出しの所感 • 結果5: 脅威候補の品質は同等以上、対話で深掘りもできる • 一方で、脅威の可視化やThreat Dragon形式での出力、RAGなどは弱い [5] https://chatgpt.com/share/69a7f242-6b50-8012-b826-e75221f52227 ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 11

• https://chatgpt.com/share/69a7f242-6b50-8012-b826-e75221f52227

AIエージェントならどうか？ AIエージェントにやらせたらどうなのかという問い • Codex、Claude CodeなどのコーディングAIエージェント • コードを書ける、ファイルの探索・参照が可能、マルチステップ推論 • 脅威の可視化やThreat Dragon形式での出力、RAGができそう → LLMだけでできない部分ができるのでは？ ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 12

AIエージェントならどうか？ Claude Code、Codexで脅威の洗い出しをやってみる • Claude Code、Codexに脅威モデリングの手順をSkillsとして与えて実行 • Threat ThinkerでやっていることをSkills（プロンプト）6にして与える • 構成図パース→脅威推論→Markdown/HTMLレポート生成まで実施 [6] https://gist.github.com/melonattacker/e6b84f7bee8429946acda36756ba5beb ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 13

• https://gist.github.com/melonattacker/e6b84f7bee8429946acda36756ba5beb

AIエージェントならどうか？ Claude Code、Codexで脅威の洗い出しをやってみる [7] https://gist.github.com/melonattacker/5be4f3fb47237a5ea108733381b78fe5 ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 14

AIエージェントならどうか？ Claude Code、Codexでの脅威洗い出しの所感 • 結果: Threat Thinker相当の成果物が再現 • HTMLレポートでの脅威の可視化、Threat Dragon形式での出力 • ファイル参照、Web検索でRAGみたいなこともできそう • 脅威候補の品質はLLMと同等もしくはそれ以上 • 対話での修正や追加調査、後続の作業も可能 専用ツールと同等以上のことが AIエージェント+Skillsで実現できた ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 15

AIエージェントならどうか？ 単発推論 vs マルチステップ推論 • Threat Thinker : • 処理フローの中で必要な部分のみスポットでLLMを使う • 脅威の推論自体は1回のLLM呼び出し • AIエージェント : • 構造化 → 中間表現を確認 → 追加の観点を掘る → 必要に応じて再推論… • 処理フローの中で推論をマルチステップで行う 単発推論のThreat Thinkerよりも、 段階的に思考を重ねるAIエージェントの方が脅威の品質は高い ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 16

専用のAIエージェント案 Threat Thinkerをエージェント化すればいいのでは？ マルチステップ推論が強いならThreat Thinkerをエージェント化すれば？ 専用エージェント化 汎用AIエージェント • 同じLLMを使う • 同じLLMを使う • ツール利用能力を自前で実装 • ツール利用能力は標準装備 • ドメイン知識はコードに固定 VS • ドメイン知識はSkillsで柔軟に注入 専用ツールのエージェント化は、汎用AIエージェントとの競争になり厳しい ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 17

専用のAIエージェント案 Threat Thinkerのような専用ツールを作ることで得られたこと • ツール本体よりも、作る過程で得た知見に価値がある • これらは汎用AIエージェントのSkills（プロンプト）で再利用できる Threat Thinker • 構成図パーサー • 推論パイプライン • レポート出力 得た知見 • 処理フロー設計 • 中間表現設計 • プロンプト設計 Skills化して還元 • Skillsとして利用 • 汎用AIエージェン ト上で動く • 出力テンプレ ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 18

脅威モデリングのAI活用 最終的な比較 Threat Thinker （専用ツール） LLM AIエージェント 脅威候補の列挙 ○ ○ ◎ 脅威の可視化 ◎ △ ◎ 消費トークン数 ◎ ○ △ 対話的な深掘り △ ◎ ○ 後工程への接続 △ △ ◎ それぞれに強み・弱みがある 軽く回すならThreat Thinker、深掘りするならLLM、一気通貫ならAIエージェント ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 19

脅威モデリングのAI活用 脅威モデリングはAIには置き換わらない • AIは脅威候補を出すことは得意、しかしそれは脅威モデリングの一部 • 脅威モデリングで重要になるのは人間の「判断」 • 何を守るのか • どの脅威を優先して防ぐのか • 対策するか、どこまでの対策をするか • 対策で発生する工数などのコストを受け入れられるか AIは脅威モデリングを代替するわけではない AIが出した脅威は答えではなく、検討や判断のための「たたき台」 ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 20

まとめ • 脅威モデリングの「脅威を洗い出す」フェーズでAI活用の検証をした • 「脅威を考えるための補助」としてはAIは十分に使える • 専用ツールを作ったが、LLMやAIエージェントでも同等以上のことが可能 • それぞれに強み・弱みがあるので使い所はユースケースで異なる • ただし、脅威モデリングはAIには置き換わらない • AIが出す脅威は答えではなく、人間が検討するためのたたき台 お気軽にご意見ください！ 資料は X: @melonattacker にあがります ©️ Cybozu, Inc. 脅威モデリングのAI活用 : 専用ツールとLLM / AIエージェントの使いどころ 21