アマQとCC、Codex、Cursorの脆弱性レビュー機能をOWASPベンチで比較

295 Views

July 05, 26

スライド概要

profile-image

インフラエンジニア

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

アマQとCC、Codex、Cursorの脆弱性レ ビュー機能を OWASPベンチで比較 篠田 敬廣 2026/07/05

2.

ベンチマーク方法など細かいことはこちらに書いてある

3.

留意点 ● 今回は脆弱性の検知だけにフォーカスしている ● 脆弱性検知だけがコードレビューの全てではない 機能適合性 要件・仕様どおりに正しく動作するか 信頼性 例外・異常系・境界値でも壊れにくいか セキュリティ 入力検証、権限、秘密情報、脆弱性リスクに問題がないか 保守性 読みやすく、修正・拡張しやすいか 性能効率性 処理速度、メモリ、 DBアクセス、依存関係に無駄がないか 検証可能性 テスト・ログ・監視により、正しさや問題を確認できるか

4.

ベンチマークした AIコードレビュー機能一覧 レビュー機能 実行形態 ローカル Codex code-review CC code-review / security-review / review ローカル / GitHub PR Amazon Q q-review / q-pr-review ローカル(Kiro CLI) / GitHub PR Cursor security-review ローカル ECC security-reviewer ローカル ※CursorにはBugbot($60)やCC、CodexにもAPI課金のレビュー機能はある

5.

ベンチマーク方法 OWASP Benchmark Java 1.2 2,400→110 件をカテゴリが かたよらないように選出 モデル ● Codex:5.5 ● CC:Opus/Fable5 ※Effort High

6.

混同行列 危険と判定 安全と判定 危険 正しく検知 真陽性 本当に危険なものを危険と判定 見逃し 偽陰性 本当は危険なのに安全と判定 安全 誤検知 偽陽性 本当は安全なのに危険と判定 正しく安全 真陰性 安全なものを安全と判定

7.

順位 方式 ツール 実行形態 Score TP FP FN TN 1 code-review GPT-5.5 ローカル 0.964 53 0 2 55 1 security-reviewer ECC ローカル 0.964 54 1 1 54 3 code-review Fable 5 ローカル 0.945 54 2 1 53 3 security-review Opus 4.8 ローカル 0.945 54 2 1 53 6 security-review Cursor ローカル 0.927 54 3 1 52 7 security-review Fable 5 ローカル 0.909 50 0 5 55 8 code-review Opus 4.8 ローカル 0.855 50 3 5 52 9 q-review Amazon Q(Kiro CLI) ローカル 0.818 52 7 3 48 10 q-pr-review Amazon Q GitHub PR 0.545 49 19 6 36 11 review Opus 4.8 GitHub PR 0.418 24 1 31 54 12 review Fable 5(1回目) GitHub PR 0.091 5 0 50 55 12 review Fable 5(2回目) GitHub PR 0.073 4 0 51 55

8.

ベンチマークした AIコードレビュー機能一覧 ● 使うなら Codex、ECC、CC security-review が効果的かつ効率的 ● Opus→Fableにしたからといって脆弱性検知が大きく向上する訳では無い ● Codex + ECC or CC security-review(Opus)がおすすめ ● AWS内でなんとかしたいなら ○ Inspector Code Security、AWS Security Agentなどを組み合わす

9.

スイスチーズモデル

10.

ローカルのレビューと PR(CI)のレビューで品質を上げる ● ローカルのレビューで質を上げてPR時のレビューで多段にする ● 脆弱性以外にもコード品質を上げるために考えることはある サプライチェーン ● Dependabotなど 静的解析 ● Linterなど バージョン管理 ● 依存の鮮度チェック その他スキャン