295 Views
July 05, 26
スライド概要
アマQとCC、Codex、Cursorの脆弱性レ ビュー機能を OWASPベンチで比較 篠田 敬廣 2026/07/05
ベンチマーク方法など細かいことはこちらに書いてある
留意点 ● 今回は脆弱性の検知だけにフォーカスしている ● 脆弱性検知だけがコードレビューの全てではない 機能適合性 要件・仕様どおりに正しく動作するか 信頼性 例外・異常系・境界値でも壊れにくいか セキュリティ 入力検証、権限、秘密情報、脆弱性リスクに問題がないか 保守性 読みやすく、修正・拡張しやすいか 性能効率性 処理速度、メモリ、 DBアクセス、依存関係に無駄がないか 検証可能性 テスト・ログ・監視により、正しさや問題を確認できるか
ベンチマークした AIコードレビュー機能一覧 レビュー機能 実行形態 ローカル Codex code-review CC code-review / security-review / review ローカル / GitHub PR Amazon Q q-review / q-pr-review ローカル(Kiro CLI) / GitHub PR Cursor security-review ローカル ECC security-reviewer ローカル ※CursorにはBugbot($60)やCC、CodexにもAPI課金のレビュー機能はある
ベンチマーク方法 OWASP Benchmark Java 1.2 2,400→110 件をカテゴリが かたよらないように選出 モデル ● Codex:5.5 ● CC:Opus/Fable5 ※Effort High
混同行列 危険と判定 安全と判定 危険 正しく検知 真陽性 本当に危険なものを危険と判定 見逃し 偽陰性 本当は危険なのに安全と判定 安全 誤検知 偽陽性 本当は安全なのに危険と判定 正しく安全 真陰性 安全なものを安全と判定
順位 方式 ツール 実行形態 Score TP FP FN TN 1 code-review GPT-5.5 ローカル 0.964 53 0 2 55 1 security-reviewer ECC ローカル 0.964 54 1 1 54 3 code-review Fable 5 ローカル 0.945 54 2 1 53 3 security-review Opus 4.8 ローカル 0.945 54 2 1 53 6 security-review Cursor ローカル 0.927 54 3 1 52 7 security-review Fable 5 ローカル 0.909 50 0 5 55 8 code-review Opus 4.8 ローカル 0.855 50 3 5 52 9 q-review Amazon Q(Kiro CLI) ローカル 0.818 52 7 3 48 10 q-pr-review Amazon Q GitHub PR 0.545 49 19 6 36 11 review Opus 4.8 GitHub PR 0.418 24 1 31 54 12 review Fable 5(1回目) GitHub PR 0.091 5 0 50 55 12 review Fable 5(2回目) GitHub PR 0.073 4 0 51 55
ベンチマークした AIコードレビュー機能一覧 ● 使うなら Codex、ECC、CC security-review が効果的かつ効率的 ● Opus→Fableにしたからといって脆弱性検知が大きく向上する訳では無い ● Codex + ECC or CC security-review(Opus)がおすすめ ● AWS内でなんとかしたいなら ○ Inspector Code Security、AWS Security Agentなどを組み合わす
スイスチーズモデル
ローカルのレビューと PR(CI)のレビューで品質を上げる ● ローカルのレビューで質を上げてPR時のレビューで多段にする ● 脆弱性以外にもコード品質を上げるために考えることはある サプライチェーン ● Dependabotなど 静的解析 ● Linterなど バージョン管理 ● 依存の鮮度チェック その他スキャン