1万件の調査結果から読み解く、SaaSにおける「隠れAI」のセキュリティリスク
245 Views
February 08, 26
スライド概要
【第14回】サイバーセキュリティ勉強会2026冬 in 塩尻 - connpass https://shiojiri-cyber.connpass.com/event/372811/
株式会社アシュアード 植木 雄哉 氏
🤔I'm a beginner.
関連スライド
各ページのテキスト
CONFIDENTIAL 1万件の調査結果から読み解く SaaSにおける「隠れAI」のセキュリティリスク 株式会社アシュアード Assured クラウド評価事業部 事業開発部 セキュリティエキスパートグループ 植木 雄哉 株式会社アシュアード セキュリティ評価プラットフォーム
2 自己紹介 （株） NTTデータにて、 OAインフラ・セキュリティ領域のコンサルティ ング（次期グランドデザイン・ロードマップ策定支援等）や開発支援 （仮想化基盤の設計・構築等）を、官公庁・保険・製薬・流通業等のお 客様向けに提供。自社システムのインフラ基盤の保守・運用も経験。 経歴 KPMG コンサルティング（株）にマネージャーとして参画後、 保険業のお客様向けに、セキュリティコンサルティング案件（セキュリ ティリスク評価やアドバイザリー、教育・カルチャー醸成等）を担当。 アシュアードに入社後、セキュリティエキスパートとして、企業や クラウドサービスのセキュリティ評価を実施しつつ、コンサルティング やサービス開発（例： Assured 企業評価）、外部への情報発信を担当。 セキュリティエキスパート 植木 雄哉 主な資格 CISSP、 CCSP、 PMP 、情報処理安全確保支援士（試験合格） 応用情報技術者、 ITIL(Foundation)
3 Assured（アシュアード）について 累計「１万件以上」の セキュリティ評価を実施 既存サービス 新規サービス 本日 統計データを紹介
4 アジェンダ 1. クラウドサービス（ SaaS ） を取り巻く現状 2. クラウドサービス（ SaaS ）に おけるリスク の考え方 3. クラウドサービス （ SaaS ）における AIリスク と「隠れ AI」 4. 結論
5 クラウドサービス（SaaS）を 取り巻く現状
6 民間企業におけるクラウドサービスの利用実態 国内企業のクラウド活用は 2024 年時点で約 8割。また、利用企業の 9割近くがクラウド利用の効果を感じている クラウド サービス を 利用している企業割合 2024 年国内クラウド 市場規模予測 クラウドサービスの 有効性を感じる企業 80.6 % 4兆円 88.2% 出典：総務省「令和 6年 通信利用動向調査報告書（企業編）」 （出典） IDC「国内パブリッククラウドサービス市場予測を発表」 （ 2025 年2月20 日） （ 出典） 総務省「 令和6年 通信利用動向調査報告書（企業編） 」
【Assured調査結果①】民間企業におけるクラウドサービスの利用実態 大手企業（従業員 1000 名以上の企業）の半数以上が、クラウドサービスを 【 調査概要】 ・調査方法：インターネット調査 ・調査時期： 2024 年1月 ・調査対象：全国、男女、 20 ～60 代、従業員数が 1,000 名以上の企業の情報システム担当者、 300 名 （調査機関：株式会社クロス・マーケティング） ※小数点第二位を四捨五入しているため、合計が 100% にならない場合があります。 ※本調査を引用される際には、「 Assured 調べ」と必ずご記載ください。 100 件以上利用している 7
クラウドサービス（SaaS）のカテゴリ別利用状況とセキュリティリスク 「機密性・完全性」だけでなく「可用性」の観点からもクラウドサービスのセキュリティ水準を把握すべき状況 カテゴリ別利用状況（ 2022 年） # サービスカテゴリ 割合 1 ファイル保管・データ共有 64.0% 2 社内情報共有・ポータル 52.9% 3 電子メール 52.4% 4 給与、財務会計、人事 46.5% 5 スケジュール共有 46.0% 6 データバックアップ 36.9% 7 eラーニング 20.7% 8 営業支援 9 10 セキュリティリスク セキュリティ水準を把握する必要性 機密性 適切にデータを保護する義務 情報漏洩 改ざん （例） • 特定個人情報（マイナンバー） • 要配慮個人情報（既往歴等） • 1000 件以上の個人情報 • 高機密情報（財務会計、特許等） 19.8% 可用性 自社の業務継続における必要性 取引先との情報共有 18.0% サービス停止 プロジェクト管理 14.9% （例） • 自社の「重要業務」の継続に必要 （出典）総務省「令和 4 年 通信利用動向調査報告書（企業編）」 ※2022 年（ n=1,858 ） 完全性 8
9 クラウドサービス（SaaS）におけるセキュリティインシデント事例 クラウドサービス（ SaaS ）おけるインシデントが、自社の「事業継続」に影響を及ぼすようなレベルに クラウドサービス（ SaaS ）における情報漏えい 90 万人以上の顧客のデータがインターネットに公開 公開範囲の 設定ミス 1億人以上の顧客の通話等のデータが漏えい 公開 認証情報窃取 不正アクセス 攻撃者 サービス利用 利用企業 参考： IPA「 情報セキュリティ白書 2025 」 漏えい 多要素認証 利用無し サービス利用 クラウドサービス （ファイル保管・データ共有） クラウドサービス（ … 外部 利用企業 マルウェア感染 クラウドサービス （データウェアハウス） SaaS ）の活用が進んでいるが故に、インシデント発生時の被害も大きくなっている
10 クラウドサービス（SaaS）における リスクの考え方
クラウドサービス（SaaS）におけるセキュリティインシデント事例 クラウドサービスの活用が進む一方で、クラウドサービスに起因したセキュリティインシデントが発生 （ 1）設定ミスによるインシデント事例 a. SaaS 利用時の設定ミス b. IaaS/PaaS 利用時の設定ミス 必要となる観点 「 クラウドサービス利用者 」と「 クラウドサービス事業者 」において どちらが何に責任を負っているか （ 2）サイバー攻撃によるインシデント事例 …を理解することが対策を考える上で必要不可欠 a. パスワードリスト攻撃 b. ランサムウェア攻撃の事例 c. 業務委託先経由のサイバー攻撃の事例 （ 3）広域インフラ障害のインシデント事例 a. グローバル IaaS/PaaS の大規模障害 b. 通信障害 参考： IPA「情報セキュリティ白書 2024 」 責任共有モデル 11
12 責任共有モデル 凡例： 利用形態毎に「クラウドサービス利用者」と「クラウドサービス事業者」の責任範囲が決まっている オンプレミス IaaS PaaS データ管理 アプリケーション ミドルウェア 混在 仮想ネットワーク 混在 仮想環境 ハードウェア 物理ネットワーク 施設・電源 クラウドサービス事業者 SaaS 「データ管理」 と 「 ID・アクセス管理」 は 利用者の責任範囲 ID・アクセス管理 OS クラウドサービス利用者
（例）SaaSにおける「預託データ」の責任所在 多くの SaaS では、サイバー攻撃等によるデータ破損時について「復元・損害賠償等」に「一切の責任を負わない」と整理 Assured 利用規約 13
14 クラウドサービス利用者の責任範囲 責任共有モデルを踏まえると … クラウドサービス データの管理責任は「 （ SaaS ）利用時であっても クラウドサービス利用者 重要 」にある 「預託データ」の重要度に応じて、クラウドサービス利用者は 責任 1. セキュリティ水準の高いクラウドサービスを利用 する 2. クラウドサービス環境に対して、 セキュアな設計や構築を行う …
15 リスクへの対応方法 リスクへの対応方法は大別して４種類の方法が存在し、「リスク回避」を選択することで「リスクは 低減 転嫁 回避 大 リスクの発生確率や影響を下げるアプローチ （例：クラウドサービス利用時に、多要素認証を利用する） リスクを許容するアプローチ （例：責任者承認の下、高リスクのサービスを利用する） 損失を補填する契約の締結や保険へ加入する （例：サイバー保険への加入） 転嫁 影響度 受容 0になる」が … 低減 受容 高 リスクが発生しうる状況自体を回避する （例：高リスクのクラウドサービスを利用しない） リスクを「０」 にする唯一の方法 リスク回避 回避 発生可能性 （例）クラウドサービスを全く利用しない ただし、リターンも「０」に …
16 何故、リスク管理が必要なのか？（１／２） クラウドサービスを利用する（リターン）ために取る「リスク」が、「リスク許容度」を越えないよう管理する必要がある 前提 「リターン」 を得るために 「リスク」を取っていく必要がある リスクとリターンの関係（イメージ） リターン クラウドサービスでの インシデント発生 （ 「重要業務停止」 や「情報漏えい」 の発生） リスク低減 C リスク許容度 リスク リスク 大 クラウドサービス利用による 「業務効率化」 や「高度化」 ※実務上は「リスク基準」等の表現 C’ B リスク回避 A リスクプロファイル C“ リスク 管理 「リスク」 を評価し、対応することで 「リスク許容度」 を超えないよう管理 リターン 参考： COSO「 クラウドコンピューティングのための全社的リスクマネジメント 高 」
17 何故、リスク管理が必要なのか？（２／２） 「影響度」と「発生可能性」を踏まえ、クラウドサービス利用時のリスクが「リスク許容度」の範囲内に収まるよう管理 リスク 管理 「リスク」 を評価し、対応することで 「リスク許容度」 （例）人事労務・給与管理系の リスク 影響度 ①給与支払いにおいて必須 ②マイナンバー等の高機密情報を取扱う 業務影響度 大 情報の機密性 大 高 を超えないよう管理 SaaS 発生可能性 利用判定 クラウドサービス利用者側の セキュアな設定の実施 利用OK 多要素認証 アクセス制御 …等 クラウドサービス事業者側の 高いセキュリティ水準 低
18 つまり… リターン（業務効率化や高度化）を得るために リスクのコントロールが必要！
19 クラウドサービス（SaaS）における AIリスクと「隠れAI」
20 AIリスク 2025 年1 月末に英国科学技術イノベーション省（ DSIT）が発表した報告書内で「 AIリスク」を下記の３つで整理 AIリスクの分類 AIリスク AI の利用の拡大や社会への浸透に伴って何らかの危害が人間や社会に生じるリスク (1) AIの悪用がもたらすリスク サイバー犯罪者等が AI を悪用することで生じるリスク (2) AIの不適切動作によるリスク AI による利用者の意図しない動作によって生じるリスク (3) システミックリスク AI 自体は正常に動作していても、社会に AI が浸透する過程で 社会の中の様々なバランスが崩れて、何らかの被害を生じるリスク 引用： IPA「 情報セキュリティ白書 2025 」
21 (2) AIの不適切動作によるリスク（１／２） AIの不適切動作によるリスクとして「信頼性の問題」や「バイアス」が挙げられる (2) AIの不適切動作によるリスク AI による利用者の意図しない動作によって生じるリスク 過去に採用されていた技術職が 男性ばかりであり、機械学習の データとしてそれらの偏りのあ る履歴書を用いた結果 … （ a）信頼性の問題 （ b ）バイアス 医療における汎用的 AI の性能評価を行った結果、 人種間 で答えに差異のない医療上の質問に対して、あたかも人 種間で違いがあるような示唆を含む返答 が得られた 技術職への応募履歴書を評価する際に、対象者が女性であ るというだけで評価が下がるという 偏り（バイアス）が生 じることが判明 し、当該プロジェクトは中止に … AI の振る舞いの信頼性は限られた尺度や切り口だけでは 十分に評価できない可能性を示しており、 AI に何かの仕事を任せる際には、その結果を任せた人間 がしっかりとチェックする必要 がある AI が参考にするデータ自身に偏りがある場合に、これを AI 自身が是正することは基本的にできない。このため、 学習 データの準備の際に入念な配慮を行う必要 がある。 引用： IPA「 情報セキュリティ白書 2025 」
【参考】生成AIのハルシネーションが問題となった事例 コンサルティングファームの成果物において、実在しない学術論文への参照や、誤った引用が含まれていた事例 コンサルティングファームにおける事例 ⚫ 某政府から依頼を受けてコンサルティングファームが生成 AIを利用して作成したレポートに、 存在しない論文や判例の引用が複数発見された （ハルシネーション） ⚫ 結果、 政府に対してコンサルティングファームが 返金すること と なった 生成AI コンサルタント レポート ハルシネーションが含まれたレポート 22
23 (2) AIの不適切動作によるリスク（２／２） AIの不適切動作により「コントロールの喪失」が発生すると、大きな被害がもたらされる恐れがある (2) AIの不適切動作によるリスク AI による利用者の意図しない動作によって生じるリスク （ c）コントロールの喪失 例えば、工場内の機器に対する AI 制御が人間の手を離れてしまい、非常停止等の介入ができなくなる事態は、 「コントロールの喪失」と見なされる。 AI の動作が人間の期待から逸脱した状態でコントロールの喪失が発生すると、大きな被害がもたらされるおそれ AI の動作の高速化を AI 自身に行わせる手法を発表し、大幅な高速化を達成したとうたったが、 AI がシステム内の評価コードの抜け穴を見つけ、精度の検証等のチェックを回避していること ※同社は後日、見かけの高速化を行う抜け道を 引用： IPA「 情報セキュリティ白書 2025 」 AI 自身が発見し悪用したことと、修正に取り組むことを発表した が判明した。 がある。
24 AIにおける共有責任モデル Microsoft 社が公開している「 AI shared responsibility model 引用： NTTデータ先端技術「 生成AIに対するセキュリティ脅威と対策 第2回」 」では「クラウドサービス利用者」と「事業者」の責任を明示
25 そもそも… クラウドサービス（ SaaS ）においては、 事業者がきちんと管理しているのでは …？ ？
26 クラウドサービス（SaaS）におけるAIリスク クラウドサービス（ SaaS ）においても AIを利用しているケースが存在しており、各リスクの管理が重要 クラウド サービス 利用者 クラウドサービス（ 誤った学習 バイアス等の発生 データベース 出力 他者の 権利物 攻撃者 悪意のある入力 学習 クラウドサービス利用 ハルシネーション （誤った情報の出力・利用） SaaS ） AI 出力 権利侵害 【 クラウドサービスにおける AIに関する取り扱い 】 • AIサービスの利用者等にむけたサービス規約の有無 • 学習データの収集・利用について、法令遵守のためのルールの有無 • 預託データの学習利用の有無 情報漏えい 【 クラウドサービスにおける AIに対する攻撃対策 】 • 学習データ、 AIの出力結果・判断根拠などを定期的に評価し、 バイアス等を継続的にモニタリングしているか • AIに関する攻撃手法や動向について情報収集し、対応しているか
【Assured調査結果①】クラウドサービスにおけるAI利用 約4割のクラウドサービス（ SaaS ）において、 AIを利用または開発している 27
【Assured調査結果②】AI利用サービスにおける規約・ルールの策定 利用規約の明示、学習データの収集・利用ルールを策定しているサービスはいずれも約半数にとどまる 28
29 SaaSの裏に潜む「隠れAI」の存在 クラウドサービス（ SaaS ）においても AIを利用しているケースが存在しており、各リスクの管理が重要 「隠れ AI」のよくあるパターン クラウド サービス 利用者 クラウドサービス（ クラウドサービスの 利用規約に 明示されていない 学習 クラウドサービス利用 データベース 出力 導入時のみ評価をしており サービスの変更に気づいていない SaaS ） AI サービス開始当初は AI利用が無かったが 新規にAI利用機能が リリースされた
【Assured調査結果③】預託データの学習利用 預託データを学習に利用していても、 22 ％が法令順守のための利用ルールを定めていない 30
【Assured調査結果④】AIに関する品質管理、セキュリティ対策 AIの品質管理、およびセキュリティ対策未実施サービスは約半数 31
32 調査結果を踏まえると… クラウドサービスにおける AIガバナンスの確認は必須 ！ （定期的な評価を行い、 AIの利用有無を把握すべき）
AIを利用・連携するクラウドサービス（SaaS）の確認ポイント インプット／ アウトプット の確認観点 セキュリティに 関する確認観点 ⚫ インプットの ⚫ SaaS 事業者でのインプットの保持期間及び消去義務の有無 ⚫ SaaS 事業者がインプットを第三者に提供することができるか ⚫ SaaS 事業者がインプットに関して、知的財産権等一定の権利を取得するか ⚫ SaaS 事業者がユーザに対し、アウトプットの保証・情報提供義務を負うか ⚫ アウトプットの利用目的の定めがあるか ⚫ ユーザがアウトプットの管理・消去義務を負うか ⚫ ユーザがアウトプットに関して、知的財産権等、一定の権利を取得するか ⚫ SaaS 事業者による インプットの管理・セキュリティ体制 ⚫ ログの保存（サイバー攻撃への対応や内部不正防止の観点） ⚫ 規約改定に関する留意（利用規約が定期的に変更されうるため、変更状況を随時確認すべき） 出典：経産省 AIの利用・開発に関する契約チェックリスト 利用目的が定められているか、 個人データが含まれる場合、目的の達成に必要な範囲か
34 結論
35 結論 ● 多くの企業においてクラウドサービス活用が進んでいる一方、 クラウドサービスも自社の ● ● SaaS ）におけるインシデントも発生 ITサプライチェーンの一環として、セキュリティリスクの評価や管理を行うべき状況 AI開発・利用が推進される中で、 AIに起因するリスクが複数顕在化 している 1. AI の悪用がもたらすリスク 2. AI の不適切動作によるリスク 3. システミックリスク クラウドサービス（ クラウドサービス（ SaaS ）事業者においても同様であり、 AIガバナンスを効かせていく必要がある一方で、 その状況を、 クラウドサービス利用者側でも確認することが自社のデータを守るうえで重要 （例：預託データが ● となる SaaS を経由して AIに学習利用されるか否か …等） 特に、 「隠れ AI」という形で利用者が意図しない形で AI利用をしているケース もあり、 定期的なセキュリティ評価 が必要。
36 EoF