bubmag

特集 2025年05月20日 1分 アプリケーションセキュリティ データ・情報セキュリティ リスクマネジメント 3分の2近くの企業が、AIツールの導入前にそのセキュリティ上の意味を吟味していない。最初からセキュリティの基本を強調することで、リスクを減らすことができる。 多くの企業が生成系AI（Generative AI）から生産性向上を得ようと急ぐ一方で、そのセキュリティ上の影響を見落としているケースが大半だ。画期的なイノベーションに期待するあまり、適切なセキュリティ対策がおざなりにされているのである。 世界経済フォーラム（WEF）がアクセンチュアと共同で実施した調査によれば、企業の63％がAIツールを導入する際にセキュリティ評価を行っておらず、さまざまなリスクを抱え込んでいるという。 このリスクは市販のAIソリューションだけでなく、社内のソフトウェア開発チームと協力して構築した自社専用の実装にも及ぶ。Tricentisの「2025 Quality Transformation Report」によると、開発チームの多くはソフトウェアの品質向上（13％）よりも、納期短縮（45％）に注力している。一方で、同レポートの回答者の3分の1（32％）は、ソフトウェア品質の低下によってセキュリティ侵害やコンプライアンス違反がより頻繁に起こる可能性があると認めている。 実際、セキュリティ侵害や失敗はますます頻繁に発生している。シスコが5月7日に公表した最新版の「Cybersecurity Readiness Index」によれば、86％の組織が過去1年にAI関連のセキュリティインシデントを経験しているという。しかし、そのような組織のうち、自社で包括的なAIセキュリティ評価を行うだけのリソースや専門知識があると考えているのは45％にとどまる。 見過ごされがちなAIのセキュリティリスク CSOが専門家に聞いたところによると、AIシステムを導入前に十分にテストしないことは、従来のソフトウェアとは大きく異なるさまざまな脆弱性を招くという。以下はその代表的な例である。 ■ データ漏えい AIシステムは大量の機密情報を処理することが多いが、十分なテストが行われていない場合、そのデータがどれほど簡単に流出し得るかを見落としがちだ。セキュリティ対策が不十分なストレージ、過剰に情報を返すAPI、アクセス制御の不備などが原因となる。 「多くのAIシステムは推論の過程でユーザーデータを取り込み、セッションの文脈を保持することがあります」と語るのは、AIセキュリティテストベンダーMindgardのCEO兼共同創業者であるピーター・ギャラガン（Peter Garraghan）博士だ。「データの取り扱いが監査されていない場合、モデルの出力やログの公開、微調整済みデータセットの誤用などを通じて、データ漏えいのリスクが高まります。大規模言語モデル（LLM）のメモリ機能やストリーミング出力モードによって、これらのリスクはさらに深刻化します」 ■ モデルレベルの脆弱性 「プロンプトインジェクション」や「ジェイルブレイク」、敵対的なプロンプトチェインといった攻撃手法は、入念なテストがなければ見過ごされやすい。これらの攻撃によって、モデルの出力制約を回避したり、機密データを漏えいさせたり、意図しないタスクを実行させたりする恐れがある。 「この種の攻撃は、モデルのアライメント（安全策）の仕組みや、トークンレベルの推論に依存している点など、モデルの弱点を突いて行われることが多いのです」と、ランカスター大学（英国）講師でもあるギャラガン氏は解説する。 ■ モデルの整合性と敵対的攻撃 敵対的な操作や不正な学習データによる「毒付け」に対するテストを行わないままでは、AIモデルがどのように振る舞うかを攻撃者が意のままにコントロールすることが容易になる。特に、ビジネス上の意思決定や機密性の高い業務の自動化をサポートする場合には危険性が高い。 サイバーコンサル企業CyXcelのCOO、ジャノ・ベルムーデス（Jano Bermudes）氏はこう語る。「攻撃者は入力データを操作してAIモデルを騙し、誤った決定を下すよう仕向けることができます。これは回避攻撃やデータ毒付け攻撃を含みます」 ■ システミックな統合リスク AIモデルはAPIやプラグイン、RAG（Retrieval-Augmented Generation）構成などを介して、より大きなアプリケーションのパイプラインに組み込まれることが多い。 「この段階でのテストが不十分だと、モデルの入力・出力の扱いにおけるセキュリティホール、シリアライズされたデータ形式を経由したインジェクション経路、ホスティング環境内での権限昇格といった問題が生じる可能性があります」とギャラガン氏は警鐘を鳴らす。「こうした統合ポイントは、一般的なAppSec（アプリケーションセキュリティ）のワークフローでは見落とされがちです」 ■ アクセス制御の不備 AIツールは他のシステムへ接続することが多く、誤った構成によって、意図した以上のアクセス権をユーザーや攻撃者に与えてしまうおそれがある。APIキーが丸見えになっていたり、認証が不十分だったり、ログが不十分で乱用が発見できないといったケースが挙げられる。 ■ ランタイムセキュリティの不備 AIシステムは本番環境における運用中にのみ発現する「創発的挙動」を起こすことがある。特に動的な入力条件下や他のサービスとの連携時に顕在化しやすい。 「たとえば、ロジックの破損や文脈のオーバーフロー、出力の反射などといった脆弱性は、本番の運用下や実際のトラフィックをシミュレートしたレッドチーム演習でしか発見できないことがよくあります」とギャラガン氏は説明する。 ■ コンプライアンス違反 AIツールが規制要件を満たしているか確認を怠れば、法的措置に直面しかねない。たとえば、AIツールによる無許可のデータ処理や、モデルの大規模運用時に想定外の挙動が起きてシステムダウンを招き、規制違反となる可能性がある。 ■ 組織全体へ及ぼす影響…