Azure OpenAIを扱う上での脆弱性とは

AI技術の発展は目覚ましいものがありますが、その一方でAIには固有の脆弱性が存在します。

AIモデルは与えられた入力（プロンプト）に基づいて出力を生成するため、不正な入力が加えられた場合、望ましくない出力が生成される可能性があります。
このAIの脆弱性を狙ったサイバー攻撃の手法が「プロンプト攻撃」です。

具体的にどんな攻撃手法があり、対策が出来るのか紹介していきます。

プロンプト攻撃の概要と危険性

プロンプト攻撃とは、AIモデルに対して細工された不正なプロンプト(入力文)を送ることで、AIの出力を攻撃者に有利な形で偽装・改ざんする手法です。

攻撃手法には大きく2種類の手法があります。

プロンプトインジェクション（Prompt Injection）とは？

AIの脆弱性を突き、悪意のある情報をプロンプトに入力することで、意図しない動作をさせる攻撃手法です。
例えばChatGPTに未来の出来事を聞いた場合、通常はまだ起きていない事なので分からないと回答されますが、 以下の様な指示で強制的に回答させることが出来ます。

単純なふり（Simple Pretending）

このように過去と思わせることで詳しく解説させることができます。
この方法は、AIに本来の運用範囲を超えた情報を提供させるために用いられることがあります。

キャラクターのロールプレイ（Character Roleplay）

キャラクターロールプレイでも同様に、通常では答えてくれない放火についての質問を役になりきって貰う事で回答を得る方法です。

間接プロンプトインジェクション（Indirect Prompt Injection）とは？

ターゲットを直接狙うのではなく、ターゲットに関連する何かを狙った攻撃の一種です。

メールやWebサイト、やドキュメントファイルなどに対して、悪意のあるプロンプトをしこませる手法です。

例えば、要約して欲しいドキュメントファイルに白抜きの文字や長いドキュメントの一番最後に悪意のあるプロンプトを仕込ませます。
例として公開されているPowerShellのスクリプトがあります。

これをChatGPTやClaudeに読みこませると次の様な動きになります。

このようにユーザーが意図した動きとは異なりアバターについての歌を歌う動作を指示する事が出来ます。

間接プロンプトインジェクションが行われた場合、個人情報の収集やフィッシング詐欺、悪意のあるAPIの実行、マルウェア拡散、誤った情報の要約や偏見、広告プロモーション、Dos攻撃など
本人の意図とは反して犯罪への巻き込まれなどが発生し、会社としても重要なインシデントとなりえます。

プロンプト攻撃対策のポイント

AIシステムのセキュリティ確保は必須の課題です。対策として以下が重要です。

• テクニカル面でのプロンプトシールドなどのツールの活用
• ガバナンスの確立とAIセキュリティへの適切なリソース投資
• AIの恩恵を最大限活かしつつ、安全性と信頼性を確保する総合的な対策

Azure OpenAIの適切な構成やガバナンスでプロンプト攻撃のリスクを最小限に抑える体制作りが不可欠です。

まとめ

プロンプト攻撃は、AIモデルの脆弱性を突いた新しい脅威です。本記事では、その概要と具体例、対策のポイントを解説しました。

上記で挙げた直接プロントや間接プロントは攻撃手法の一部の例であり、他にも様々な攻撃手法が存在します。

AIシステムのセキュリティ確保は必ず考慮しなければいけない課題であり、プロンプト攻撃への備えは必須です。
先日Microsoftからもプロンプトシールドが発表され対策できるサービスも出てきました。
今後AIがより広範に導入されるにつれ、このような脅威にさらされるリスクは高まる一方でしょう。
技術的な対策に加え、ガバナンスとリソースを適切に投資し、組織としてAIセキュリティに取り組む体制を構築することが何より肝心です。
AIの恩恵を最大限に活かしつつ、その安全性と信頼性を確保できるよう、総合的な対策を講じていく必要があります。

このようなリスクについてセキュリティ対策が必要、ガバナンスが必要、Azureの構成で防げるなら防ぎたい、AIをどのように使っていけば良いかなど困っていたらお気軽にお問合せください。