企業が知っておくべきAIチャットボット導入時のセキュリティリスクに関する警告

Posted On: 9月 10, 2023

AIツールが簡単にだまして悪意のあるタスクを実行できることがさらなる研究で示されているため、英国国家サイバーセキュリティ庁はAIチャットボットを業務に組み込んでいる組織に警告している。

英国サイバーセキュリティセンター（NCSC）は8月30日のブログ投稿で、大規模言語モデル（LLM）と呼ばれる「人間的」な方法で対話できるアルゴリズムに関連する潜在的なサイバーセキュリティ問題を専門家がまだ完全に理解できていない、と述べた。）。

NCSCは、特にそのようなモデルが企業のビジネスプロセスに統合されている場合、これがリスクにつながる可能性があると警告している。最近、学者や研究者は、AI に誤解を招くコマンドを与えたり、内蔵の保護バリアを破ったりして、AI を「騙す」方法を発見しました。

生成 AI 統合ツールはチャットボットとして使用され、インターネット検索だけでなく、顧客サービスや営業電話に関連する業務も置き換えることが期待されています。

たとえば、銀行で使用されている AI チャットボットは、ハッカーが正しい「指示」を実行した場合、だまされて不正な取引を実行される可能性があります。

そのため、最近の AI ベータリリースに関して、NCSC は「LLM を中心とした製品を構築している組織は、初期段階 (ベータ) の新製品を使用する場合と同じレベルの注意を払う必要がある」と警告しています。

最新のロイター/イプソスの調査によると、多くの企業従業員が ChatGPT などのツールを使用して、電子メールの作成、文書の要約、初期調査データの収集などの基本的なタスクを実行しています。

このうち、上司が外部 AI ツールの使用を明確に禁止していると回答した従業員はわずか 10% で、25% は会社がこのテクノロジーの使用を許可しているかどうか不明です。

セキュリティ企業リバーセーフの最高技術責任者オセロカ・オビオラ氏は、AIを事業運営に組み込む競争は、ビジネスリーダーが必要なチェックを怠れば「壊滅的な結果」を生み出すだろうと述べた。「リーダーは AI のトレンドを追うのではなく、メリットとリスク、そしてビジネスを保護するために必要なセキュリティ対策を慎重に検討し、評価を実施する必要があります。 »

フェイクニュースとハッカー

世界中の当局も、OpenAI の ChatGPT などの LLM の拡散を管理しようとしています。米国とカナダでは最近、ハッカーが人工知能をますます利用して違法行為を行っている事例が多数発見されており、新技術のセキュリティへの懸念が政治的優先事項とみなされている。

あるハッカーは、悪意のある文書で「訓練」されたLLMを発見し、不正送金スキームの作成を依頼しようとしたとさえ主張した。するとAIは、受信者に緊急の請求書の支払いを求めるメールを作成して応答しました。

2023 年 7 月、カナダサイバーセキュリティセンターは、「電子メールフィッシング、悪意のあるコードの埋め込み、誤った情報、偽情報」における AI の使用が増加していることに気づきました。同センター所長のサミ・クーリー氏は、サイバー犯罪者がこの新技術を積極的に利用していると述べた。

このリーダーはまた、悪意のあるコードを編集するための AI の使用はまだ初期段階にあるが、AI モデルの開発が早すぎると、悪意のあるリスクを制御できなくなる可能性があると付け加えました。

これに先立って、2023年3月に欧州の警察組織ユーロポールも、ChatGPTが「基本的な英語のみを使用しても、非常に現実的な方法で組織や個人になりすます」可能性があると主張する報告書を発表した。同月、英国国立サイバーセキュリティセンターは「LLMはサイバー攻撃の支援に使用できる」と主張した。