英国のサイバーセキュリティ庁は、AIツールが簡単にだまされて悪意のある有害なタスクを実行できることが調査で示されており、組織が自社の製品やサービスに人工知能（AI）チャットボットを統合していると警告している。

英国サイバーセキュリティセンター（NCSC）は8月30日のブログ投稿で、相互運用可能な「人間に似た」アルゴリズム、つまり大規模言語モデル（LLM）に関連する潜在的なサイバーセキュリティ問題を専門家がまだ把握できていない、と述べた。 。

NCSC によれば、このようなモデルが企業のビジネス プロセスに統合されるとリスクが生じるとのことです。 学者や研究者は、AI を「騙す」方法を常に模索しており、チャットボットに詐欺行為を行ったり、組み込みの保護障壁を回避させたりするよう求めています。

たとえば、銀行で使用されている AI チャットボットは、ハッカーが正しい「指示」を与えた場合、だまされて不正な取引を実行する可能性があります。

NCSC の発表では、最近ベータ版をリリースした AI について言及し、「LLM を中心にサービスを構築している組織は、ベータ版の新製品を使用する際には慎重になる必要があります」と書かれています。

最新のロイター/イプソスの調査によると、多くの会社員が ChatGPT などのツールを使用して、電子メールの作成、文書の要約、一次調査データの収集などの基本的なタスクを実行しています。

このうち、上司が外部 AI ツールの使用を明確に禁止していると回答した従業員は 10% のみで、25% は会社がこのテクノロジーの使用を許可しているかどうかわかりません。

セキュリティ企業リバーセーフの最高技術責任者オセロカ・オビオラ氏は、ビジネスリーダーが必要な行動を起こさなければ、AIをビジネスモデルに組み込む競争は「壊滅的な結果」をもたらすだろうと述べている。 「上級管理者は、AI のトレンドに従うのではなく、ビジネスを保護するために必要なセキュリティ対策だけでなく、メリットとリスクの評価も慎重に検討する必要があります。」

フェイクニュースとハッカー

世界中の政府も、OpenAI の ChatGPT のような LLM の台頭に対処しようとしています。 新しいテクノロジーのセキュリティへの懸念も政策の中心であり、米国とカナダは最近、ハッカーによる生成AIの利用が増えていると発表した。

あるハッカーは、悪意のある文書で「訓練」された LLM を発見し、送金詐欺スキームの作成を依頼しようとしたとさえ主張しました。 これに応じて、AI は受信者に緊急の請求書の支払いを求める 3 段落のメールを生成します。

2023 年 7 月、カナダ サイバー セキュリティ センターは、「電子メール フィッシング、マルウェアの埋め込み、偽情報、誤った情報」における AI の使用が増加していると指摘しました。 同センター所長のサミ・クーリー氏は詳細な証拠は提供しなかったが、サイバー犯罪者がこの新興テクノロジーを積極的に利用していることを認めた。

同幹部はまた、新しいマルウェアを作成するための AI の使用は初期段階にあるものの、AI モデルは非常に急速に進化しているため、悪意のあるリスクを制御するのは簡単であると述べました。

これに先立ち、2023年3月に欧州の警察組織ユーロポールは、ChatGPTが「基本的な英語のみを使用しても、非常に現実的な方法で組織や個人になりすます」可能性があると主張する報告書を発表した。 同月、英国国立サイバーセキュリティセンターは「LLMはサイバー攻撃のサポートに使用できる」と述べた。

(ロイター通信によると)