敵対的AI攻撃とは何か？

Deep learning technologies like Artificial Intelligence (AI) and machine learning (ML) present a range of business benefits to enterprises. At the same time, an adversarial AI attack is a growing security challenge for modern systems.
What is an Adversarial AI attack? A form of cyberattack that “fools” AI models with deceptive data. Also known as Adversarial ML, this form of attack has largely been reported in image classification and spam detection.
Next, let’s discuss the various risks posed by an Adversarial AI attack.

敵対的AI攻撃がもたらすリスク

によると アレクセイ・ルブツォフ 敵対的機械学習は、MLモデルの脆弱性と特異性を悪用する」。例えば、敵対的なMLは、MLベースの取引アルゴリズムに取引に関する誤った決定をさせる可能性がある。

敵対的AI攻撃はAIやMLシステムにどのようなリスクをもたらすのか？一般的な調査結果をいくつか紹介しよう：
ソーシャルメディア・エンジニアリング この場合、AI攻撃は自動化を用いてソーシャルメディア・プラットフォームのユーザー・プロフィールを「スクレイピング」する。そして、目的のプロフィールを「おびき寄せる」ためのコンテンツを自動的に生成する。

ディープフェイク： Typically used in banking frauds, deepfakes are online threat actors that can achieve a range of nefarious objectives including:
Blackmail and extortion
Damaging an individual’s credibility and image
Document fraud
Social media for individual or group harassment

マルウェアの潜伏： ここで脅威者はMLを活用し、一般ユーザーには普通に見える「悪意のある」トラフィックの中にマルウェアを隠す。

パスワード： 敵対的AI攻撃は、大規模なパスワードのセットを分析し、バリエーションを生成することさえできる。言い換えれば、これらの攻撃はパスワードの解読プロセスをより「科学的」にする。パスワードとは別に、MLは脅威行為者がCAPTCHAを解くことも可能にする。

敵対的AI攻撃の例

敵対的AIの例を使えば、ハッカーは単純にAIモデルにミスをさせる攻撃を設計することができる。例えば、有効なモデル入力の破損バージョンなどだ。

ここでは、敵対的AI攻撃で使用される手法の一般的な例をいくつか紹介する：
FastGradient Sign法（FGSM）： これは勾配に基づく手法で、画像の誤分類を引き起こすために逆説的なAI例を生成することができる。これは、画像ピクセルに最小限の摂動を加えることによって行われる。

リミテッド・メモリー・ブロイデン・フレッチャー・ゴールドファーブ・シャンノ（L-BFGS）： この手法も非線形勾配ベースの数値最適化アルゴリズムであり、画像摂動の回数を最小化することができる。この方法は、逆境的AI例を生成するのに非常に効果的である。

ディープフールの攻撃 これは、誤分類率が高く、摂動が少ない敵対的AI攻撃を生成するのに非常に効果的な別の手法である。この形式の攻撃は、元のサンプルと摂動されたサンプルの間のユークリッド距離を縮めるために、ターゲット化されていない敵対的サンプル生成技術を使用します。

ヤコビアンに基づく顕著性マップ攻撃（JSMA）： この種の敵対的AI攻撃では、ハッカーは修正された特徴の数を最小化するために特徴選択を使用し、誤分類を引き起こす。平坦な摂動は、顕著性の値に基づいて、小さい順に特徴に繰り返し追加される。

これらは逆境的AIのほんの一例に過ぎない。次に、逆境的AIの攻撃に対する防御方法について説明しよう。

敵対的AI攻撃から身を守るには

敵対的AI攻撃を防御するために、組織はML管理への包括的なアプローチが必要である。これには、MLに関連するすべてのオペレーションを強化し、ML防御におけるあらゆる違反を常に監視することが含まれる。

Here’s what a typical defense strategy against Adversarial AI attacks must comprise of:
Creating an existing risk assessment for every ML implementation.
Assigning proper ownership of all ML-related content and operational governance.
Creating new security policies for defending against Adversarial AI attacks.

効果的な防御アプローチの中で、MLOpsはMLモデルの設計、開発、運用、そしてモデルのテストと検証に利用されている。MLOpsは、機械学習、DevOps、データエンジニアリングの長所を統合したベストプラクティスのセットである。以下の要素からなる反復的かつ漸進的なプロセスを実装している：
デザイン：
Requirements engineering
Prioritization of ML use cases
Checking the data availability
モデル開発：
Data Engineering
ML model engineering
Model testing and validating
オペレーション
ML model deployment
CI/CD pipeline development
Operational monitoring and triggering

結論

アメリカ国家安全保障委員会によると レポート 人工知能に関する研究資金のうち、AIシステムを敵対的攻撃から守るために投資されている割合は低い。AIや機械学習技術の採用が進むにつれて、敵対的なAI攻撃が増加している。事実上、AIとMLシステムは新たな攻撃対象となり、セキュリティ関連のリスクを増大させている。