O que é um ataque de IA adversarial?

Deep learning technologies like Artificial Intelligence (AI) and machine learning (ML) present a range of business benefits to enterprises. At the same time, an adversarial AI attack is a growing security challenge for modern systems.
What is an Adversarial AI attack? A form of cyberattack that “fools” AI models with deceptive data. Also known as Adversarial ML, this form of attack has largely been reported in image classification and spam detection.
Next, let’s discuss the various risks posed by an Adversarial AI attack.

Riscos colocados por um ataque de IA adversária

De acordo com Alexey Rubtsov do Global Risk Institute, "a aprendizagem automática adversarial explora as vulnerabilidades e especificidades dos modelos de aprendizagem automática". Por exemplo, a aprendizagem automática adversa pode levar um algoritmo de negociação baseado em aprendizagem automática a tomar decisões incorrectas sobre a negociação.

Como é que um ataque de IA adversária representa um risco para os sistemas de IA e de ML? Eis algumas conclusões comuns:
Engenharia das redes sociais: Neste caso, o ataque de IA "raspa" os perfis dos utilizadores nas plataformas de redes sociais utilizando a automatização. Em seguida, gera conteúdo automaticamente para "atrair" o perfil pretendido.

Deepfakes: Typically used in banking frauds, deepfakes are online threat actors that can achieve a range of nefarious objectives including:
Blackmail and extortion
Damaging an individual’s credibility and image
Document fraud
Social media for individual or group harassment

Ocultação de malware: Aqui, os agentes de ameaças utilizam o ML para esconder o malware no tráfego "malicioso" que parece normal para os utilizadores regulares.

Palavras-passe: Os ataques de IA adversária podem até analisar um grande conjunto de palavras-passe e gerar variações. Por outras palavras, estes ataques tornam o processo de decifração de palavras-passe mais "científico". Para além das palavras-passe, o ML permite que os agentes de ameaças também resolvam CAPTCHAs.

Exemplos de ataques de IA adversária

Utilizando exemplos de IA adversária, os piratas informáticos podem simplesmente conceber um ataque para fazer com que o modelo de IA cometa um erro. Por exemplo, uma versão corrompida de uma entrada de modelo válida.

Eis alguns exemplos populares de métodos utilizados em ataques de IA Adversária:
Método do sinal de gradiente rápido (FGSM): Este é um método baseado em gradientes que pode gerar exemplos de IA adversária para causar a classificação incorrecta de imagens. Para tal, adiciona uma quantidade mínima de perturbação ao pixel da imagem.

Memória limitada Broyden-Fletcher-Goldfarb-Shanno (L-BFGS): Este método é outro algoritmo de otimização numérica não linear baseado em gradientes que pode minimizar o número de perturbações da imagem. Este método é extremamente eficaz na geração de exemplos de IA Adversarial.

Ataque de Deepfool: Este é outro método altamente eficaz na produção de ataques de IA adversária com uma elevada taxa de erros de classificação e menos perturbações. Esta forma de ataque utiliza uma técnica de geração de amostras adversárias não direccionadas para reduzir a distância euclidiana entre as amostras originais e as perturbadas.

Ataque ao mapa de saliência baseado em jacobianos (JSMA): Nesta forma de ataque de IA adversária, os hackers utilizam a seleção de características para minimizar o número de características modificadas, causando assim erros de classificação. As perturbações planas são adicionadas iterativamente às características com base no valor de saliência por ordem decrescente.

Estes são apenas alguns exemplos de IA Adversária. De seguida, vamos discutir como nos podemos defender dos ataques da IA Adversária.

Como se defender contra ataques de IA adversária

Para se defenderem contra ataques de IA adversária, as organizações precisam de uma abordagem abrangente à gestão de ML. Isto inclui o reforço de todas as operações relacionadas com o ML e a monitorização constante de quaisquer violações na defesa do ML.

Here’s what a typical defense strategy against Adversarial AI attacks must comprise of:
Creating an existing risk assessment for every ML implementation.
Assigning proper ownership of all ML-related content and operational governance.
Creating new security policies for defending against Adversarial AI attacks.

Entre as abordagens de defesa eficazes, o MLOps está a ser utilizado para conceber, desenvolver e operar modelos de ML, juntamente com o teste e a validação de modelos. O MLOps é um conjunto de práticas recomendadas que integra o melhor do aprendizado de máquina, DevOps e engenharia de dados. Implementa um processo iterativo e incremental que inclui os seguintes elementos:
Conceção:
Requirements engineering
Prioritization of ML use cases
Checking the data availability
Desenvolvimento de modelos:
Data Engineering
ML model engineering
Model testing and validating
Operações:
ML model deployment
CI/CD pipeline development
Operational monitoring and triggering

Conclusão

De acordo com a Comissão de Segurança Nacional dos EUA relatório sobre Inteligência Artificial, uma baixa percentagem dos fundos de investigação em IA está a ser investida na defesa dos sistemas de IA contra ataques adversários. A crescente adoção de tecnologias de IA e de aprendizagem automática está correlacionada com o aumento dos ataques de IA adversária. Efetivamente, os sistemas de IA e de aprendizagem automática representam uma nova superfície de ataque, aumentando assim os riscos relacionados com a segurança.