Une photo montre manifestement des moutons bruyants, mais le processus de classification automatique d’un réseau social classe l’affichage dans la catégorie des loups. Il s’agit d’un exemple concret typique d’une nouvelle technique d’attaque intéressante que les scientifiques de l’Université technique de Braunschweig étudient actuellement. Ce qui est intéressant, c’est que les coupables, cette fois, ne sont pas les méthodes d’apprentissage automatique, mais le processus de mise à l’échelle, censé être bien compris.

À proprement parler, l’IA basée sur les réseaux neuronaux est même victime des attaques dites de « mise à l’échelle de l’image ». Dans l’exemple d’attaque des chercheurs de Braunschweig, on lui présente une image mignonne d’un chat et il la reconnaît correctement. Les humains, par contre, voient une tasse de café. Le problème se pose lors du prétraitement de l’image : L’image avec l’espresso est généralement réduite à l’un des formats standard tels que 224 × 224 ou 299 × 299.

Tous les pixels ne sont pas égaux

Toutefois, ce processus de mise à l’échelle est vulnérable aux attaques ciblées. Cela est dû au fait que tous les pixels de l’image ne sont pas inclus de manière égale dans la réduction d’échelle. Un examen attentif des méthodes de mise à l’échelle courantes montre que quelques pixels ont une influence significative sur le résultat, tandis que la majorité n’a qu’une influence mineure sur l’image générée. Au final, l’attaquant n’a « qu’à » localiser les pixels importants de l’image du café et les remplacer par des pixels de chat.

Il s’agit d’un problème d’optimisation simple que les ordinateurs peuvent très bien résoudre. Pour une attaque réussie, on disperse ensuite les pixels de l’image cible souhaitée pour qu’ils correspondent à l’original. Lorsque la machine reconnaît l' »image d’attaque » résultante, l’image est mise à l’échelle, puis présentée à l’IA. L’IA peut alors voir le chat. Un humain, par contre, continue à ne voir qu’un délicieux espresso.

En principe, ces attaques par réduction d’échelle pourraient provoquer la confusion et le chaos partout où la reconnaissance automatique du contenu des images est utilisée. Cela commence par le marquage automatisé du contenu des utilisateurs dans les réseaux sociaux et ne s’arrête pas à la reconnaissance des visages dans un contexte de sécurité. Par ailleurs, dans leur analyse des attaques par réduction d’échelle, Rieck et al. décrivent non seulement les mécanismes sous-jacents, mais présentent également des procédures permettant de rendre les images résistantes à ces attaques.