Lancé par le Campus Cyber, ce groupe de travail, piloté conjointement par HeadMind Partners et le Hub France IA, se compose de 2 sous-groupes :

1. « Développer une IA sécurisée / Security by Design pour les systèmes d’IA », copiloté par HeadMind Partners et BNP Paribas.
Il a comme objectif de s’approprier la première version du guide de l’ANSSI publié en avril 2024 sur la sécurité des systèmes à base d’IA générative, d’identifier les sources d’incompréhensions pour des experts non avertis IA, les difficultés à anticiper pour la mise en œuvre et les éventuelles exigences à compléter.

2. « Analyse des attaques / défenses sur les systèmes d’IA », copiloté par la Gendarmerie Nationale et le Hub France IA, ce groupe vise à développer une approche opérationnelle de la sécurisation des systèmes d’IA, en s’appuyant notamment sur les travaux de l’ANSSI,  du NIST, de MITRE (ATT&CK et ATLAS) et de l’OWASP.
Cette démarche structurée autour du cycle Comprendre → Identifier → Qualifier → Protéger → Remédier → Gérer le risque a donné lieu à un livre blanc sur les attaques et défenses des systèmes d’IA.

La v3 est actuellement en ligne et une v4 disponible cet automne comprendra :

1. Un guide pédagogique pour comprendre les principales attaques contre les systèmes d’IA, leur évolution, leurs spécificités et leur inscription dans le cycle de vie des systèmes d’IA ;
2. Un référentiel opérationnel sous forme de fiches d’attaques permettant d’identifier pour chaque menace les actifs et phases du cycle de vie concernés, les impacts, la facilité technique, ainsi que les mesures de prévention, de détection et de remédiation associées ;
3. Une méthode d’analyse du risque métier permettant de passer de l’identification d’une attaque à l’évaluation de ses conséquences pour l’organisation, à la prise en compte des exigences applicables et à la détermination du niveau de risque résiduel.