Projet IPoP X PANAME
Publié le
Crédits : PEPR Cybersécurité
Les IA peuvent-elles garder un secret ? Le projet IPoP s’engage dans le projet PANAME pour s’assurer que les IA peuvent garder leur langue dans leur poche
Le 26 juin dernier, un nouveau projet d’envergure a été lancé : PANAME (Privacy Auditing of AI Models). Développé par la CNIL en partenariat avec le projet IPoP, l’ANSSI, et le PEReN, cet outil open source a pour objectif d’évaluer la confidentialité des modèles d’intelligence artificiellequi manipulent des données personnelles.
La direction scientifique et la supervision méthodologique sont assurées par le projet Interdisciplinary Project on Privacy (IPoP) du programme et équipements prioritaires (PEPR) Cybersécurité.
Pourquoi PANAME ?
Le comité européen de protection des données a récemment adopté un avis qui rappelle que le règlement général de protection des données (RGPD) s’applique aussi aux modèles d’IA entraînés sur des données personnelles, car ils peuvent garder en mémoire ces informations sensibles et les révéler ensuite lors de l’utilisation du modèle. A l’instar des données qui une fois anonymisées peuvent être partagées librement, il faut désormais prouver la nature anonyme d’un modèle d’IA entraîné avec des données personnelles afin de sortir du giron du RGPD. Afin de répondre à ces enjeux de conformité, le projet IPoP et ses partenaires lancent le projet PANAME.
Pendant 18 mois, ils travailleront ensemble au développement d’un framework d’évaluation open source, qui rassemblera des méthodes de l’état de l’art d’audit de confidentialité pour les modèles d’IA.
L’expertise d’IPoP à la direction scientifique
Le projet IPoP pilote la partie scientifique du projet PANAME en s’appuyant sur son expérience dans le domaine de la protection de la vie privée. Ce projet interdisciplinaire rassemblant différentes disciplines des sciences informatiques, de la technologie et de
l’ingénierie, ainsi que des sciences sociales et humaines et du droit travaille depuis 2022 entre autre sur les risques de fuite de données dans l’IA et les solutions pour les prévenir dans le cadre de son Work Package 3. Le projet IPoP a réalisé une cartographie complète des risques et des attaques ciblant les données personnelles utilisées lors de l’entraînement des modèles d’IA (extraction
d’exemples d’entraînement, inférences d’appartenance, inférence d’attributs). Des tests en conditions réelles, menés avec des partenaires publics et privés sont prévus pour garantir l’adéquation des outils aux besoins du terrain. Dans un premier temps, le projet PANAME va :
– Définir la méthodologie d’évaluation de la robustesse des modèles face aux attaques identifiées.
– Définir les scénarios de menace à intégrer dans le futur outil d’audit.
IPoP apporte ainsi son expertise scientifique et technique sur les questions de confidentialité et de protection des données personnelles, avec une vision claire des risques réels liés à la confidentialité dans l’IA.
Objectif : outiller l’écosystème d’ici 18 mois
D’ici fin 2026, le framework PANAME sera disponible en open source. L’objectif : fournir un outil utilisable par tous pour tester la confidentialité de leurs modèles IA même en l’absence d’expertise en cybersécurité. Ce projet est aligné avec l’ambition d’IPoP sur le développement de l’IA de confiance et d’autres initiatives d’évaluation de la sécurité de l’IA comme INESIA (Institut national pour
l’évaluation et la sécurité de l’intelligence artificielle).
Autres Actualités
