Pour rechercher des vulnérabilités… ou pirater des sites web ? Le risque de piratages autonomes est bien réel.

Les modèles d’IA, qui font l’objet de préoccupations constantes en matière de sécurité en raison de résultats préjudiciables et biaisés, présentent un risque au-delà de l’émission de contenu. Lorsqu’ils sont associés à des outils permettant une interaction automatisée avec d’autres systèmes, ils peuvent agir seuls comme des agents malveillants.

Des informaticiens affiliés à l’University of Illinois à Urbana-Champaign l’ont démontré en utilisant plusieurs LLM (Large Language Models)) pour compromettre les sites Web vulnérables sans assistance humaine. Des recherches antérieures suggèrent que les LLM peuvent être utilisés, malgré les contrôles de sécurité, pour aider à la création de logiciels malveillants.

Piratage de manière autonome

Les chercheurs Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan et Daniel Kang sont allés plus loin. Ils ont montré que les agents basés sur des LLM dotés d’outils pour accéder aux API, la navigation Web automatisée et la planification basée sur les commentaires peuvent parcourir le Web par eux-mêmes et s’introduire dans des applications Web boguées sans surveillance.

Ils décrivent leurs découvertes dans un article intitulé « LLM Agents can Autonomously Hack Websites ». Dans ce travail, expliquent-ils, « nous montrons que les agents LLM peuvent pirater des sites Web de manière autonome, en effectuant des tâches complexes sans connaissance préalable de la vulnérabilité. »

Par exemple, ces agents peuvent effectuer des attaques d’union SQL complexes, qui impliquent un processus en plusieurs étapes (38 actions) consistant à extraire un schéma de base de données, à extraire des informations de la base de données basées sur ce schéma et à effectuer le piratage final.

Essayer plusieurs stratégies différentes

Dans une interview accordée à The Register, Daniel Kang, assistant professor, UIUC, a souligné que lui et ses co-auteurs n’avaient pas réellement laissé leurs agents LLM malveillants se déchaîner sur le monde. Les tests, a-t-il déclaré, ont été effectués sur de vrais sites Web dans un environnement « sandbox » pour garantir qu’aucun préjudice ne serait causé et qu’aucune information personnelle ne serait compromise. « Ce qui m’inquiète vraiment à propos des futurs modèles très performants, c’est la capacité de faire des piratages autonomes et d’essayer plusieurs stratégies différentes à l’échelle. »

Auparavant, OpenAI, le promoteur de chatGPT, avait minimisé les capacités de GPT-4 à faciliter des cyberattaques, affirmant que le modèle « n’offre que des capacités limitées et progressives pour les tâches de cybersécurité malveillantes au-delà de ce qui est déjà réalisable avec des outils publiquement disponibles, non alimentés par l’IA ». A présent, un porte-parole de la société déclare : « Nous ne voulons pas que nos outils soient utilisés à des fins malveillantes et nous cherchons constamment à rendre nos systèmes plus robustes contre ce type d’abus. Nous remercions les chercheurs d’avoir partagé leur travail avec nous. »