Le potentiel de l’IA est infini ! Cela signifie que nous ne savons pas toujours ce que chacun peut en faire. De là un risque accru au sein de l’entreprise. Explications de Gearóid Ó Fearghaíl, Product Manager, Vectra AI.

IA… Demandez à n’importe qui de poser une question à un LLM… tout le monde pensera immédiatement à utiliser ChatGPT ! L’outil d’OpenAI est le plus accessible, le plus facile à utiliser aussi. C’est formidable pour l’utilisateur moyen, mais pour toute organisation, cette facilité d’utilisation masque trois énigmes sérieuses.

Et Gearóid Ó Fearghaíl de prévenir :  « Toutes les données envoyées à ChatGPT sont stockées par OpenAI à des fins de qualité et de suivi ; la source de toute réponse est inconnue et la réponse peut être complètement fabriquée… »

Les faiblesses de ChatGPT

OpenAI suit les soumissions des utilisateurs afin de pouvoir itérer et améliorer leur produit, et de surveiller tout abus du système. C’est un comportement tout à fait raisonnable, estime Gearóid Ó Fearghaíl. « En revanche, il n’y a aucune raison de croire qu’ils prennent grand soin de ces données. Qui plus est, OpenAI ne peut pas vraiment contrôler quelles données sont soumises à ChatGPT. Ils finissent donc par stocker beaucoup d’informations dont ils ne veulent pas vraiment. C’est ainsi que des employés de Samsung ont récemment utilisé ChatGPT pour déboguer des logiciels propriétaires et résumer les comptes rendus de réunions… »

Le deuxième problème est que ChatGPT répond aux requêtes sans attribuer de sources à ses réponses. ChatGPT fera des déclarations basées sur ses conclusions, et malheureusement, vous devez le prendre tel quel. « Ces informations pourraient être protégées par le droit d’auteur, et vous ne le sauriez pas tant que vous n’auriez pas reçu une lettre d’avocats alléguant une violation. Getty Images a poursuivi le créateur d’un outil de génération d’images LLM pour violation du droit d’auteur après avoir découvert que l’outil générait des images comprenant un filigrane Getty Images ! Il n’est pas déraisonnable d’affirmer que tout utilisateur final utilisant ces images pourrait également être tenu responsable. » La génération de code est un autre sujet de préoccupation, même s’il n’y a pas eu d’exemples concrets jusqu’à présent, mais cela semble inévitable.

Des propositions sans la moindre transparence

Cependant, le plus gros problème avec ChatGPT est que ces LLM peuvent avoir des « hallucinations », qui est le langage de l’industrie pour dire des mensonges éhontés. « Étant donné que ChatGPT n’a aucune transparence sur la façon dont il parvient aux réponses, les utilisateurs doivent être en mesure d’analyser de manière critique les réponses pour décider si elles sont vraies, car ChatGPT et ses semblables répondront toujours avec une confiance absolue. »

Les répercussions peuvent être graves. C’est ainsi qu’on a vu un professeur faire échouer tous ses étudiants après que ChatGPT a prétendu à tort avoir écrit leurs dissertations. Ou qu’un avocat s’est vu proposer par ChatGPT un choix de six scénarios de conclusions sans rapport avec l’affaire à plaider.

Gearóid Ó Fearghaíl : « Les organisations réagissent à ces faits avec des politiques interdisant l’utilisation d’OpenAI sans approbation, mais il est difficile de suivre la conformité à cette politique puisque le trafic fonctionne via un navigateur crypté sans qu’aucun logiciel ne soit requis. »

Tout suivre au départ d’un tableau de bord

Vectra AI est capable de voir cette activité dans le réseau, en utilisant les capteurs de réseau de détection existants. Vectra NDR est conçu pour surveiller tout le trafic réseau dans l’organisation, avec des capteurs soigneusement placés qui surveillent le trafic entrant et sortant du réseau, mais également au sein de votre réseau lui-même.

« Cette profondeur d’analyse alimente notre puissant cadre de détection basé sur l’IA et permet également d’obtenir de puissantes informations sur la conformité, que nous avons organisées dans notre tableau de bord d’utilisation ChatGPT. »

IA, surveiller activement qui fait quoi

Ce tableau de bord – disponible gratuitement pour tous les clients de la plate-forme Vectra – montre les hôtes de l’environnement qui interagissent activement avec OpenAI en suivant les requêtes DNS aux serveurs OpenAI faites par n’importe quel hôte. Cela permet aux responsables de la conformité de voir rapidement non seulement une liste de personnes qui ont des comptes avec OpenAI ou qui ont enregistré un intérêt, mais de surveiller activement qui utilise exactement un système et combien ils l’utilisent.

Ce tableau de bord est rendu encore plus puissant en tirant parti de la technologie brevetée d’attribution d’ID d’hôte de Vectra pour suivre ces utilisateurs en profondeur. « Même lorsque les adresses IP de la machine changent ou qu’un ordinateur portable rejoint un nouveau réseau, Vectra suivra cela comme la même machine, de sorte que le tableau de bord indique exactement à quelle fréquence un appareil accède à ChatGPT – vous permettant également de pivoter rapidement pour voir qui Vectra croit à être le propriétaire probable d’un hôte. En utilisant ce tableau de bord, vous verrez non seulement quels hôtes utilisent ChatGPT, mais vous saurez également qui contacter à ce sujet, et vous aurez ces informations en quelques minutes… pas en heures ! »