Des gains, oui. Ou, au contraire, une baisse sensible des performances.  C’est tout le paradoxe des IA génératives, identifié par le BCG.

Des gains, oui, mais en dents de scie. L’adoption des IA génératives serait une arme à double tranchant, estime le BCG. Au cours d’une expérience, les participants utilisant GPT-4 pour l’innovation de produits créatifs ont surpassé de 40 % le groupe témoin (ceux qui ont terminé la tâche sans utiliser GPT-4). En revanche, pour la résolution de problèmes commerciaux, l’utilisation de GPT-4 a entraîné des performances inférieures de 23 % à celles du groupe témoin…

Pour parvenir à cette conclusion, l’étude repose sur l’analyse d’expériences menées auprès de 758 consultants du BCG, avec le soutien d’un groupe d’universitaires de la Harvard Business School, de la MIT Sloan School of Management, de la Wharton School de l’Université de Pennsylvanie et de l’Université de Warwick répartis en trois catégories : un groupe n’ayant pas accès à l’IA, un autre bénéficiant de GPT-4 et un dernier de GPT-4 enrichi de mécanismes de prompt engineering. « Certaines tâches sont facilement accomplies par l’IA, tandis que d’autres, bien qu’apparemment d’un niveau de difficulté similaire, sont hors de portée de ses capacités actuelles », écrivent les auteurs de l’étude.

Diversité de pensée potentiellement réduite

L’IA générative sera un puissant catalyseur d’avantage concurrentiel pour les entreprises qui déchiffreront le code de l’adoption, constate le BCG. Pour les autres, il y a danger. « Utilisée de la mauvaise manière, pour les mauvaises tâches, les IA génératives peuvent entraîner une destruction significative de valeur… »

D’une manière générale, les résultats décrivent un paradoxe : les gens semblent se méfier de la technologie dans les domaines où elle peut apporter une valeur considérable et lui faire trop confiance dans les domaines où la technologie n’est pas compétente. C’est préoccupant en soi. « Nous avons également constaté que même si les organisations modifient ces comportements, les dirigeants doivent surveiller d’autres pièges potentiels, prévient le BCG. L’étude montre que le résultat relativement uniforme de la technologie peut réduire la diversité de pensée d’un groupe de 41 %. »

Une démarche à reconsidérer continuellement

Les conclusions pointent vers un moment crucial de prise de décision pour les dirigeants de tous les secteurs, notent les experts du BCG. « Ils doivent réfléchir de manière critique au travail effectué par leur organisation et aux tâches qui peuvent bénéficier ou être endommagées par l’IA générative. Ils doivent aborder son adoption comme un effort de gestion du changement couvrant l’infrastructure de données, des tests et des expérimentations rigoureux, ainsi qu’une refonte des stratégies de gestion des talents existantes. Peut-être plus important encore, les dirigeants doivent continuellement revoir leurs décisions à mesure que la frontière des compétences de GenAI avance. »

Et de poursuivre : « Les tâches que l’IA peut réellement accomplir sont surprenantes et ne sont pas toutes immédiatement identifiables de façon évidente pour les utilisateurs, voire pour les producteurs de LLM eux-mêmes. » Le cabinet va jusqu’à évoquer « une frontière technologique en dents de scie », qu’il va falloir préciser métier par métier, tâche par tâche. « Certaines tâches inattendues -comme la génération d’idées- sont faciles à traiter pour les IA, tandis que d’autres, que l’on penserait faciles à gérer pour une machine -comme les mathématiques de base- sont de vrais défis pour certains LLM », notent encore les auteurs de l’étude. Surprenant.