L’IA chez les Avocats, mais pour quoi faire ?
Il y a un an, nous avons entrepris d’intégrer l’IA parmi nos outils de travail courant en usage au sein du Cabinet.
Plusieurs fournisseurs ont été sélectionnés, d’une part, les généralistes, et d’autre part, les éditeurs juridiques (mais qui, au vu des coûts de développement de chaque outil, utilisent pour base les robots des généralistes dans leurs versions premiums couplés uniquement à leurs bases de données).
Au départ, notre curiosité était vive, bien que nos attentes fussent relativement modestes.
L’objectif initial était de tester les capacités de ces nouveaux outils en les soumettant à une « période d’essai » pour des travaux habituels (principalement la recherche de textes de loi, de doctrine et de jurisprudence).
Progressivement, nous avons intensifié notre utilisation, encouragés par les présentations souvent flatteuses des outils additionnels mis à disposition par l’IA comme l’analyse ou la création de contenu.
Au fil des mois, nous lui avons donc confié :
- L’optimisation de la structure de certains documents, en adaptant automatiquement un modèle de contrat aux spécificités d’un cas particulier ;
- L’analyse des points clés de rapports d’expertise, de contrats volumineux ou d’échanges de courriels ;
- La rédaction d’actes ou, de manière plus limitée, de clauses simples, voire de mises en demeure.
À l’issue de notre année pilote, les résultats sont pour le moins nuancés.
Nous ne parvenons pas à dépasser la « phase d’essai » pour envisager une application plus concrète et à large échelle au point de devenir un soutien indispensable à notre activité, et surtout, fiable.
En réalité, la tendance inverse semble se dessiner, comme vous pourrez le constater au traver du florilège d’exemples que nous avons compilés.
La preuve par l’exemple : notre mise en application progressive de l’IA au sein du Cabinet
Les exemples développés ci-après ont été rencontrés avec les outils mentionnés précédemment.
- En matière de rédaction de bail commercial
Nous avons soumis à l’analyse de l’outil un projet de bail commercial en lui demandant de vérifier la rédaction de certaines clauses, notamment celles concernant le loyer, les charges et l’indexation.
L’outil, pensant bien faire, nous a fourni des informations non seulement sur les points ciblés, mais a également proposé des modifications en dehors du cadre de la demande initiale.
Voici le résultat de son analyse :
« Stabilité et sécurité : Un bail plus long vous assure une plus grande stabilité pour développer votre activité, sans craindre une renégociation ou un congé du bailleur pendant une période prolongée.
Image de marque : Un bail plus long peut témoigner de la solidité de votre entreprise et de votre confiance en l’avenir auprès de vos partenaires et clients. »
Si la réponse présente une syntaxe simpliste et s’écarte du cadre juridique, notamment pour le second point (image de marque), l’outil n’a manifestement pas compris non plus qu’un bail commercial conclu pour une durée supérieure à 9 ans permet à tout bailleur de déplafonner le montant du loyer à son échéance pour le voir fixer à la valeur locative.
Dans les grandes métropoles, il n’est pas rare de constater que la valeur locative au terme du bail double, voire triple ou quadruple par rapport au montant du loyer en base.
Ainsi, la « stabilité et sécurité » vantée par l’outil est toute relative.
Au contraire, conclure un bail commercial pour une durée supérieure à 9 ans présente un risque considérable pour le locataire.
Nous avons immédiatement signalé ce risque à l’outil, en lui indiquant qu’il était nécessaire d’apporter de la nuance dans sa réponse, car cela pourrait ne pas être opportun selon la partie au contrat qui était conseillée par le Cabinet.
Malheureusement, l’outil n’a pas tenu compte de nos remarques et a continué de commettre la même erreur inlassablement pendant toute l’année.
- En matière d’action en fixation du loyer d’un bail commercial renouvelé
Toujours en matière de droit du bail commercial, nous avons interrogé l’outil par curiosité afin de voir quel schéma judiciaire il nous proposerait pour engager une action en fixation de la valeur locative d’un bail renouvelé.
L’outil nous a initialement informés que le bailleur disposait d’un délai d’un an pour saisir le Tribunal Judiciaire afin de faire fixer la valeur locative du nouveau contrat en cas de désaccord persistant entre les parties après le renouvellement du bail commercial.
Cette information est tout bonnement incorrecte.
Le délai pour engager une telle action est en réalité de deux ans à compter de la date d’effet du congé signifié par le bailleur ou de la demande de renouvellement émise par le locataire.
L’utilisateur qui aurait suivi cet avis n’aurait peut-être pas agi, se pensant prescrit, laissant ainsi une opportunité à l’autre partie… dommage.
- En matière de droit des sociétés
Nous avons sollicité le robot afin qu’il nous fournisse des dispositions ou des décisions établissant un droit de communication des comptes sociaux aux associés dans une forme particulière d’association.
Sans que nous comprenions, le robot a sélectionné des dispositions légales provenant du Code de la construction et de l’habitation ainsi que du Code général des collectivités territoriales, toutes hors sujet.
Ces textes n’avaient aucun lien avec la recherche engagée, et aucune des dispositions légales mentionnées ne concernait la qualité d’associé ou la notion de comptes sociaux.
Lorsque nous avons interrogé l’éditeur du robot à propos de cette incohérence, il n’a pas été en mesure de nous fournir une explication satisfaisante.
Cet exemple a été une nouvelle source de frustration.
- En matière de décompte locatif
Nous comptions sur les capacités du robot pour mettre à jour un décompte des arriérés locatifs et, simultanément, vérifier l’actualisation du montant du loyer selon l’indice de référence stipulé dans le contrat de bail.
Pour cela, nous avions pris soin de joindre le bail au format PDF à notre requête, le robot étant censé analyser le document pour nous fournir une réponse précise et circonstanciée.
Malheureusement, le robot n’a pas été en mesure d’identifier l’indice d’indexation clairement stipulé dans le contrat, pas davantage il n’a pu nous fournir l’indice actualisé conforme.
Nous avons donc dû indiquer au robot quels étaient l’indice de référence et l’indice d’actualisation.
Malgré nos efforts de précision, le robot n’a pas réussi à calculer correctement le solde des loyers impayés.
Sans explication, un écart d’environ 300,00 € existait entre la valeur résultant de nos calculs et ceux réalisés par le robot.
Nous avons renouvelé l’expérience avec un autre robot.
Cette fois-ci, la valeur calculée différait légèrement de celle calculée humainement, avec une différence moindre d’environ 50,00 €.
Interrogé, le second robot a admis qu’il avait arrondi les valeurs à l’euro supérieur.
Il aurait été préférable qu’il nous en informe dès le départ.
In fine, sur une opération de calcul relativement simple, un outil né du calcul et fonctionnant par le calcul n’a pas été en mesure de livrer un résultat correct.
- En matière d’analyse de pièces
Après compilation de près de 80 courriels, nous avons demandé à l’outil d’analyser chacun de ces courriels pour nous en livrer une synthèse chronologique, identifiant l’auteur, la date et le contenu déterminant.
Au début, nous avons été agréablement étonné par la précision de la synthèse réalisée, l’outil ayant su identifier non seulement les échanges de courriels soumis à l’analyse, mais a également réussi à extraire les échanges téléphoniques mentionnés dans les courriels pour les intégrer au fil des échanges.
Cependant, au fur et à mesure de notre lecture, nous avons été de plus en plus dubitatifs par l’évolution de la teneur des débats, avec des incohérences de fond.
Nous avons identifié la date des courriels posant problème afin de les consulter.
Il nous a été impossible de les retrouver parmi les échanges soumis à l’outil.
Nous avons alors interrogé l’outil pour savoir quelle pièce transmise avait pu servir à livrer cette analyse.
L’outil, s’excusant platement, nous a répondu que ces échanges n’existaient tout simplement pas !
Ils avaient été purement et simplement inventés de toutes pièces.
Il s’agit d’un des travers de l’IA : les mirages de données.
Le robot, cherchant coute que coute à satisfaire son utilisateur en lui fournissant une réponse, en vient à inventer de toutes pièces du contenu.
Cet écueil a été observé aux États-Unis, où un Avocat avait cité des décisions de jurisprudences communiquées par ChatGPT qui n’existaient tout simplement pas.
Nous-mêmes avons été confrontés à ces inventions, obligeant, chaque fois qu’un arrêt était cité, à consulter 2 à 3 bases de données juridiques pour contrôler si ce dernier existait ou non.
En définitive, cela s’est avéré plus une perte de temps qu’un gain d’efficacité.
- En matière de consultation en droit fiscal
Un sujet récurrent pour les binationaux franco-américains est le principe d’imposition universelle du FATCA (Foreign Account Tax Compliance Act), instauré par les États-Unis le 1er juillet 2014.
Ce dispositif, une première mondiale, impose toute « US Person » en tant que contribuable américain selon la législation fiscale des États-Unis, indépendamment de son lieu de résidence.
En d’autres termes, l’imposition est basée uniquement sur le critère de la nationalité.
Le FATCA prévoit quelques dispositifs spéciaux pour éviter la double imposition, et ce, en termes de sources de revenus ou d’assiette.
Nous avons consulté un outil automatisé pour obtenir les taux d’imposition fédéraux applicables à ces ressortissants, afin de calculer l’incidence des impôts non exonérés par rapport aux gains sur certains actifs.
Le résultat a été déconcertant.
Toutes les données fiscales fournies par l’outil étaient incorrectes, tant en ce qui concerne les taux que les crédits d’impôt censés s’appliquer.
Doutant (toujours) des données véhiculés par l’outil, c’est finalement avec l’aide d’un Confrère américain que nous sommes parvenus à fournir une consultation précisément chiffrée au Client qui nous avait consulté.
Conclusions
Certains qualifieront ces outils de prometteurs, de révolution pour la profession d’Avocat (et d’autres professions, pas uniquement juridiques et judiciaires).
Pour nous, le constat s’avère extrêmement mitigé et la déception à la hauteur de notre curiosité de départ.
Si nous n’imaginions pas, il y a quelques années encore, qu’un robot conversationnel puisse un jour générer des échanges prolixes ou opérer des analyses documentaires personnalisées en quelques secondes ; force est de constater que ces échanges et ces analyses devenus réalités sont (encore) parsemés d’erreurs.
Ces erreurs vont de la simple erreur d’appréciation à la contradiction aux lois.
Chacune de ces erreurs présente un risque sérieux pour le praticien qui utiliserait ces outils pour combler ses connaissances dans une matière qu’il ne pratiquerait pas – pensant que le robot serait alors un support fiable – ou pour le plus rompu à la matière, en se reposant sur des analyses parcellaires et erronées de documents.
Malheureusement, ces erreurs graves sont fréquentes et ont semblé s’intensifier au fur et à mesure de l’utilisation accrue des robots (quand l’inverse est annoncé, ces derniers étant censés « apprendre »).
Un dicton couramment entendu dans les cabinets d’avocats est : « Le diable est dans les détails ».
Cela est tout à fait vrai.
De nombreux dossiers ont été, sont et seront gagnés grâce à une attention minutieuse portée sur les détails, voire les ultra-détails.
Or, à ce jour, aucun des robots utilisés n’atteint le niveau d’exigence requis pour effectuer de la recherche et de l’analyse de ces détails ou de ces ultra-détails.
En outre, les résultats fournis sur les grands principes juridiques manquent cruellement de sources, quand ils ne sont pas purement et simplement faux, car soit abrogés, soit non mis à jour (ou pire, inventés).
En réalisant un tableau à deux entrées « Juste » ou « Faux » pour chaque requête entreprise sur le dernier trimestre écoulé (T3 2024), nous aboutissons à un taux d’erreur de près de 85 % soit par imprécision de la réponse, soit par pure fausseté.
En l’état, le rôle de l’Avocat apparaît toujours indispensable pour l’exécution des tâches historiques du métier, mais également comme garde de fou à des outils qui, pour l’heure, demeurent inachevés, voire dangereux pour le profane qui verrait dans ses réponses le saint graal de la consultation gratuite ou du renseignement juridique à profusion.
Par-delà ces enjeux pratico-pratiques, un aspect non négligeable de l’IA est son impact énergétique et environnemental.
Récemment, le journal Le Monde a souligné les coûts énergétiques déjà importants de ces outils, qui, avec leur généralisation, deviendront colossaux.
En 2023, les trois principales entreprises de la tech ont, à elles seuls, acquis 29 % des nouveaux contrats d’éolien et de solaire dans le monde.
En se basant sur la consommation connue d’un microprocesseur implanté dans un serveur d’IA et les prévisions de production générative des nouveaux serveurs, la consommation mondiale d’électricité liée à l’IA pourrait augmenter de 85 à 134 TWh par an, soit l’équivalent de la consommation annuelle d’électricité des Pays-Bas, de l’Argentine ou la Suède.
Les lourds progrès qui s’imposent à ces outils passent non seulement par une amélioration drastique de leur mode de fonctionnement, de leurs sources, de leur fiabilité, mais aussi et inéluctablement, de leur impact énergétique.
Si certains espèrent les voir se développer à une échelle standardisée, la route reste encore longue, car une telle extension devra nécessairement apporter des réponses à toutes ces problématiques pour lesquelles, d’ailleurs, le justiciable ne semble guère avoir son mot à dire (doit-il y avoir un pilote dans l’avion ?).
Sources :
Les promesses de l’IA grevées par un lourd bilan carbone : https://www.lemonde.fr/planete/article/2024/08/04/climat-les-promesses-de-l-ia-grevees-par-un-lourd-bilan-carbone_6266586_3244.html
L’explosion de la demande d’électricité liée à l’IA a déjà des conséquences locales : https://www.lemonde.fr/economie/article/2024/02/08/l-explosion-de-la-demande-d-electricite-liee-a-l-ia-a-deja-des-consequences-locales_6215368_3234.html
Merci pour votre retour, CC.
CELA ME RASSURE RIEN NE REMPLACERA LOEIL ET LE CERVEAU DE L’AVOCAT PERSONNE PHYSIQUE.
je n’utiliserai pas l IA dans ma pratique.
Jean-Arnaud NJOYA