“ChatGPT est-il assez intelligent pour passer un examen de droit ?”, se demande 01net
“ChatGPT est-il assez intelligent pour passer un examen de droit ?”, se demande 01net
Publié le mercredi 15 février 2023 à 10:16
ChatGPT
- Auteur(s)
Auteur : Jean-Paul Markus, professeur de droit public Université Paris-Saclay
Nous avons tenté de savoir si ChatGPT pouvait vérifier l’exactitude juridique des propos politiques, sur des cas très simples, déjà traités aux Surligneurs. Ce n’est pas encore au point.
Aux États-Unis, le premier “avocat IA” va défendre un vrai humain au tribunal selon le Journal du Geek. Toujours aux États-Unis, une startup américaine va faire plaider le premier “robot avocat”, sous-apprend FranceInfo. En Colombie, un juge fait sensation en consultant ChatGPT pour statuer selon Le Dauphiné Libéré. Le site 01Net relate une expérience d’examens de droit intentée aux États-Unis. Plus impressionnant encore, “ChatGPT réussit (de justesse) les partiels d’une fac de droit” aux États-Unis, selon le Figaro Etudiants.
À notre échelle, nous avons simplement tenté de vérifier si ChatGPT ferait un bon surligneur, à l’aide d’un cas simple, binaire (légal ou illégal ?), d’une déclaration politique contraire à la loi. Le résultat n’est pas encore probant.
Nous avons donc posé une question déjà traitée par nos soins : celle d’un maire qui prétendait être parfaitement en droit de payer les jours de grève pour les agents de sa mairie. Or, nous le savons, c’est illégal en raison de la règle du service fait qui interdit de rémunérer un agent pour un service non effectué. La première difficulté est de savoir comment poser la question, tant les termes peuvent être ambivalents. Voici donc plusieurs versions de la même question.
Après cinq tentatives, c’est l’échec
Première version de la question posée : un maire peut-il payer les agents grévistes ? Réponse de ChatGPT : “Non, un maire ne peut pas payer les agents grévistes. Les grèves sont des moyens légaux de pression pour obtenir des changements, et le paiement des agents grévistes pourrait être considéré comme une forme de corruption”. Il n’a pas compris.
Tentons autrement : un maire peut-il payer les agents de la mairie qui font grève ? Réponse : “Non, un maire ne peut pas payer les agents de la mairie qui font grève. La grève est un moyen légal de protestation et de négociation pour les travailleurs et les employeurs ne peuvent pas récompenser ou punir les travailleurs pour leur participation à une grève”. C’est mieux, mais pour un surlignage, ou devant un juge, ce sera nettement insuffisant.
Peut-être qu’en aiguillant un peu ChatGPT le résultat serait meilleur : existe-t-il une loi qui interdit à un maire de payer les agents de la mairie qui font grève ? Réponse : “Non, il n’existe pas de loi qui interdit à un maire de payer les agents de la mairie qui font grève. Cependant, le maire peut choisir de ne pas payer les agents qui font grève, et il peut également prendre des mesures disciplinaires contre les agents qui font grève”. O-M-G !
Essayons un rattrapage : est-il légal de payer les jours de grève dans une mairie ? Réponse : “Non, il n’est pas légal de payer les jours de grève dans une mairie. Les grèves sont considérées comme des périodes non travaillées et les employés ne sont pas payés pour ces jours”. Très moyen, le sujet est traité de façon trop générale et ne trouve donc pas de réponse. S’il y avait eu une exception, il semble que ChatGPT ne l’aurait pas mentionnée.
Second rattrapage : en France, les agents municipaux qui font grève peuvent-ils être payés ? Réponse : “Non, les agents municipaux qui font grève ne peuvent pas être payés. En effet, le droit du travail français prévoit que les salariés qui font grève ne peuvent pas être payés pour le temps qu’ils ont passé en grève. Cependant, ils peuvent bénéficier d’une indemnité de gr”. Oui, le dernier mot est tronqué (nous sommes sur la version gratuite). On ne saura pas s’il s’agit d’une “indemnité de grève”, revendication que nos syndicats n’ont pas encore osée. Cela précisé, le sujet n’est pas non plus traité, s’agissant des seuls agents de la fonction publique territoriale.
Pas encore au point mais impressionnant et prometteur
Résultat très insuffisant en somme, sur une question qui appelait une réponse simple, fondée sur une seule source légale, sans ambiguïté. Nous tenterons d’autres questions plus tard pour vérifier les avancées de cette intelligence artificielle, qui reste tout de même très impressionnante et rendra sûrement de grands services aux juristes, mais qui n’est pas encore prête à les remplacer.
Statistiques relatives à une ou plusieurs déclaration(s) fact-checkée(s) par cet article
- URL de la déclaration : https://www.01net.com/actualites/chat...
- Texte de la déclaration :
Des professeurs de la faculté de droit de l’Université du Minnesota ont mis à l’épreuve l’intelligence de ChatGPT. Le chatbot d’OpenAI a été chargé de répondre aux questions de quatre examens de l’établissement.
Par la suite, les réponses générées par l’intelligence artificielle ont été mélangées aux copies des autres étudiants. De cette manière, les professeurs ont pu évaluer à l’aveugle la qualité des réponses de ChatGPT. L’IA a donc été évaluée de la même manière que n’importe quel autre juriste en herbe.
À lire aussi : le “Google chinois” va bientôt lancer sa propre IA générative façon ChatGPT
Un étudiant médiocre
Grâce à l’apprentissage automatique, le chatbot est parvenu à passer les examens de droit. Il a en effet hérité de la note C+, ce qui est médiocre, mais passable. En clair, ChatGPT n’a pas fait des miracles en surpassant largement les autres étudiants. En moyenne, les autres élèves ont en effet pu obtenir un B+. Néanmoins, les réponses générées auraient suffi à l’obtention d’un diplôme.
« Seul, ChatGPT serait un étudiant en droit assez médiocre », nuance Jonathan Choi, le professeur en charge de l’étude.
Pour mémoire, ChatGPT s’est illustré avec une performance similaire à l’examen de gestion du Wharton School of Business en Pennsylvanie. Malgré des erreurs de calcul, l’IA a passé l’examen en obtenant la note B. Sur certains points, le chatbot a donné une réponse tout simplement parfaite.
« ChatGPT a produit du texte sans erreurs grammaticales ni fautes de frappe. Il a également bien structuré les phrases et les paragraphes, bien que de manière formelle, avec des phrases d’introduction et des conclusions », détaille l’étude de l’Université du Minnesota.
Pour obtenir ces résultats, les professeurs ont donné un maximum d’informations et de contexte dans les questions, notamment en précisant le ton et le style à employer. Lors de l’examen de droit, ChatGPT a été questionné au sujet des délits, des avantages sociaux des employés, de la fiscalité et du droit constitutionnel. Au total, l’IA a répondu à 95 questions à choix multiples et à 12 dissertations.
D’après les professeurs, ChatGPT a tiré son épingle du jeu en rédigeant des essais structurés et bien organisés. Le chatbot a démontré une bonne compréhension des règles juridiques les plus basiques. Plusieurs des essais rédigés étaient même très complets. Néanmoins, les écrits de l’IA n’étaient pas dépourvus de défauts.
« Il a eu du mal à identifier les éléments pertinents et n’a souvent appliqué que superficiellement les règles par rapport aux vrais étudiants en droit », tempère le rapport de l’étude.
Un vrai problème avec les maths
Visiblement, ChatGPT a rencontré des difficultés à adapter ses réponses au contexte de la question, si surtout celle-ci est très ouverte. Comme nous l’avons également remarqué, l’IA a souvent tendance à dérouler des réponses très théoriques, à la manière d’un élève qui a tout appris par cœur sans vraiment comprendre la matière.
Les professeurs ont par ailleurs remarqué que ChatGPT rencontrait des problèmes récurrents avec les mathématiques. L’IA a d’ailleurs raté l’examen consacré aux taxes, avec seulement 8 bonnes réponses sur 29. Il avait eu des soucis de calcul analogues lors de l’examen de gestion évoqué plus haut.
Les experts en droit estiment donc que le chatbot n’est pas encore en mesure de complètement remplacer un avocat ou un juriste. S’il reste incapable de fournir un conseil juridique totalement fiable, il peut largement assister un avocat dans son travail. Par exemple, ChatGPT peut générer des idées d’arguments en vue d’un plaidoyer ou réciter des textes de loi.
De facto, les professeurs ont préféré interdire ChatGPT lors des examens afin d’éviter la triche. Depuis sa mise en ligne l’automne dernier, ChatGPT est d’ailleurs massivement utilisé par les étudiants dans le monde entier. Un professeur lyonnais s’est même rendu compte que 50 % de ses élèves utilisent l’IA pour faire leurs devoirs.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : SSRN - Facebook : CommentAction : 49
- Facebook : ShareAction : 95
- Pinterest : ShareAction : 0
- Nombre de retweets : 20
- Reddit : defacto:EngagementAction : 0
