Contexte :

Compar:IA juridique est une plateforme qui reprend le principe d'une arène de comparaison d'IA conversationnelles appliquées spécifiquement au droit ; et elle donne aux professionnels du droit le pouvoir d'évaluer les intelligences artificielles selon leur fiabilité juridique.

Concrètement, en arrivant sur compar:IA juridique, le professionnel du droit pose une question juridique en langage naturel, et deux réponses apparaissent, générées par des modèles d'IA différents, sans qu'il sache lesquels. L'objectif est ensuite pour le professionnel du droit de sélectionner quelle réponse est la plus pertinente selon des critères préexistants ou en expliquant son choix en quelques lignes. Une fois son choix effectué, le professionnel découvre enfin quels modèles se cachaient derrière chaque réponse ; une révélation qui, au-delà du classement, l'entraîne à interroger systématiquement ce qu'une IA lui présente.

Pourquoi ?

La quasi-totalité des grands modèles d'IA sont entraînés sur des données très majoritairement anglo-saxonnes, pensées pour une logique de common-law, où le précédent et la jurisprudence l'emportent. Or la France, comme l'essentiel de l'Europe continentale, repose sur un droit romano-civiliste : c'est la loi écrite qui prime, pas le précédent. Notre classement révèle précisément quels modèles comprennent notre tradition juridique.

Objectifs

• Créer une arène sectorielle, adossée à compar:IA, réservée au domaine juridique.
• Réserver l'évaluation des réponses aux professionnels du droit, afin de garantir que l'évaluation réalisée fait autorité, et non de simples clics anonymes.
• Construire un classement des modèles d'IA fondé sur des critères juridiques précis et spécifiquement sur du droit français.
• Rendre ce classement public et accessible à tous.
• Rester maîtres de notre capacité à évaluer les IA dans une optique de souveraineté, pour mettre en avant celles qui comprennent réellement les spécificités du droit français.
• Constituer, à partir de ces évaluations, un jeu de données ouvert de préférences juridiques en français.

Déroulé / fonctionnement

1. Arrivée sur la plateforme : l'utilisateur pose une question juridique en langage naturel. Deux réponses apparaissent, produites par deux modèles d'IA différents, sans qu'il sache lesquels.
2. Contrôle d'accès déclaratif : à l'arrivée sur le site, il est demandé si l'utilisateur est un expert juridique ou un simple utilisateur. Nous fonctionnons sur la confiance déclarative, sans vérification bureaucratique lourde. Un expert entre dans l'arène ; un simple utilisateur est redirigé vers une page l'informant que l'accès est réservé.
3. Évaluation par les experts : face aux deux réponses, l'expert explique son choix en quelques lignes ou s'appuie sur des critères construits pour le droit :

• Pertinence juridique : la réponse répond-elle à la question et est-elle conforme au droit en vigueur ?
• Actualisation : les sources citées sont-elles à jour ?
• Transparence : l'IA cite-t-elle ses sources ?
• Lisibilité : la réponse est-elle claire ?
• Absence d'hallucination : n'invente-t-elle ni réponse ni source ?

1. Classement public : les évaluations alimentent un classement mis à jour en continu, consultable par tous, experts comme grand public.