Test de modèles de langage : interpréter les constats de Grok 4.5 High et de Fabel 5

Pour comprendre la valeur d’un nouveau modèle de langage dans les processus de développement logiciel, nous observons son fonctionnement sur un projet réel. Chez X Mind Solutions, nous utilisons une ancienne version d’un projet pour tester chaque nouveau modèle de langage. Cette approche nous permet d’examiner ce que les modèles repèrent dans un même contexte de projet. Toutefois, le nombre de constats ne doit pas être considéré, à lui seul, comme une mesure de la qualité du modèle ou de la précision de l’examen.

Lors de ce test, Fabel 5 avait produit 68 constats sur l’ancienne version du projet. Grok 4.5 High, que nous avons utilisé via Cursor, en a produit 100. Cet écart chiffré constitue un point de départ pour comparer en détail les deux résultats. En revanche, ces chiffres ne permettent pas d’affirmer que Grok 4.5 High est plus précis ou détecte davantage de véritables erreurs. La nature de chaque constat répertorié doit être évaluée séparément.

La première question à poser lors de la comparaison est de savoir si les deux modèles signalent les mêmes sujets de manière différente. Un modèle peut répartir un seul problème en plusieurs points, tandis que l’autre les regroupe sous un même intitulé. De même, une suggestion d’amélioration ne doit pas être classée dans la même catégorie qu’une erreur logicielle vérifiable. Pour mener un examen pertinent, il faut donc rapprocher les constats par sujet, isoler les doublons et vérifier les éléments qui étayent chaque affirmation dans le projet.

L’utilisation de la même ancienne version du projet offre une base commune utile, mais ne suffit pas à garantir une comparaison équitable entre les modèles. Les instructions, le contexte fourni au modèle et le périmètre de l’examen peuvent également influencer l’évaluation. Les nombres de constats issus de ce test ne démontrent pas que toutes ces conditions étaient identiques. Plutôt que de transformer cette observation en un classement général des performances, il est donc plus juste d’y voir une invitation à étudier les différences entre les deux résultats sur ce projet.

Pour les entreprises, la question décisive n’est pas de savoir quel modèle produit la liste la plus longue, mais quel résultat est le plus utile à l’équipe de développement. Les constats vérifiables, dont l’impact peut être expliqué et qui peuvent déboucher sur une correction applicable, doivent peser davantage dans cette évaluation. Pour comprendre la différence entre Grok 4.5 High et Fabel 5, il faut donc compléter la comparaison chiffrée par cet examen qualitatif. Pour l’instant, nous disposons de deux nombres de constats différents, mais d’aucun résultat vérifié permettant d’étayer une affirmation de supériorité.