Sprachmodelle im Test: Die Befunde von Grok 4.5 High und Fabel 5 einordnen

Um den Nutzen eines neuen Sprachmodells für die Softwareentwicklung zu verstehen, untersuchen wir, wie es in einem realen Projekt arbeitet. Bei X Mind Solutions verwenden wir für den Test jedes neuen Sprachmodells eine ältere Version eines Projekts. So schaffen wir eine Grundlage, um zu untersuchen, was die Modelle im selben Projektkontext erkennen. Die Anzahl der Befunde allein darf jedoch nicht als Maß für die Modellqualität oder die Genauigkeit der Prüfung verstanden werden.

In diesem Test hatte Fabel 5 in der älteren Projektversion 68 Befunde geliefert. Grok 4.5 High, das wir über Cursor eingesetzt haben, lieferte 100 Befunde. Dieser zahlenmäßige Unterschied bietet einen Ausgangspunkt für einen detaillierten Vergleich der beiden Ergebnisse. Daraus lässt sich jedoch nicht ableiten, dass Grok 4.5 High genauer arbeitet oder mehr tatsächliche Fehler erkennt. Die Art jedes einzelnen aufgeführten Befunds muss gesondert bewertet werden.

Beim Vergleich sollte zunächst geklärt werden, ob die beiden Modelle dieselben Themen unterschiedlich darstellen. Ein Modell kann ein einzelnes Problem in mehrere Punkte aufteilen, während das andere diese unter einer gemeinsamen Überschrift zusammenfasst. Ebenso darf ein Verbesserungsvorschlag nicht derselben Kategorie zugeordnet werden wie ein überprüfbarer Softwarefehler. Für eine aussagekräftige Prüfung müssen die Befunde daher thematisch einander zugeordnet, Dopplungen ausgesondert und die Belege für jede Aussage im Projekt überprüft werden.

Die Verwendung derselben älteren Projektversion schafft zwar eine hilfreiche gemeinsame Grundlage, reicht allein aber nicht für einen fairen Modellvergleich aus. Auch die Anweisungen, der dem Modell bereitgestellte Kontext und der Umfang der Prüfung können die Bewertung beeinflussen. Die Befundzahlen dieses Tests belegen nicht, dass all diese Bedingungen identisch waren. Statt aus der vorliegenden Beobachtung eine allgemeine Leistungsrangfolge abzuleiten, sollte sie daher als Anlass verstanden werden, die Unterschiede zwischen den beiden Ergebnissen in diesem Projekt näher zu untersuchen.

Für Unternehmen ist nicht entscheidend, welches Modell die längere Liste erstellt, sondern welches Ergebnis dem Entwicklungsteam mehr Nutzen bietet. Im Vordergrund sollten Befunde stehen, die sich überprüfen lassen, deren Auswirkungen nachvollziehbar sind und aus denen sich eine umsetzbare Korrektur ableiten lässt. Um den Unterschied zwischen Grok 4.5 High und Fabel 5 zu verstehen, muss der zahlenmäßige Vergleich deshalb durch diese qualitative Prüfung ergänzt werden. Bislang liegen zwei unterschiedliche Befundzahlen vor, aber kein verifiziertes Ergebnis, das eine Überlegenheit belegen würde.