Modelltraining und Tests in Python mit KI-Agenten

KI-gestützte Softwareentwicklung geht über das Erstellen von Codevorschlägen hinaus. Ein Agent kann Projektdateien prüfen, fehlende Abhängigkeiten erkennen und versuchen, auftretende Fehler zu beheben, um eine vorgegebene Aufgabe zu erledigen. In einem Experiment zur Audioklassifizierung bei X Mind Solutions haben wir beobachtet, wie dieser Ansatz Modelltraining und Tests miteinander verbinden kann. Ursprünglich wollten wir lediglich eine Audiodatei verarbeiten und ihren Inhalt bestimmen lassen.

Bei X Mind Solutions trainieren wir KI-basierte Mikromodelle für klar umrissene Aufgaben, sowohl für unseren eigenen Bedarf als auch für unsere Kunden. Die Klassifizierung von Audiodaten ist einer dieser eng begrenzten Anwendungsfälle. Auch wenn Training und Tests in solchen Projekten relativ unkompliziert ablaufen können, ist der Datensatz von entscheidender Bedeutung. Ein funktionierender Trainingsablauf allein belegt nicht, dass das Modell unter unterschiedlichen Bedingungen zuverlässige Ergebnisse liefert.

Für das Experiment öffneten wir mit Cursor AI einen Ordner mit einem fehlerhaften Python-Projekt. Wir verwendeten Claude 4 Sonnet im Agent-Modus, stellten eine Audiodatei bereit und baten den Agenten, das Projekt auszuführen und den Inhalt der Datei zu bestimmen. Der Agent fand zunächst die entsprechende Testdatei. Das zuvor trainierte Modell, das für den Test benötigt wurde, war jedoch nicht im Projekt vorhanden. Die scheinbar einfache Aufforderung zur Ausführung erforderte daher zunächst, eine fehlende Voraussetzung zu schaffen.

Anstatt wegen des fehlenden Modells abzubrechen, fand der Agent unter den Projektdateien die benötigte Trainingsdatei und startete den Trainingsprozess. Dabei lud er fehlende Bibliotheken herunter und installierte sie, führte den Code erneut aus und behob die auftretenden Fehler. Nachdem er das Modell erstellt hatte, kehrte er zur ursprünglichen Testaufgabe zurück und klassifizierte die Audiodatei erfolgreich. Claude trainierte dabei nicht sein eigenes Basismodell, sondern führte das Training des Audioklassifizierungsmodells innerhalb des Projekts durch.

Bemerkenswert an diesem Experiment war nicht die Erstellung eines einzelnen Codeabschnitts, sondern die aufgabenbezogene Ausführung miteinander verknüpfter Schritte. Der Test benötigte ein Modell, das Modell eine Trainingsdatei und das Training eine geeignete Laufzeitumgebung. Der Agent verfolgte diese Abhängigkeiten und schloss die Aufgabe ab. Die erfolgreiche Klassifizierung einer einzelnen Datei ersetzt jedoch keine umfassende Validierung; Tests mit unterschiedlichen Beispielen und eine Codeprüfung bleiben erforderlich.

Bei der Bewertung solcher Agenten-Workflows für den Unternehmenseinsatz sollte nicht nur das Endergebnis, sondern auch die vorgenommenen Änderungen betrachtet werden. Es ist zu prüfen, welche Pakete installiert wurden, was am Trainingscode geändert wurde und was der Test tatsächlich bestätigt. Auch Berechtigungen wie Dateizugriff und Paketinstallation sollten kontrolliert vergeben werden. Dieses Experiment zeigt nicht, dass die Rolle der Entwickler entfällt, sondern dass Aufgabenbeschreibung, Datenqualität, Testabdeckung und Codeprüfung weiterhin wichtig bleiben.