Prueba de modelos de lenguaje: cómo interpretar los hallazgos de Grok 4.5 High y Fabel 5

Para comprender el valor de un nuevo modelo de lenguaje en los procesos de desarrollo de software, observamos cómo trabaja en un proyecto real. En X Mind Solutions utilizamos una versión antigua de un proyecto para probar cada nuevo modelo de lenguaje. Este enfoque nos proporciona una base para examinar qué detectan los modelos en un mismo contexto de proyecto. Sin embargo, el número de hallazgos no debe considerarse, por sí solo, una medida de la calidad del modelo o de la precisión de la revisión.

En esta prueba, Fabel 5 había generado 68 hallazgos en la versión antigua del proyecto. Grok 4.5 High, que utilizamos a través de Cursor, generó 100. Esta diferencia numérica ofrece un punto de partida para comparar en detalle ambos resultados. Sin embargo, estas cifras no permiten afirmar que Grok 4.5 High sea más preciso o detecte más errores reales. La naturaleza de cada elemento registrado como hallazgo debe evaluarse por separado.

La primera pregunta al comparar los resultados debe ser si los dos modelos presentan los mismos temas de distintas maneras. Un modelo puede dividir un único problema en varios puntos, mientras que el otro los agrupa bajo un mismo encabezado. Del mismo modo, una sugerencia de mejora no debe incluirse en la misma categoría que un error de software verificable. Por ello, una revisión significativa exige relacionar los hallazgos por tema, separar los duplicados y comprobar qué respalda cada afirmación dentro del proyecto.

Utilizar la misma versión antigua del proyecto proporciona una base común útil, pero no basta por sí solo para garantizar una comparación justa entre modelos. Las instrucciones, el contexto proporcionado al modelo y el alcance de la revisión también pueden influir en la evaluación. Las cantidades de hallazgos de esta prueba no demuestran que todas esas condiciones fueran iguales. Por tanto, en lugar de convertir esta observación en una clasificación general de rendimiento, resulta más adecuado interpretarla como un motivo para investigar las diferencias entre ambos resultados en este proyecto.

Para las empresas, la cuestión decisiva no es qué modelo genera la lista más larga, sino qué resultado resulta más útil para el equipo de desarrollo. En esta evaluación deben tener más peso los hallazgos que puedan verificarse, cuyo impacto pueda explicarse y que permitan aplicar una corrección. Para comprender la diferencia entre Grok 4.5 High y Fabel 5, también es necesario complementar la comparación numérica con este examen cualitativo. Por ahora, disponemos de dos cantidades distintas de hallazgos, pero no de un resultado verificado que respalde una afirmación de superioridad.