Teste de Modelos de Linguagem: Grok 4.5 High vs Fabel 5

Para compreender o real valor de um novo modelo de linguagem nos processos de desenvolvimento de software, avaliamos o seu comportamento num projeto real. Na X Mind Solutions, utilizamos uma versão anterior de um projeto para testar cada novo modelo de linguagem. Esta abordagem cria uma base que nos permite analisar o que os modelos identificam dentro do mesmo contexto de projeto. No entanto, o número de constatações obtidas não deve ser interpretado, isoladamente, como reflexo da qualidade do modelo ou da precisão da análise.

Neste teste, o Fabel 5 gerou 68 constatações na versão anterior do projeto. Por sua vez, o Grok 4.5 High, utilizado através do Cursor, identificou 100 ocorrências. Esta disparidade quantitativa oferece um ponto de partida que exige uma comparação minuciosa entre os dois resultados. Em contrapartida, com base nestes números, não se pode afirmar que o Grok 4.5 High funcione com maior precisão ou que detete mais erros reais. A qualidade de cada item listado como constatação deve ser examinada individualmente.

Numa comparação, a primeira questão a colocar é se os dois modelos reportam os mesmos tópicos de formas distintas. Enquanto um modelo pode dividir um único problema em vários itens separados, outro pode agrupá-los sob um mesmo cabeçalho. Do mesmo modo, uma sugestão de melhoria e um erro de software comprovável não devem ser avaliados na mesma categoria. Por conseguinte, para uma análise consistente, é essencial cruzar as constatações por tema, isolar as repetições e verificar o fundamento de cada apontamento no contexto do projeto.

Embora a utilização da mesma versão anterior do projeto proporcione uma base comum vantajosa, tal não é suficiente, por si só, para assegurar uma comparação equitativa entre modelos. As instruções facultadas, o contexto disponibilizado ao modelo e o âmbito da revisão podem igualmente influenciar a avaliação. Os números obtidos neste teste não garantem que todas essas condições tenham sido rigorosamente idênticas. Assim, em vez de converter a observação atual numa classificação geral de desempenho, é mais prudente encará-la como um indicador para investigar as divergências entre os dois resultados neste projeto específico.

Do ponto de vista das organizações, a verdadeira decisão não reside em saber qual o modelo que elabora a lista mais extensa, mas sim qual o resultado mais útil para a equipa de desenvolvimento. As constatações comprováveis, cujo impacto possa ser demonstrado e que se traduzam numa correção viável, devem assumir o papel central nesta avaliação. Para compreender a diferença entre o Grok 4.5 High e o Fabel 5, torna-se necessário complementar a comparação numérica com este escrutínio qualitativo. Até ao momento, dispomos apenas de dois totais distintos de ocorrências; não existe qualquer conclusão comprovada que fundamente uma reivindicação de superioridade.