X Mind Solutions
Блог

Тест языковых моделей: Grok 4.5 High и Fabel 5

Разбираем замечания Grok 4.5 High и Fabel 5 по старой версии проекта: что означают полученные числа и какие ограничения есть у такого сравнения.

Искусственный интеллект · · 3 мин чтения

При тестировании на устаревшем проекте Fabel 5 нашла 68 замечаний, а Grok 4.5 High через Cursor — 100. Однако само количество пунктов не подтверждает превосходство одной из моделей: для реальной оценки необходим качественный анализ обоснованности и практической пользы находок.

  • July 9, 2026

Чтобы оценить практическую пользу новой языковой модели в процессах разработки программного обеспечения, мы анализируем ее работу на реальном проекте. В X Mind Solutions для тестирования каждой новой языковой модели используется устаревшая версия одного из проектов. Такой подход создает базу для изучения того, на что именно модели обращают внимание в идентичном контексте. Однако количество выявленных замечаний само по себе не должно восприниматься как показатель качества модели или точности ее анализа.

В ходе данного теста модель Fabel 5 выявила 68 замечаний в устаревшей версии проекта. Grok 4.5 High, которую мы использовали через Cursor, сформировала 100 замечаний. Численная разница служит отправной точкой для детального сопоставления двух результатов. Вместе с тем, опираясь только на эти цифры, нельзя утверждать, что модель Grok 4.5 High работает точнее или обнаруживает больше реальных ошибок. Качество каждого пункта в списке замечаний требует отдельного рассмотрения.

Первый вопрос при сравнении заключается в том, не описывают ли обе модели одни и те же темы по-разному. Одна модель может разбить единую проблему на несколько пунктов, тогда как другая объединит их под общим заголовком. Точно так же предложение по оптимизации и подтвержденная ошибка в коде не должны относиться к одной категории. По этой причине для содержательного анализа необходимо сгруппировать замечания по тематике, исключить дублирования и проверить обоснованность каждого пункта в рамках проекта.

Использование одной и той же устаревшей версии проекта обеспечивает полезную общую основу, однако само по себе недостаточно для объективного сравнения моделей. На результаты также могут влиять предоставленные инструкции, переданный модели контекст и глубина анализа. Количественные итоги этого теста не доказывают, что все перечисленные условия были абсолютно идентичны. Поэтому целесообразнее воспринимать текущие наблюдения не как глобальный рейтинг производительности, а как повод для исследования различий между результатами на конкретном проекте.

С точки зрения бизнеса ключевой вопрос заключается не в том, какая модель сгенерирует более длинный список, а в том, какой результат принесет больше пользы команде разработки. Замечания, которые поддаются проверке, имеют четко объяснимое влияние и могут быть преобразованы в практические исправления, должны иметь приоритет в такой оценке. Чтобы понять различия между Grok 4.5 High и Fabel 5, количественное сопоставление необходимо дополнить качественным анализом. На данный момент у нас есть два разных числовых показателя, но нет подтвержденных данных, говорящих о безусловном превосходстве одной из моделей.

Часто задаваемые вопросы

Сколько замечаний выявили модели Grok 4.5 High и Fabel 5?
Модель Fabel 5 выявила 68 замечаний в коде устаревшей версии проекта, а модель Grok 4.5 High, запущенная через Cursor, сформировала 100 замечаний.

Kaynak: Orijinal kaynak

X MIND WEEKLY

Что произошло в сфере ИИ на этой неделе?

Нужны практические новости об ИИ для бизнеса? Мировая и турецкая повестка в области ИИ, практические кейсы KobiGPT и идеи автоматизации, которые можно внедрить прямо сейчас: 1 письмо в неделю, ~3 минуты на чтение, без спама.

Оформляя подписку, вы соглашаетесь получать рассылку X Mind Weekly. Вы можете ознакомиться с нашим Уведомлением о конфиденциальности KVKK, чтобы узнать, как обрабатываются ваши персональные данные. Вы можете отписаться в один клик в любое время.

Читать предыдущие выпуски →