Искусственный интеллект · · 3 мин чтения
При тестировании на устаревшем проекте Fabel 5 нашла 68 замечаний, а Grok 4.5 High через Cursor — 100. Однако само количество пунктов не подтверждает превосходство одной из моделей: для реальной оценки необходим качественный анализ обоснованности и практической пользы находок.
- July 9, 2026
Чтобы оценить практическую пользу новой языковой модели в процессах разработки программного обеспечения, мы анализируем ее работу на реальном проекте. В X Mind Solutions для тестирования каждой новой языковой модели используется устаревшая версия одного из проектов. Такой подход создает базу для изучения того, на что именно модели обращают внимание в идентичном контексте. Однако количество выявленных замечаний само по себе не должно восприниматься как показатель качества модели или точности ее анализа.
В ходе данного теста модель Fabel 5 выявила 68 замечаний в устаревшей версии проекта. Grok 4.5 High, которую мы использовали через Cursor, сформировала 100 замечаний. Численная разница служит отправной точкой для детального сопоставления двух результатов. Вместе с тем, опираясь только на эти цифры, нельзя утверждать, что модель Grok 4.5 High работает точнее или обнаруживает больше реальных ошибок. Качество каждого пункта в списке замечаний требует отдельного рассмотрения.
Первый вопрос при сравнении заключается в том, не описывают ли обе модели одни и те же темы по-разному. Одна модель может разбить единую проблему на несколько пунктов, тогда как другая объединит их под общим заголовком. Точно так же предложение по оптимизации и подтвержденная ошибка в коде не должны относиться к одной категории. По этой причине для содержательного анализа необходимо сгруппировать замечания по тематике, исключить дублирования и проверить обоснованность каждого пункта в рамках проекта.
Использование одной и той же устаревшей версии проекта обеспечивает полезную общую основу, однако само по себе недостаточно для объективного сравнения моделей. На результаты также могут влиять предоставленные инструкции, переданный модели контекст и глубина анализа. Количественные итоги этого теста не доказывают, что все перечисленные условия были абсолютно идентичны. Поэтому целесообразнее воспринимать текущие наблюдения не как глобальный рейтинг производительности, а как повод для исследования различий между результатами на конкретном проекте.
С точки зрения бизнеса ключевой вопрос заключается не в том, какая модель сгенерирует более длинный список, а в том, какой результат принесет больше пользы команде разработки. Замечания, которые поддаются проверке, имеют четко объяснимое влияние и могут быть преобразованы в практические исправления, должны иметь приоритет в такой оценке. Чтобы понять различия между Grok 4.5 High и Fabel 5, количественное сопоставление необходимо дополнить качественным анализом. На данный момент у нас есть два разных числовых показателя, но нет подтвержденных данных, говорящих о безусловном превосходстве одной из моделей.
Часто задаваемые вопросы
- Сколько замечаний выявили модели Grok 4.5 High и Fabel 5?
- Модель Fabel 5 выявила 68 замечаний в коде устаревшей версии проекта, а модель Grok 4.5 High, запущенная через Cursor, сформировала 100 замечаний.
Kaynak: Orijinal kaynak
X MIND WEEKLY
Что произошло в сфере ИИ на этой неделе?
Нужны практические новости об ИИ для бизнеса? Мировая и турецкая повестка в области ИИ, практические кейсы KobiGPT и идеи автоматизации, которые можно внедрить прямо сейчас: 1 письмо в неделю, ~3 минуты на чтение, без спама.
Оформляя подписку, вы соглашаетесь получать рассылку X Mind Weekly. Вы можете ознакомиться с нашим Уведомлением о конфиденциальности KVKK, чтобы узнать, как обрабатываются ваши персональные данные. Вы можете отписаться в один клик в любое время.
