# Claude 4 Opus не впечатляет в коде — результаты Aider
26 мая 2025 г.
Claude 4 Opus и Claude 4 Sonnet вышли на прошлой неделе. Ожидания были накручены — новое, четвёрка, самые мощные модели Anthropic. Но в реальных тестах на кодинг результаты получились… разочаровывающими.
Бенчмарк Aider проверяет, как хорошо модели редактируют и пишут код без подсказок человека: 225 задач на Exercism, шесть языков программирования. Никаких поблажек, ничего не подсказываем.
Результаты:
- Claude 4 Opus — 72% успешных решений. Это меньше, чем обещали.
- Claude 4 Opus (без режима extended thinking) — 70,7%.
- Claude 4 Sonnet — 61,3%. Хуже, чем Claude 3.7 Sonnet (64,9%) — предыдущая версия.
Самое странное: на бумаге Claude 4 Opus должен быть лучше в коде. Anthropic сами гремят про 72,5% на SWE-bench, про 43,2% на Terminal-bench. Но на Aider цифры ниже ожиданий. Возможно, бенчмарк просто жёстче, или модели оптимизировали именно под Anthropic-овские тесты.
Что касается конкурентов: GPT-4 o3 выглядит сильнее в задачах с длинными цепочками рассуждений. Gemini 2.5 Pro держит хорошо в мультимодале и базовых кодовых задачах, но с той же ценой за токены Claude Opus остаётся более универсален. Просто на этом конкретном бенчмарке выглядит слабее ожиданий.
А Sonnet 4 откатился в коде по сравнению с 3.7 — это действительно странно. Может, Anthropic пожертвовали скоростью ради точности рассуждений? Но тогда это не “четвёрка”, это переходная версия. На 3.8 это был бы нормальный результат.