MWC 2018
2018
Computex
IFA 2018
Компания Anthropic представила Claude Sonnet 5.5 — вторую модель нового семейства Claude 5.5 вслед за флагманской Claude Opus 5.5. Разработчики позиционируют новинку как более быструю и экономичную модель для повседневных задач, программирования, работы с документами и создания презентаций.
Источник изображений: Anthropic
Главное изменение по сравнению с Claude Sonnet 5 — существенный рост производительности при одновременном сокращении количества вычислений, необходимых для выполнения типичных задач. По данным Anthropic, Sonnet 5.5 генерирует ответы более чем на 30 % быстрее предыдущей версии и в большинстве сценариев обходится до 30 % дешевле — новая модель обычно использует значительно меньше токенов для выполнения той же задачи. При этом цена одного токена не изменилась: $2 за 1 млн входных токенов и $10 за 1 млн выходных. Чтение токенов из кэша стоит $0,20 за 1 млн токенов. К слову, Claude Sonnet 5.5 поддерживает контекстное окно до 1 млн токенов и вывод до 128 тыс. токенов.
Что касается показателей производительности, то особенно заметный прирост Anthropic заявляет в программировании. В тесте Terminal-Bench 4.0, оценивающем способность ИИ самостоятельно выполнять многоэтапные задачи в командной строке, Sonnet 5.5 набрала 70,6 % против всего лишь 10,3 % у Sonnet 5. В CursorBench 4.0 результат новой модели составил 55,5 %, тогда как предшественница получила лишь 34,1 %.
Во FrontierCode 1.1 новая Sonnet 5.5 при максимальном уровне усилий набрала 46,2 % против 42,4 % у Sonnet 5. В свою очередь, флагманская Claude Opus 5.5 в этом тесте набрала 54,4 %. Anthropic отмечает, что в отдельных тестах при максимальном уровне усилий Sonnet 5.5 уже приближается к возможностям более дорогой Opus 5.5, хотя последняя сохраняет преимущество в сложной открытой работе, требующей длительного рассуждения и самостоятельного принятия решений. Напомним, что Opus 5.5 стоит вдвое дороже: $4 и $20 за миллион входных и выходных токенов соответственно.
При этом Sonnet 5.5 рассчитана не только на разработчиков. Anthropic выделяет работу с документами, презентациями и таблицами, а также создание пользовательских интерфейсов. Компания утверждает, что новая модель лучше следует шаблонам презентаций и способна выдавать результаты, требующие меньшего объёма последующей ручной доработки.
Существенно улучшилась и работа с длинными задачами. В тесте GDPval-AA v2.1, моделирующем выполнение реальной профессиональной работы в 44 профессиях и девяти отраслях, Sonnet 5.5 получила 1844 балла против 1449 у Sonnet 5. Результат оказался крайне близок к показателю Opus 5.5 — 1846 баллов. В тесте AA-Briefcase новая модель также заметно опередила предшественницу: 1811 против 1359 баллов.
Anthropic отдельно отмечает улучшения в работе с изображениями и компьютерными интерфейсами. В тесте OSWorld 2.1, оценивающем способность ИИ взаимодействовать с операционной системой, Sonnet 5.5 получила 80,1 % против 57 % у Sonnet 5. Модель также стала лучше распознавать графики и визуальную информацию. Sonnet 5.5 стала первой моделью семейства Sonnet, которая смогла пройти игру Pokémon Red, используя только снимки экрана в качестве визуальной информации.
Изменения коснулись и системы безопасности. Из-за существенного роста возможностей в области кибербезопасности Sonnet 5.5 стала первой моделью серии Sonnet, которая при запуске получила защитные механизмы и резервные ограничения, аналогичные используемым для более мощных моделей Anthropic. Для высокорисковых задач в сфере кибербезопасности система может переключаться на Sonnet 5.
Кроме того, Sonnet 5.5 получила защиту от дистилляции — попыток извлечь данные модели с помощью массовых запросов от большого числа аккаунтов, чтобы потом использовать их для обучения другой высокопроизводительной модели. Anthropic применила в новой версии специальные классификаторы, препятствующие извлечению внутренних рассуждений.
Claude Sonnet 5.5 уже доступна в чат-боте Claude, а также на всех основных платформах, включая собственную Claude Platform, Amazon Web Services, Google Cloud и Microsoft Azure. Для разработчиков модель доступна через API.
В ближайшие недели Anthropic также обещает представить Claude Haiku 5.5 — ещё одну модель семейства Claude 5.5, ориентированную на высокую нагрузку и чувствительные к стоимости сценарии.
Источник:
