Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
В среду Anpropic запустила автоматические возможности обзора безопасности для своей платформы Claude Code, внедряя инструменты, которые могут сканировать код на предмет уязвимостей, и предлагает исправления, поскольку искусственный интеллект значительно ускоряет разработку программного обеспечения по всей отрасли.
Новые функции появляются в качестве компаний, которые все чаще полагаются на ИИ, чтобы писать код быстрее, чем когда-либо прежде, ставя важные вопросы о том, может ли практика безопасности идти в ногу со скоростью развития, связанной с Аи. Решение Anpropic внедряет анализ безопасности непосредственно в рабочие процессы разработчиков через простую команду терминала и автоматизированные обзоры GitHub.
«Люди любят Код Клода, они любят использовать модели для написания кода, и эти модели уже чрезвычайно хороши и становятся лучше», — сказал Логан Грэм, член Frontier Red Team Anpropic, которая возглавляла разработку функций безопасности, в интервью VentureBeat. «Кажется действительно возможным, что в ближайшие пару лет мы переходим в 10x, 100x, 1000 раз на количество кода, написанного в мире. Единственный способ не отставать — это использовать сами модели, чтобы выяснить, как сделать его в безопасности».
Объявление сделано всего через день после выпуска Anpropic Claude Opus 4.1, обновленной версии своей самой мощной модели ИИ, которая показывает значительные улучшения в задачах кодирования. Время подчеркивает интенсивную конкуренцию между компаниями искусственного интеллекта, и Openai ожидает, что GPT-5 Imminall и Meta агрессивно браконьерство с талантами с подписанием в размере 100 миллионов долларов.
Почему генерация кода ИИ создает огромную проблему безопасности
Инструменты безопасности решают растущую озабоченность в индустрии программного обеспечения: поскольку модели искусственного интеллекта становятся более способными для написания кода, объем производимого кода взрывается, но традиционные процессы обзора безопасности не масштабируются, чтобы соответствовать. В настоящее время обзоры безопасности полагаются на инженеров-людей, которые вручную изучают код на наличие уязвимостей-процесс, который не может идти в ногу с полученным результатом AI.
Подход Anpropic использует ИИ для решения созданной проблемы ИИ. Компания разработала два дополнительных инструмента, которые используют возможности Claude для автоматического идентификации общих уязвимостей, включая риски впрыска SQL, уязвимости сценария поперечного сайта, недостатки аутентификации и небезопасную обработку данных.
Первый инструмент — это /security-review Команда, которую разработчики могут запустить из своего терминала, чтобы сканировать код, прежде чем совершать его. «Это буквально 10 клавиш, а затем он заставит агента Клода просмотреть код, который вы пишете, или ваш репозиторий», — объяснил Грэм. Система анализирует код и возвращает оценки уязвимости с высокой уверенностью, а также предлагаемые исправления.
Второй компонент — это действие GitHub, которое автоматически запускает обзоры безопасности, когда разработчики отправляют запросы на привлечение. Система публикует встроенные комментарии к коду с проблемами безопасности и рекомендациями, обеспечивая, чтобы каждое изменение кода получает базовый обзор безопасности перед достижением производства.
Как антропический проверял сканер безопасности на своем собственном уязвимом коде.
Anpropic проверяет эти инструменты внутренне на своей собственной кодовой базе, включая сам Claude Code, обеспечивая реальную проверку их эффективности. Компания поделилась конкретными примерами уязвимостей, которые система поймала до того, как они достигли производства.
В одном случае инженеры создали функцию для внутреннего инструмента, который запустил локальный HTTP -сервер, предназначенный только для локальных соединений. Действие GitHub выявило удаленное выполнение кода, используемое посредством повторных атак DNS, которые были исправлены до того, как код был объединен.
Другой пример включал прокси -систему, предназначенную для безопасного управления внутренними учетными данными. Автоматизированный обзор отметил, что прокси был уязвим для атак на сторону запросов на стороне сервера (SSRF), что вызвало немедленное исправление.
«Мы использовали его, и это уже находило уязвимости и недостатки и предположил, как их исправить в вещах, прежде чем они достигнут производства для нас», — сказал Грэм. «Мы подумали, что это так полезно, что мы решили выпустить это публично».
Небольшие команды разработчиков получают бесплатные инструменты безопасности корпоративного уровня.
Помимо решения проблем масштабирования, сталкивающихся с крупными предприятиями, инструменты могут демократизировать сложные методы безопасности для небольших групп разработчиков, в которых отсутствует специальный персонал безопасности.
«Одна из вещей, которая меня больше всего волнует, это то, что это означает, что обзор безопасности может быть немного демократизирован даже для самых маленьких команд, и эти небольшие команды могут выдвигать много кода, в который они будут все больше и больше веры», — сказал Грэм.
Система разработана, чтобы быть немедленно доступной. По словам Грэма, разработчики могут начать использовать функцию обзора безопасности в течение нескольких секунд после выпуска, требуя всего около 15 нажатий клавиш. Инструменты плавно интегрируются с существующими рабочими процессами, обрабатывают код локально через тот же API Claude, который поддерживает другие функции Claude Code.
Внутри архитектуры ИИ, которая сканирует миллионы строк кода
Система обзора безопасности работает, вызывая Claude через «агент -цикл», который систематически анализирует код. Согласно Anpropic, Claude Code использует инструментальные вызовы для изучения больших кодовых баз, начиная с понимания изменений, внесенных в запрос на вытяжение, а затем активно изучение более широкой кодовой базы для понимания контекста, инвариантов безопасности и потенциальных рисков.
Клиенты предприятия могут настроить правила безопасности в соответствии с их конкретными политиками. Система построена на расширяемой архитектуре Claude Code, что позволяет командам изменять существующие подсказки безопасности или создавать совершенно новые команды сканирования с помощью простых документов маркировки.
«Вы можете взглянуть на команды Slash, потому что много раз команды Slash работают через на самом деле просто очень простой Claude.md Doc», — объяснил Грэм. «Для вас действительно просто написать свой собственный».
Талантливая война за 100 миллионов долларов
Объявление о безопасности происходит на фоне более широкой отрасли, которая считается безопасностью ИИ и ответственным развертыванием. Недавние исследования Anpropic изучали методы предотвращения развития моделей искусственного интеллекта, включая спорный подход «вакцинации», который подвергает модели нежелательным признакам во время обучения для повышения устойчивости.
Время также отражает интенсивную конкуренцию в пространстве ИИ. Во вторник Anpropic выпустил Claude Opus 4.1, когда компания претендует на значительные улучшения в задачах по разработке программного обеспечения-на 74,5% на проверенной оценке кодирования SWE-Bench по сравнению с 72,5% для предыдущей модели Claude Opus 4.
Между тем, Meta агрессивно набирает таланты ИИ с огромными бонусами подписания, хотя генеральный директор Anpropic Дарио Амодеей недавно заявил, что многие из его сотрудников отклонили эти предложения. Компания сохраняет 80% -ной уровень удержания для сотрудников, нанятых за последние два года, по сравнению с 67% на OpenAI и 64% в Meta.
Правительственные учреждения теперь могут купить Клод в качестве ускорения усыновления ИИ предприятия.
Функции безопасности представляют собой часть более широкого продвижения Anpropic на корпоративные рынки. За прошедший месяц компания отправила несколько функций, ориентированных на предприятие для Claude Code, включая аналитические панели для администраторов, поддержку нативных Windows и многонаправленную поддержку.
Правительство США также одобрило учетные данные Antropic Enterprise, добавив компанию в утвержденный список поставщиков администрации общих услуг вместе с OpenAI и Google, предоставляя Claude для закупок федерального агентства.
Грэм подчеркнул, что инструменты безопасности предназначены для дополнения, а не замены существующих методов безопасности. «Нет ничего, что решит проблему. Это всего лишь один дополнительный инструмент», — сказал он. Тем не менее, он выразил уверенность в том, что инструменты безопасности с AI будут играть все более центральную роль в качестве ускорения генерации кода.
Гонка по обеспечению обеспечения программного обеспечения, сгенерированного AI до того, как оно сломает Интернет
Поскольку ИИ изменяет разработку программного обеспечения в беспрецедентных темпах, инициатива по безопасности Anpropic представляет собой критическое признание того, что та же технология, способствующая взрывному росту в генерации кода, также должна быть использована для обеспечения безопасности этого кода. Команда Грэма, называемая The Frontier Red Team, фокусируется на выявлении потенциальных рисков от расширенных возможностей ИИ и создания соответствующей защиты.
«Мы всегда были чрезвычайно привержены измерению возможностей кибербезопасности моделей, и я думаю, что настало время, когда защита должна существовать в мире», — сказал Грэм. Компания особенно поощряет фирм по кибербезопасности и независимых исследователей экспериментировать с творческими приложениями технологии, с амбициозной целью использования ИИ для «рассмотрения и профилактического зала или обеспечения более безопасного программного обеспечения, которое поддерживает инфраструктуру в мире».
Функции безопасности немедленно доступны для всех пользователей Claude Code, причем действие GitHub требует единовременной конфигурации командами разработчиков. Но остается больший вопрос, надвигающийся в отрасли: могут ли защитные средства, способствующие AI, масштабироваться достаточно быстро, чтобы соответствовать экспоненциальному росту уязвимостей, сгенерированных AI?
На данный момент, по крайней мере, машины участвуют в гонках, чтобы исправить то, что могут сломаться другие машины.
Источник
