Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении ИИ. Узнать больше
Patronus AI запустил новую платформу мониторинга, которая автоматически идентифицирует сбои в системах агентов AI, нацеленная на предприятия по поводу надежности, поскольку эти приложения становятся более сложными.
Новый продукт AI Safety Startup, базирующейся в Сан-Франциско, позиционирует себя как первое решение, способное автоматически определять различные схемы сбоя в системах агентов AI и предполагая оптимизации для их решения.
«Percival-это первое решение отрасли, которое автоматически обнаруживает различные модели сбоев в агентских системах, а затем систематически предлагает исправления и оптимизации для их решения»,-сказал Ананд Каннаппан, генеральный директор и соучредитель Patronus AI, в эксклюзивном интервью с VentureBeat.
Кризис надежности агента AI: почему компании теряют контроль над автономными системами
Внедрение предприятий агентов искусственного интеллекта-сборов, которое может самостоятельно планировать и выполнять сложные многоэтапные задачи,-ускорилось в последние месяцы, создавая новые проблемы управления, поскольку компании пытаются обеспечить надежную работу этих систем в масштабе.
В отличие от традиционных моделей машинного обучения, эти агентские системы часто включают длинные последовательности операций, где ошибки на ранних стадиях могут иметь значительные последствия для последствий.
«Несколько недель назад мы опубликовали модель, которая количественно определяет, насколько вероятно, что агенты могут потерпеть неудачу, и какое влияние может оказать на бренд, на отток клиентов и тому подобное», — сказал Каннапп. «Существует постоянная вероятность ошибки составной ошибки с агентами, которые мы видим».
Эта проблема становится особенно острой в многоагентных средах, где различные системы ИИ взаимодействуют друг с другом, делая традиционные подходы к тестированию все более неадекватными.
Эпизодические инновации памяти: как архитектура агента AI от Percival революционизирует обнаружение ошибок
Percival отличается от других инструментов оценки через свою агентную архитектуру и то, что компания называет «эпизодической памятью»-способность учиться на предыдущих ошибках и адаптироваться к конкретным рабочим процессам.
Программное обеспечение может обнаружить более 20 различных режимов сбоя в четырех категориях: ошибки рассуждения, ошибки выполнения системы, ошибки планирования и координации и ошибки, специфичные для домена.
«В отличие от LLM в качестве судьи, сам Percival является агентом, и поэтому он может отслеживать все события, которые произошли на протяжении всей траектории», — объяснил Даршан Дешпанде, исследователь Patronus AI. «Это может сопоставить их и найти эти ошибки в разных контекстах».
Для предприятий наиболее непосредственной выгодой, по -видимому, является сокращение времени отладки. Согласно Patronus, ранние клиенты сократили время, потраченное на анализ рабочих процессов агента примерно от одного часа до одного до 1,5 минут.
Trail Benchmark раскрывает критические пробелы в возможностях надзора
Наряду с запуском продукта, Patronus выпускает эталон под названием Trail (Trace Supplying и Agentic Localization), чтобы оценить, насколько хорошо системы могут обнаружить проблемы в рабочих процессах агента AI.
Исследования с использованием этого эталона показали, что даже сложные модели искусственного интеллекта борются с эффективным анализом трассировки, причем наиболее эффективная система набрала только 11% на эталон.
Результаты подчеркивают сложный характер мониторинга сложных систем ИИ и могут помочь объяснить, почему крупные предприятия инвестируют в специализированные инструменты для надзора с ИИ.
Руководители ИИ предприятия принимают Персиваль для критически важных заявок
Ранние последователи включают в себя AME AME, который собрал примерно 100 миллионов долларов США в качестве финансирования и разрабатывает системы, где агенты искусственного интеллекта могут создавать и управлять другими агентами.
«Недавний прорыв Emergence-агенты, создающие агентов,-заставляет ключевой момент не только в эволюции адаптивных, самогенерирующих систем, но и в том, как такие системы управляются и масштабируются ответственно»,-сказала Сатья Нитта, соучредитель и генеральный директор Emerge AI, в заявлении, посланном в VentureBeat.
NOVA, еще один ранний клиент, использует технологию для платформы, которая помогает крупным предприятиям перенести унаследованный код с помощью интеграции SAP с AI.
Эти клиенты типизируют задачу, которую Percival стремится решить. По словам Каннаппана, некоторые компании в настоящее время управляют системами агентов с «более 100 шагами в одном каталоге агента», создавая сложность, которая намного превышает то, что человеческие операторы могут эффективно контролировать.
Рынок управления ИИ, готовый к взрывному росту в качестве автономных систем, размножается
Запуск поступает на фоне растущих предприятий по поводу надежности и управления ИИ. По мере того, как компании развертывают все более автономные системы, потребность в инструментах надзора росла пропорционально.
«Что сложно, так это то, что системы становятся все более автономными», — отметил Каннаппан, добавив, что «миллиарды строк кода генерируются в день с использованием ИИ», создавая среду, в которой надзор за ручным управлением становится практически невозможным.
Ожидается, что рынок инструментов мониторинга и надежности ИИ будет значительно расширяться, поскольку предприятия переходят от экспериментальных развертываний к критически важным приложениям ИИ.
Percival интегрируется с несколькими фреймворками ИИ, в том числе обнимающими лицом лицом к лицу, Pydantic AI, Apenai Agent SDK и Langchain, что делает его совместимым с различными средами разработки.
В то время как Patronus AI не раскрыл цены или прогнозы доходов, акцент компании на надзоре за корпоративным уровнем предполагает, что она позиционирует себя для рынка безопасности ИИ с высокой маргинами, который, как прогнозируют аналитики, будет существенно расти при ускорении принятия искусственного интеллекта.
Источник
