Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Поскольку предприятия все чаще стремятся создавать и развертывать генеративные приложения и услуги, работающие на AI, для внутреннего или внешнего использования (сотрудников или клиентов), один из самых сложных вопросов, с которыми они сталкиваются,-это понимание того, насколько хорошо эти инструменты ИИ работают в дикой природе.
Фактически, недавний опрос консалтинговой фирмы McKinsey и компании показал, что только 27% из 830 респондентов заявили, что их предприятия рассмотрели все результаты своих генеративных систем ИИ, прежде чем они отправились пользователям.
Если пользователь фактически не записывает в отчет о жалобах, как компания узнает, ведет ли его продукт AI, как и ожидалось и планировалось?
Raindrop, ранее известный как Dawn AI, является новым стартапом, занимающимся вызовом, позиционирующим себя как первую платформу наблюдения, специально предназначенная для ИИ в производстве, улавливая ошибки по мере их возникновения, и объясняя предприятиям, что пошло не так и почему. Цель? Помогите решить так называемую «проблему черного ящика» генеративного ИИ.
«Продукты искусственного интеллекта постоянно терпят неудачу-в последнее время как веселые, так и ужасные»,-написал соучредитель Бен Хилак на X,-«Регулярное программное обеспечение бросает исключения. Но продукты AI не смогут тихо».
Raindrop стремится предложить любой инструмент, определяющий категорию, похожий на то, что Sentry Company Sentry делает для традиционного программного обеспечения.
Но в то время как традиционные инструменты отслеживания исключений не отражают нюансированные неправильные поведения крупных языковых моделей или компаньонов AI, Rainrop пытается заполнить дыру.
«В традиционном программном обеспечении у вас есть такие инструменты, как Sentry и DataDog, чтобы рассказать вам, что происходит в производстве», — сказал он VentureBeat в интервью видео по вызову на прошлой неделе. «С ИИ ничего не было».
До сих пор — конечно.
Как работает дождь
Raindrop предлагает набор инструментов, которые позволяют командам на предприятиях большие и малые обнаружить, анализировать и реагировать на проблемы искусственного интеллекта в режиме реального времени.
Платформа находится на пересечении взаимодействий пользователей и выходов моделей, анализируя шаблоны в сотнях миллионов ежедневных событий, но делая это с включенным шифрованием SOC-2, защищая данные и конфиденциальность пользователей и компании, предлагающая решение AI.
«Дождь сидит там, где пользователь», — объяснил Хайлак. «Мы анализируем их сообщения, плюс сигналы, такие как большие пальцы вверх/вниз, строительство ошибок, или они развернули выход, чтобы сделать вывод, что на самом деле идет не так».
Raindrop использует конвейер машинного обучения, который сочетает в себе суммирование LLM с меньшими классификаторами, оптимизированными для масштаба.
«Наш трубопровод ML — один из самых сложных, которые я видел», — сказал Хайлак. «Мы используем большие LLMS для ранней обработки, а затем обучаем небольшие, эффективные модели для работы в масштабе по сотням миллионов событий в день».
Клиенты могут отслеживать такие показатели, как разочарование пользователя, сбои задач, отказы и провалы памяти. Raindrop использует сигналы обратной связи, такие как палец вниз, исправления пользователей или последующее поведение (например, неудачные развертывания) для выявления проблем.
Соучредитель и генеральный директор Raindrop Zubin Singh Koticha заявил Venturebeat в том же интервью, что, хотя многие предприятия полагались на оценки, контрольные показатели и модульные тесты для проверки надежности своих решений для искусственного интеллекта, было очень мало предназначено для проверки результатов искусственного интеллекта во время производства.
«Представьте себе в традиционном кодировании, если вы говорите:« О, мое программное обеспечение проходит десять модульных тестов. Это здорово. Это надежный программный предприятие ». Это, очевидно, не так, как это работает », — сказал Котича. «Это аналогичная проблема, которую мы пытаемся решить здесь, где в производстве на самом деле не так много, что говорит вам: это работает очень хорошо? Это сломано или нет? И вот где мы вписываемся».
Для предприятий в высокорегулируемых отраслях или для тех, кто ищет дополнительные уровни конфиденциальности и контроля, Raindrop предлагает уведомление, полностью локальную, первичную конфиденциальность платформы, предназначенную на предприятия со строгими требованиями к обработке данных.
В отличие от традиционных инструментов регистрации LLM, Notify выполняет редакцию как клиентскую сторону через SDK, так и на стороне сервера с семантическими инструментами. В нем нет постоянных данных и сохраняет всю обработку в инфраструктуре клиента.
Raindrop Notify предоставляет ежедневные резюме использования и всплывание проблем с высоким сигналом непосредственно в таких инструментах на рабочем месте, как Slack и команды,-без необходимости регистрации облака или сложных настройки DevOps.
Усовершенствованная идентификация ошибок и точность
Определение ошибок, особенно с моделями ИИ, далеко не просто.
«Что трудно в этом пространстве, так это то, что каждое приложение ИИ отличается», — сказал Хайлак. «Один клиент может построить инструмент для электронных таблиц, другой — инопланетный компаньон. То, как выглядит« сломанный », сильно варьируется между ними». Эта изменчивость заключается в том, почему система Raindrop адаптируется к каждому продукту индивидуально.
Каждый мониторы Rainprop Product Product рассматриваются как уникальные. Платформа изучает форму данных и норм поведения для каждого развертывания, а затем создает онтологию динамической проблемы, которая развивается с течением времени.
«Raindrop изучает паттерны данных каждого продукта», — объяснил Хайлак. «Это начинается с высокоуровневой онтологии общих проблем ИИ-таких, как лень, провалы памяти или разочарование пользователя-и затем адаптирует их к каждому приложению».
Будь то помощник по кодированию, который забывает переменную, инопланетный компаньон ИИ, который внезапно называет себя человеком из США, или даже чат -бот, который начинает случайным образом выражать заявления о «белом геноциде» в Южной Африке, дождь нацелен на поверхность этих проблем с действующим контекстом.
Уведомления предназначены для того, чтобы быть легкими и своевременными. Команды получают предупреждения команды Slack или Microsoft, когда обнаруживается что -то необычное, в комплекте с предложениями о том, как воспроизводить проблему.
Со временем это позволяет разработчикам искусственного интеллекта исправлять ошибки, уточнить подсказки или даже определять системные недостатки в том, как их приложения реагируют на пользователей.
«Мы классифицируем миллионы сообщений в день, чтобы найти такие проблемы, как разбитые загрузки или жалобы пользователей», — сказал Хайлак. «Это все о всесторонних схемах, достаточно сильных и достаточно конкретных, чтобы гарантировать уведомление».
От помощника до дождя
История происхождения компании основана на практическом опыте. Хилак, который ранее работал дизайнером интерфейса человека в Visionos в Apple и Avionics Software Engineering в SpaceX, начал исследовать ИИ после встречи с GPT-3 в первые дни в 2020 году.
«Как только я использовал GPT-3-просто простое завершение текста-он взорвал меня»,-вспоминает он. «Я сразу подумал:« Это изменит то, как люди взаимодействуют с технологиями ».
Наряду с коллегами-соучредителями Котича и Алексис Гауба, Hylak первоначально построил Sidekick, расширение кода VS с сотнями платных пользователей.
Но строительство Sidekick выявила более глубокую проблему: отладка продуктов искусственного интеллекта в производстве была практически невозможна с доступными инструментами.
«Мы начали с создания продуктов ИИ, а не инфраструктуры», — пояснил Хайлак. «Но довольно быстро, мы увидели, что для того, чтобы выращивать что -то серьезное, нам нужно было инструментировать, чтобы понять поведение искусственного интеллекта — и этого инструмента не было».
То, что началось как раздражение, быстро превратилось в основное внимание. Команда развернулась, создавая инструменты, чтобы разобраться в поведении продукта искусственного интеллекта в реальных условиях.
В процессе они обнаружили, что они не одиноки. Многие компании по искусственному искусству не имели видимости в том, что на самом деле испытывали их пользователи и почему все сломалось. С этим родился Raindrop.
Цены, дифференциация и гибкость Raindrop привлекли широкий спектр начальных клиентов
Цены на Raindrop предназначены для размещения команд разных размеров.
Стартовый план доступен по цене 65 долларов в месяц, с дозированными ценами на использование. Профессиональный уровень, который включает в себя пользовательское отслеживание тем, семантическое поиск и функции в Prem, начинается с 350 долларов в месяц и требует прямого участия.
В то время как инструменты наблюдения не являются новыми, большинство существующих вариантов были построены до появления генеративного ИИ.
Raindrop отделяется, будучи родственным с нуля. «Raindrop является AI-родным»,-сказал Хайлак. «Большинство инструментов наблюдения были созданы для традиционного программного обеспечения. Они не были предназначены для обработки непредсказуемости и нюансов поведения LLM в дикой природе».
Эта специфика привлекла растущий набор клиентов, в том числе команды на Clay.com, Tolen и New Computer.
Клиенты Raindrop охватывают широкий спектр вертикалей ИИ — от инструментов генерации кода до иммерсивных компаньонов рассказывания историй ИИ — каких -либо требуют различных линз о том, как выглядит «неправильное поведение».
Родился от необходимости
Возвышение Raindrop иллюстрирует, как инструменты для создания ИИ должны развиваться вместе с самими моделями. Поскольку компании поставляют больше функций с AI, наблюдаемость становится важной-не просто для измерения производительности, но и для обнаружения скрытых сбоев, прежде чем пользователи будут их обострить.
По словам Hylak, Raindrop делает для AI, что Sentry сделал для веб -приложений — за исключением ставок теперь включает галлюцинации, отказы и смещенные намерения. Благодаря тому, что Raindrop делает ставку на переизбывание и расширение продукта, делает ставку на то, что следующее поколение программного обеспечения будет AI-Prirst по дизайну.
Источник
