Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Исследователи в Alibaba Group разработали новый подход, который может значительно снизить стоимость и сложность обучающих систем ИИ для поиска информации, что вообще устраняет необходимость в дорогих коммерческих поисковых системах.
Техника, называемая «Zerosearch», позволяет крупным языковым моделям (LLMS) разрабатывать расширенные возможности поиска с помощью подхода к моделированию, а не взаимодействовать с реальными поисковыми системами во время учебного процесса. Это инновация может сэкономить компании значительные расходы API, предлагая лучше контролировать, как системы ИИ учатся получать информацию.
«Обучение обучению подкреплению (RL) требует частых развертываний, что потенциально включает в себя сотни тысяч поисковых запросов, которые несут существенные расходы API и строго ограничивают масштабируемость», — пишут исследователей в своей статье, опубликованной на ARXIV на этой неделе. «Чтобы решить эти проблемы, мы вводим ZeroSearch, подкрепляющую структуру обучения, которая стимулирует возможности поиска LLMS без взаимодействия с реальными поисковыми системами».
Alibaba только что сбросил Zerosearch на обнимающемся лице
— AK (@_akhaliq) 8 мая 2025 года
Стимулировать возможности поиска LLMS без поиска pic.twitter.com/qfnijno3lh
Как Zerosearch Trains AI для поиска без поисковых систем
Проблема, которую решает Zerosearch, является значительной. Компании, разрабатывающие помощников искусственного интеллекта, которые могут автономно искать информацию, сталкиваются с двумя основными проблемами: непредсказуемое качество документов, возвращаемых поисковыми системами во время обучения, и чрезмерно высокие затраты на то, чтобы сделать сотни тысяч вызовов API в коммерческие поисковые системы, такие как Google.
Подход Alibaba начинается с легкого контролируемого процесса тонкой настройки для преобразования LLM в модуль поиска, способный генерировать как соответствующие, так и не относящиеся к делу документы в ответ на запрос. Во время обучения в области подкрепления система использует то, что исследователи называют «стратегией развертывания на основе учебных программ», которая постепенно снижает качество генерируемых документов.
«Наше ключевое понимание заключается в том, что LLMS приобрели обширные мировые знания во время крупномасштабной предварительной подготовки и способны создавать соответствующие документы, учитывая поисковый запрос»,-объясняют исследователи. «Основная разница между реальной поисковой системой и моделированием LLM заключается в текстовом стиле возвращаемого контента».
Опережать Google за долю от стоимости
В комплексных экспериментах в семи наборах данных с вопросами, ZeroSearch не только соответствует, но часто превзошел производительность моделей, обученных реальными поисковыми системами. Примечательно, что модуль поиска 7B-параметра достиг производительности, сравнимой с поиском Google, в то время как модуль 14B-параметра даже превзошел его.
Экономия затрат существенна. Согласно анализу исследователей, обучение с приблизительно 64 000 поисковых запросов с использованием Google Search через Serpapi будет стоить около 586,70 долл. США, одновременно используя LLM с 14B-параметром на четырех графических процессорах A100 всего 70,80 долл. США-сокращение на 88%.
«Это демонстрирует осуществимость использования хорошо обученного LLM в качестве замены реальных поисковых систем в настройках обучения подкрепления»,-отмечает в статье.
Что это значит для будущего развития ИИ
Этот прорыв является серьезным сдвигом в том, как можно обучать системы ИИ. Zerosearch показывает, что ИИ может улучшиться без в зависимости от внешних инструментов, таких как поисковые системы.
Воздействие может быть существенным для индустрии ИИ. До сих пор обучение передовым системам ИИ часто требовало дорогостоящих вызовов API для услуг, контролируемых крупными технологическими компаниями. Zerosearch изменяет это уравнение, позволяя ИИ моделировать поиск вместо использования реальных поисковых систем.
Для небольших компаний ИИ и стартапов с ограниченными бюджетами этот подход может выровнять игровое поле. Высокие затраты на вызовы API стали основным препятствием для развития сложных помощников искусственного интеллекта. Сокращая эти затраты почти на 90%, Zerosearch делает расширенное обучение искусственному интеллекту.
Помимо экономии затрат, этот метод дает разработчикам больше контроля над процессом обучения. При использовании реальных поисковых систем качество возвращаемых документов непредсказуемо. При смоделированном поиске разработчики могут точно контролировать, какую информацию ИИ видит во время обучения.
Техника работает в нескольких модельных семействах, включая QWEN-2,5 и Llama-3.2, а также с базовыми и настраиваемыми инструкциями. Исследователи сделали свой код, наборы данных и предварительно обученные модели, доступные на GitHub и обнимающееся лицо, позволяя другим исследователям и компаниям реализовать этот подход.
Поскольку модели крупных языков продолжают развиваться, такие методы, как Zerosearch, предполагают будущее, в котором системы ИИ могут разрабатывать все более сложные возможности посредством самоопределения, а не полагаться на внешние услуги-потенциально изменение экономики развития ИИ и снижения зависимости от крупных технологических платформ.
Ирония ясна: при обучении ИИ поиску без поисковых систем Alibaba, возможно, создала технологию, которая делает традиционные поисковые системы менее необходимыми для разработки ИИ. По мере того, как эти системы становятся более самодостаточными, технологический ландшафт может выглядеть очень иначе всего за несколько лет.
Источник
