Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Исследователи из Fair Team Meta и Еврейского университета Иерусалима обнаружили, что заставляя крупные языковые модели «мыслить» меньше, фактически улучшает их эффективность в сложных рассуждающих задачах.
Исследование, опубликованное сегодня, показало, что более короткие процессы рассуждений в системах искусственного интеллекта приводят к более точным результатам, при этом значительно снижая вычислительные затраты.
«В этой работе мы бросаем вызов предположению, что долгие цепочки мышления приводят к лучшим возможностям рассуждений», — написать авторов в своей статье под названием «Не задумывайтесь над этим. Предпочитая более короткие цепочки мышления для улучшения рассуждений LLM.
Исследование противоречит преобладающей тенденции в разработке искусственного интеллекта, где компании в значительной степени инвестировали в масштабирование вычислительных ресурсов, чтобы модели могли выполнять обширные рассуждения с помощью длинных «мыслительных цепочек»-подробных пошаговых траекторий, которые системы ИИ используют для решения сложных задач.
Точность ИИ подпрыгивает на 34%, когда модели используют более короткие сети рассуждений
Исследователи обнаружили, что в рамках одной и той же аргументированной задачи «более короткие цепочки рассуждений значительно чаще дают правильные ответы — на 34,5% точнее, чем самая длинная цепь, отобранная для того же вопроса». Этот вывод справился с несколькими ведущими моделями ИИ и тестами.
«Несмотря на демонстрацию впечатляющих результатов, (обширные рассуждения) вызывает значительные вычислительные затраты и время вывода», — отмечают авторы, указывая на существенную неэффективность в том, как эти системы в настоящее время развернуты.
Основываясь на этих выводах, команда разработала новый подход под названием «Short-M@K», который выполняет несколько попыток рассуждения параллельно, но останавливает вычисления после завершения первых нескольких процессов. Окончательный ответ затем выбирается через большинство голосования среди этих более коротких цепей.
Новый метод ‘short-m@k’ сокращает затраты на вычисление на 40% при повышении производительности
Для организаций, развертывающих крупные системы рассуждений с ИИ, последствия могут быть существенными. Исследователи обнаружили, что их метод может снизить вычислительные ресурсы до 40% при сохранении того же уровня производительности, что и стандартные подходы.
«Short-3@K, хотя и немного менее эффективен, чем Short-1@K, последовательно превосходит голосование большинства во всех вычислительных бюджетах, и в то же время существенно быстрее (сокращение времени на стену до 33%)»,-говорится в бумаге.
Майкл Хассид, ведущий автор газеты, и его команда также обнаружили, что обучение моделей искусственного интеллекта по более коротким примерам рассуждений улучшило их результаты — бросая вызов другому фундаментальному предположению в разработке ИИ.
«Обучение на более коротких, приводит к лучшей производительности», — пишут исследователи. «И наоборот, создание на S1-длине увеличивает время рассуждения без значительного повышения производительности».
Технические гиганты могут сэкономить миллионы, внедрив подход «Не задумываться над этим»
Результаты приходят в критическое время для индустрии ИИ, поскольку компании участвуют в развертывании все более мощных моделей, которые потребляют огромные вычислительные ресурсы.
«Наши результаты показывают, что переосмыслить текущие методы вычисления времени испытания в рассуждениях LLMS, подчеркивая, что более длительное« мышление »не обязательно переводится на повышение производительности и может, противоречально, привести к деградированным результатам»,-заключают исследователи.
«Это исследование противоречит другим заметным подходам. Предыдущие влиятельные исследования, в том числе работа Openai по методам «цепочки мыслей» и «самосогласованности», обычно выступают за более обширные процессы рассуждений. Это также основывается на недавней работе, такой как Princeton и Google DeepMind’s Framework «Дерево мыслей» и методологию «саморефина» Карнеги Меллона, которые изучали различные подходы к рассуждениям искусственного интеллекта.
Для тех, кто принимает технические решения, оценивающие инвестиции в области искусственного интеллекта, исследование предполагает, что более крупные и более интенсивные вычислительны не всегда лучше. Исследование указывает на потенциальную экономию затрат и улучшение производительности путем оптимизации для эффективности, а не для необработанной вычислительной мощности.
В отрасли, одержимой масштабированием, оказывается, что обучение ИИ быть более кратким не только сохраняет вычислительную мощность — это делает машины более умными. Иногда даже искусственный интеллект извлекает выгоду из вековой мудрости: не задумывайтесь над ней.
Источник
