Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Liquid AI, стартап, сформированный бывшими исследователями Массачусетского технологического института (MIT) для разработки новых модельных архитектур ИИ за пределами широко используемых трансформаторов, сегодня объявил о выпуске платформы Liquid Edge AI (LEAP). Кроссплатформенный комплект разработки программного обеспечения (SDK) предназначен для того, чтобы разработчикам было легче интегрировать модели малых языков (SLM) непосредственно в мобильные приложения.
Наряду с LEAP компания также представила Apollo, компаньон-приложение для iOS для тестирования моделей на местном уровне, что способствовало миссии Liquid AI, обеспечивающей эффективное ИИ, сохраняющее конфиденциальность, на оборудовании для потребителей.
Leap SDK прибывает в то время, когда многие разработчики ищут альтернативы услугам только облачного искусственного интеллекта из-за опасений по поводу задержки, затрат, конфиденциальности и доступности в автономном режиме.
LEAP удовлетворяет эти потребности в лодке с подходом, который позволяет небольшим моделям работать непосредственно на устройстве, снижая зависимость от облачной инфраструктуры.
Создан для мобильных разработчиков без предварительного опыта ML
LEAP предназначен для разработчиков, которые хотят построить с ИИ, но, возможно, не обладают глубоким опытом в области машинного обучения (ML).
Согласно Liquid AI, SDK может быть добавлен в проект iOS или Android с несколькими линиями кода, а призвание вызовы локальной модели предназначено для того, чтобы чувствовать себя так же знакомо, как взаимодействие с традиционным облачным API.
«Наше исследование показывает, что разработчики выходят за рамки AI только для облака и ищут доверенных партнеров, которые помогут им построить настройки»,-сказал Рамин Хасани, соучредитель и генеральный директор Liquid AI Рамин Хасани. «Leap-это наш ответ-гибкая, сквозной платформы развертывания, созданная с нуля, чтобы сделать мощный, эффективный и частный AI по-настоящему доступным».
После интеграции разработчики могут выбрать модель из встроенной библиотеки моделей скачков, которая включает компактные модели, составляющие 300 МБ-достаточно легкий для современных телефонов, всего лишь 4 ГБ оперативной памяти (!!) и вверх.
SDK обрабатывает локальный вывод, оптимизацию памяти и совместимость устройства, упрощая типичный процесс развертывания краев.
Leap- это OS- и модель-алкоголь по дизайну. При запуске он поддерживает как iOS, так и Android и предлагает совместимость с собственными моделями Liquid AI (LFM) от Liquid AI, а также множеством популярных небольших моделей с открытым исходным кодом.
Цель: объединенная экосистема для Edge AI
Помимо выполнения модели, прыжок позиционирует себя как платформу «Все в одном» для обнаружения, адаптации, тестирования и развертывания SLM для использования краев.
Разработчики могут просмотреть каталог кураторских моделей с различными параметрами квантования и контрольной точки, что позволяет им адаптировать производительность и следы памяти к ограничениям целевого устройства.
Liquid AI подчеркивает, что крупные модели, как правило, являются универсалами, в то время как небольшие модели часто работают лучше всего, когда они оптимизируются для узкого набора задач. Объединенная система Leap структурирована вокруг этого принципа, предлагая инструменты для быстрой итерации и развертывания в реальных мобильных средах.
SDK также поставляется с сообществом разработчиков, организованном на Discord, где Liquid AI предлагает рабочее время, поддержку, мероприятия и соревнования, чтобы поощрять эксперименты и обратную связь.
Аполлон: Как и Testflight для местных моделей искусственного интеллекта
Чтобы дополнить LEAP, Liquid AI также выпустил Apollo, бесплатное приложение для iOS, которое позволяет разработчикам и пользователям взаимодействовать с LEAP-совместимыми моделями в локальной, автономной настройке.
Первоначально отдельный стартап мобильного приложения, который позволял пользователям общаться с LLMS в частном порядке на своем устройстве, которое Liquid приобрело ранее в этом году, Apollo был восстановлен, чтобы поддержать всю библиотеку моделей Leap.
Apollo предназначен для экспериментов с низким содержанием фонариков-разработчики могут «проверить» тонус, задержка или выходное поведение модели на своих телефонах, прежде чем интегрировать его в производственное приложение. Приложение работает полностью в автономном режиме, сохраняя конфиденциальность пользователей и снижает зависимость от Cloud Compute.
Будь то используемый в качестве легкого инструмента Dev или частного помощника искусственного интеллекта, Apollo отражает более широкий толчок жидкого ИИ, чтобы децентрализовать доступ и выполнение искусственного интеллекта.
Построенный на задней части семейства моделей LFM2, объявленного на прошлой неделе
Выпуск Leap SDK основан на объявлении LFM2 от LFM2 от LFM2, его модельного семейства второго поколения, разработанного специально для рабочих нагрузок на устройстве.
Модели LFM2 составляют размеры параметров 350 м, 700 м и 1,2B и конкурентно сравнивают с более крупными моделями в скорости и точности в нескольких задачах оценки.
Эти модели формируют основу библиотеки модели прыжков и оптимизированы для быстрого вывода на процессоров, графических процессоров и NPU.
Бесплатно и готовы к разработчикам, чтобы начать строить
LEAP в настоящее время может использоваться в рамках лицензии разработчика, которая включает в себя основную SDK и модельную библиотеку.
Liquid AI отмечает, что в будущем функции премиального предприятия будут доступны по отдельной коммерческой лицензии, но что он уже получает запросы от корпоративных клиентов уже через контактную форму веб -сайта.
Модели LFM2 также бесплатны для академического использования и коммерческого использования компаниями с доходами менее 10 миллионов долларов; Крупные организации обязаны связаться с компанией для лицензирования.
Разработчики могут начать с посещения веб -сайта Leap SDK, загрузив Apollo из App Store или присоединившись к сообществу разработчиков Liquid AI по Discord.
Источник
