Присоединяйтесь к нашим ежедневным и еженедельным информационным бюллетеням для последних обновлений и эксклюзивного контента в лидирующем отраслевом освещении искусственного интеллекта. Узнать больше
Google тихо выпустил экспериментальное приложение для Android, которое позволяет пользователям запускать сложные модели искусственного интеллекта непосредственно на своих смартфонах, не требуя подключения к Интернету, отмечая значительный шаг в стремлении компании к Edge Computing и конфиденциальности, ориентированным на конфиденциальность.
Приложение, называемое галереей AI Edge, позволяет пользователям загружать и выполнять модели искусственного интеллекта с популярной платформы Hugging Face полностью на своих устройствах, что обеспечивает такие задачи, как анализ изображений, генерация текста, помощь в кодировании и разговоры с несколькими поворотами, сохраняя при этом все обработки данных локальными.
Приложение, опубликованное по лицензии Apache 2.0 с открытым исходным кодом и доступно через GitHub, а не в официальных магазинах приложений, представляет собой последние усилия Google по демократизации доступа к расширенным возможностям ИИ при решении растущих проблем конфиденциальности в отношении облачных услуг искусственного интеллекта.
«Галерея Google Ai Edge-это экспериментальное приложение, которое вкладывает силу передовых генеративных моделей искусственного интеллекта непосредственно в ваши руки, полностью работающие на ваших устройствах Android»,-объясняет Google в Руководстве пользователя приложения. «Погрузитесь в мир творческих и практических вариантов использования ИИ, все они работают локально, без необходимости подключения к Интернету после загрузки модели».
Как легкие модели искусственного интеллекта Google обеспечивают производительность на уровне облака на мобильных устройствах
Приложение создается на платформе Google Litert, ранее известной как Tensorflow Lite, и MediaPipe Frameworks, которые специально оптимизированы для запуска моделей ИИ на мобильных устройствах с ограниченными ресурсами. Система поддерживает модели из нескольких структур машинного обучения, включая JAX, Keras, Pytorch и Tensorflow.
В основе предложения лежит модель Google Gemma 3, компактная языковая модель 529-мегабайта, которая может обрабатывать до 2585 токенов в секунду во время предварительного вывода на мобильных графических процессорах. Эта производительность обеспечивает времена отклика в субсекунде для таких задач, как генерация текста и анализ изображений, что делает опыт сопоставимым с облачными альтернативами.
Приложение включает в себя три основных возможностей: AI Chat для разговоров с несколькими разворотами, запросить изображение для визуального ответа на вопросы и приглашение к лаборатории для задач с одним поворотом, таких как суммирование текста, генерация кода и переписывание контента. Пользователи могут переключаться между различными моделями для сравнения производительности и возможностей, при этом тесты в реальном времени показывают такие показатели, как время до первого отростка и скорость декодирования.
«Квантование Int4 сокращает размер модели до 4x по сравнению с BF16, уменьшая использование и задержку памяти», — отметил Гугл в технической документации, ссылаясь на методы оптимизации, которые делают более крупные модели возможными на мобильном оборудовании.
Почему обработка искусственного интеллекта на границе может революционизировать конфиденциальность данных и безопасность предприятия
Локальный подход обработки рассматривает растущую обеспокоенность по поводу конфиденциальности данных в приложениях искусственного интеллекта, особенно в промышленности, обрабатывающих конфиденциальную информацию. Сохраняя данные на границе, организации могут поддерживать соответствие правилам конфиденциальности, используя возможности ИИ.
Этот сдвиг представляет собой фундаментальное переосмысление уравнения конфиденциальности ИИ. Вместо того, чтобы рассматривать конфиденциальность как ограничение, которое ограничивает возможности искусственного интеллекта, обработка обработки на устройстве превращает конфиденциальность в конкурентное преимущество. Организациям больше не нужно выбирать между мощным ИИ и защитой данных — они могут иметь оба. Устранение сетевых зависимостей также означает, что прерывистая связь, традиционно основное ограничение для приложений ИИ, становится неактуальным для основной функциональности.
Подход особенно ценен для таких секторов, как здравоохранение и финансы, где требования к чувствительности к данным часто ограничивают принятие AI Cloud. Полевые приложения, такие как диагностика оборудования и сценарии удаленных рабочих мест, также выигрывают от автономных возможностей.
Тем не менее, переход к обработке на устройстве вводит новые соображения безопасности, которые организации должны решить. Хотя сами данные становятся более безопасными, никогда не покидая устройство, фокус смещается на защиту самих устройств и моделей ИИ, которые они содержат. Это создает новые векторы атаки и требует различных стратегий безопасности, чем традиционные облачные развертывания ИИ. Организации теперь должны рассмотреть возможность управления парком устройств, проверку целостности модели и защиты от состязательных атак, которые могут поставить под угрозу локальные системы ИИ.
Стратегия платформы Google направлена на доминирование Apple и Qualcomm Mobile AI
Движение Google происходит на фоне усиления конкуренции в мобильном пространстве ИИ. Нейронный двигатель Apple, встроенный через iPhone, iPad и Mac, уже поддерживает языковую обработку в реальном времени и вычислительную фотографию на грани. Двигатель AI Qualcomm, встроенный в чипсы Snapdragon, приводит к распознаванию голоса и интеллектуальными помощниками в смартфонах Android, в то время как Samsung использует встроенные единицы нейронной обработки на устройствах Galaxy.
Тем не менее, подход Google значительно отличается от конкурентов, сосредотачиваясь на инфраструктуре платформы, а не на собственных функциях. Вместо того, чтобы конкурировать непосредственно на конкретных возможностях ИИ, Google позиционирует себя как основной уровень, который обеспечивает все мобильные приложения ИИ. Эта стратегия повторяет успешную платформу, играющую из истории технологий, где контроль инфраструктуры оказывается более ценной, чем контроль отдельных приложений.
Время этой стратегии платформы особенно проницательно. По мере того, как мобильные возможности ИИ становятся коммодитизированными, реальная ценность переходит к тому, кто может предоставить инструменты, структуры и механизмы распределения, которые нуждаются в разработчиках. Благодаря открытым исходным газетам технологии и делая ее широко доступной, Google обеспечивает широкое принятие при сохранении контроля над базовой инфраструктурой, которая поддерживает всю экосистему.
Что показывает раннее тестирование в текущих проблемах и ограничениях мобильного ИИ
В настоящее время приложение сталкивается с несколькими ограничениями, которые подчеркивают его экспериментальный характер. Производительность значительно варьируется в зависимости от аппаратного обеспечения устройств, с высококлассными устройствами, такими как Pixel 8 Pro, плавно обрабатывают более крупные модели, в то время как устройства среднего уровня могут испытывать более высокую задержку.
Тестирование выявило проблемы точности с некоторыми задачами. Приложение иногда давало неверные ответы на конкретные вопросы, такие как неправильное определение количества экипажей для вымышленного космического корабля или неправильно идентификации обложек комиксов. Google признает эти ограничения, когда сам ИИ заявлял во время тестирования, что он «все еще находится в стадии разработки и все еще учится».
Установка остается громоздкой, требуя, чтобы пользователи включали режим разработчика на устройствах Android и вручную устанавливать приложение через файлы APK. Пользователи также должны создавать учетные записи обнимающихся лиц для загрузки моделей, добавляя трение в процесс адаптации.
Аппаратные ограничения выделяют фундаментальную проблему, стоящую перед мобильным ИИ: напряжение между утонченностью модели и ограничениями устройства. В отличие от облачных сред, где вычислительные ресурсы могут быть масштабированы почти бесконечно, мобильные устройства должны сбалансировать производительность искусственного интеллекта с временем автономной работы, теплового управления и ограничения памяти. Это заставляет разработчиков стать экспертами в области оптимизации эффективности, а не просто использовать необработанную вычислительную мощность.
Тихая революция, которая может изменить будущее ИИ, лежит в вашем кармане
Галерея Google Edge AI отмечает больше, чем просто еще один экспериментальный выпуск приложения. Компания произвела начальный выстрел в том, что может стать самым большим сдвигом в искусственном интеллекте, так как облачные вычисления появились два десятилетия назад. В то время как Tech Giants потратили годы, создавая массовые центры обработки данных для питания услуг искусственного интеллекта, Google теперь ставит в будущее, которое принадлежит миллиардам смартфонов, которые уже несут.
Этот шаг выходит за рамки технических инноваций. Google хочет принципиально изменить то, как пользователи относятся к своим личным данным. Удовлетворение конфиденциальности доминируют в заголовках еженедельно, а регулирующие органы по всему миру расправляются с практикой сбора данных. Сдвиг Google к местной обработке предлагает компаниям и потребителям четкую альтернативу бизнес-модели, основанной на наблюдениях, которая много лет работает в Интернете.
Google внимательно рассчитывал эту стратегию. Компании борются с правилами управления ИИ, в то время как потребители все более осторожны с конфиденциальностью данных. Google позиционирует себя как основу для более распределенной системы ИИ, а не конкурирующего лицом к лицу с тесно интегрированным аппаратным оборудованием или специализированными чипами Qualcomm. Компания строит уровень инфраструктуры, который может запустить следующую волну приложений ИИ на всех устройствах.
Текущие проблемы с приложением — сложная установка, случайные неправильные ответы и различная производительность на всех устройствах — вероятно, исчезнут, когда Google уточняет технологию. Больший вопрос заключается в том, сможет ли Google управлять этим переходом, сохраняя при этом ее доминирующее положение на рынке искусственного интеллекта.
Галерея Edge AI показывает признание Google, что централизованная модель ИИ, которую она помогла построить, не может длиться долго. Google с открытым исходным кодом своих инструментов и делает ИИ настройки широко доступным, потому что он считает, что контроль за завтрашней инфраструктурой искусственного интеллекта имеет большее значение, чем владение современными центрами обработки данных. Если стратегия работает, каждый смартфон становится частью распределенной сети ИИ от Google. Эта возможность делает это тихое запуск приложения гораздо более важным, чем предполагает его экспериментальный лейбл.
Источник
