Google представила новую функцию под названием 'Компьютерный контроль', которая предназначена для автоматизации приложений Android. Эта инициатива в значительной степени нацелена на использование агентных AI технологий для управления телефонами и другими устройствами на базе Android. Идея полностью автоматизированных приложений казалась далекой мечтой, но теперь становится ближе к реальности благодаря проекту Astra и другим исследовательским усилиям компании.
Разработка и возможности
Проект Astra, например, смог продемонстрировать работоспособность AI-агента, который самостоятельно находил документы онлайн и осуществлял поиск видео на YouTube. Основные трудности при этом были связаны с медленной скоростью работы и подверженностью прерыванию извне — от уведомлений до входящих звонков. Чтобы справиться с этими вызовами, Google теперь развивает структуру 'Computer Control', которая стандартизирует автоматизированное управление приложениями Android в фоновом режиме.
Эта структура основана на 'Virtual Display Manager' (VDM), сервисе, введенном в Android 13, который позволяет создавать виртуальные дисплеи, отделенные от главного видимого дисплея. VDM уже поддерживает потоковую передачу приложений на другие устройства и работу с виртуальными камерами. Таким образом, в 'Computer Control' сессиях приложения выполняются на доверенном виртуальном дисплее с виртуальными входными устройствами для сенсорного и клавишного ввода.
Computer control: Google's new automation solution
Безопасность и доступ
Для использования 'Компьютерного контроля' необходимо специальное разрешение ACCESS_COMPUTER_CONTROL, которое предоставляется только приложениям с определенным сертификатом, одобренным в системе. Даже после получения разрешения, пользователи должны явно подтверждать каждую сессию 'Компьютерного контроля'. Это обеспечивает высокий уровень безопасности и защищенности от возможных злоупотреблений в фоне. Более того, система может ограничить сессию, чтобы автоматизированный клиент не мог запускать или взаимодействовать с другими приложениями.
Пока многие аспекты остаются неясными, включая возможность удалённой или локальной работы автоматизации. Удалённое управление позволит взаимодействие через ПК или сервер, тогда как локальная автоматизация обеспечит больше конфиденциальности, хотя потребует больше ресурсов устройства. Однако, независимо от подхода, 'Компьютерный контроль' предлагает значительные улучшения в области автоматизации и доступности, открывая новые перспективы для пользователей Android.
