Exo — бесплатная утилита для распределённого запуска ИИ-моделей, теперь доступна пользователям. Она разрабатывалась с целью оптимизации вычислительных ресурсов, что позволяет использовать несколько устройств—включая смартфоны и Raspberry Pi—для запуска моделей.
Как Exo облегчает запуск ИИ на устройствах
Поддерживаемые модели и технические требования
Программа Exo работает с крупными языковыми моделями такими, как LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Она требует установки на устройствах под управлением Linux, macOS, Android или iOS, но версии для Windows пока нет. Для функционирования необходим Python 3.12.0 и дополнительные компоненты для Linux с графическими картами Nvidia.
Особенности и ограничения
Exo позволяет запускать модели, требующие 16 Гбайт оперативной памяти, на двух ноутбуках с 8 Гбайт. DeepSeek R1, требующий 1,3 Тбайт, можно распределить по 170 Raspberry Pi 5. Однако, сеть и задержки могут снижать эффективность. При этом добавление устройств позволяет увеличить общую производительность.
Риски и перспективы
Риск безопасности остаётся важным фактором при использовании Exo для совместного выполнения задач на нескольких устройствах. Несмотря на это, Exo демонстрирует себя как перспективная альтернатива для облачных ресурсов, предоставляя пользователям больше гибкости и экономии затрат.
