Разработчики представили Exo, утилиту для распределённого запуска ИИ‑моделей, которая объединяет устройства в единую вычислительную сеть. Программа позволяет запускать модели на компьютерах, смартфонах и одноплатных системах, таких как Raspberry Pi, используя для этого одноранговую сеть.
Технические особенности Exo
Exo позволяет динамически распределять вычислительные нагрузки между устройствами, основываясь на их оперативной памяти и мощности процессора. Поддерживаются модели, такие как LLaMA, Mistral и DeepSeek. Системные требования включают операционные системы Linux, macOS, Android и iOS, но версия для Windows пока отсутствует. Python 3.12.0 обязателен.
- Exo объединяет устройства для выполнения ИИ-задач с распределением по сети.
- Работает на Linux, macOS и Android, требует Python 3.12.0.
- Поддерживает LLaMA, Mistral, DeepSeek и другие модели.
- Нету версии для Windows; необходимость в дополнительных компонентах для Nvidia под Linux.
Exo: распределённый запуск ИИ на разных платформах
Возможности и потенциал Exo
С помощью Exo можно запускать модели, требующие больших ресурсов, распределяя их на несколько устройств. Например, модель с 16 ГБ оперативной памяти может быть запущена на двух ноутбуках, у каждого из которых по 8 ГБ. Также мощные модели, такие как DeepSeek R1, можно распределить на кластере из множества Raspberry Pi. Однако слабые устройства или низкая скорость сети могут замедлять процессы инференса.
Разработчики предупреждают о возможных угрозах безопасности при совместной загрузке нагрузки. Несмотря на это, Exo рассматривается как перспективная альтернатива облачным ресурсам, способная облегчить запуск ИИ-моделей без высоких затрат на инфраструктуру.
