Энтузиасты технологии могут воспользоваться новой утилитой Exo, которая вышла для распределённого запуска ИИ-моделей на разнообразных устройствах, включая персональные компьютеры, смартфоны и Raspberry Pi.
Distributed AI deployment on any device: how it works
Как работает утилита
Exo использует принцип одноранговой сети для объединения вычислительных ресурсов нескольких устройств. Программа динамически распределяет слои модели в зависимости от доступной памяти и вычислительной мощности. Это позволяет запускать даже большие модели, такие как LLaMA и DeepSeek, на сетях из более скромных устройств.
- Требования: Exo работает на Linux, macOS, Android и iOS, но не поддерживает Windows.
- Мин. требования: Python 3.12, с дополнительными компонентами для Linux с Nvidia GPU.
- Поддерживаемые модели: LLaMA, Mistral, LlaVA, Qwen, DeepSeek.
Практическое применение и ограничения
На практике Exo может запускать модель, требующую 16 Гбайт ОЗУ, на двух ноутбуках с 8 Гбайт каждый. DeepSeek потребляет 1,3 Тбайт ОЗУ и теоретически может быть запущен на кластере из 170 Raspberry Pi 5.
Скорость сети и задержки могут снизить качество работы, а более слабые устройства замедлют инференс. Также возможны риски безопасности при обработке задач совместно. Программа рассматривается как альтернатива облачным ресурсам.
Комментарии (0)