Утилита Exo предлагает новую возможность запускать большие языковые модели на нескольких устройствах, включая компьютеры, смартфоны и Raspberry Pi. Это позволяет создавать одноранговую сеть, которая динамически распределяет модели по доступной оперативной памяти и вычислительной мощности.
Запуск языковых моделей на устройствах
Функциональность и поддержка
Exo поддерживает известные модели, такие как LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Установка приложения возможна на устройствах под управлением Linux, macOS, Android и iOS, но пока не предусмотрена поддержка Windows. Утилита требует Python версии 3.12, а для машин с графикой Nvidia, работающих под Linux, нужны дополнительные компоненты.
Примеры распределённой нагрузки
Exo позволяет запускать модели, требующие значительных ресурсов, на различных устройствах. Например, модель с требованием 16 ГБ ОЗУ может быть распределена между двумя ноутбуками с 8 ГБ каждый. DeepSeek R1, требующая 1,3 ТБ ОЗУ, может теоретически работать на кластере из 170 Raspberry Pi 5 с 8 ГБ каждый. Однако качество работы зависит от скорости сети и задержек, а слабые устройства могут замедлить систему.
Потенциальные риски и возможности
Основные риски связаны с безопасностью при совместном выполнении нагрузок. Несмотря на это, разработчики Exo считают, что приложение может стать перспективной альтернативой облачным ресурсам за счёт распределения нагрузки на локальные устройства.
Комментарии (0)