Утилита Exo предлагает новую возможность запускать большие языковые модели на нескольких устройствах, включая компьютеры, смартфоны и Raspberry Pi. Это позволяет создавать одноранговую сеть, которая динамически распределяет модели по доступной оперативной памяти и вычислительной мощности.
Запуск языковых моделей на устройствах
Функциональность и поддержка
Exo поддерживает известные модели, такие как LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Установка приложения возможна на устройствах под управлением Linux, macOS, Android и iOS, но пока не предусмотрена поддержка Windows. Утилита требует Python версии 3.12, а для машин с графикой Nvidia, работающих под Linux, нужны дополнительные компоненты.
Примеры распределённой нагрузки
Exo позволяет запускать модели, требующие значительных ресурсов, на различных устройствах. Например, модель с требованием 16 ГБ ОЗУ может быть распределена между двумя ноутбуками с 8 ГБ каждый. DeepSeek R1, требующая 1,3 ТБ ОЗУ, может теоретически работать на кластере из 170 Raspberry Pi 5 с 8 ГБ каждый. Однако качество работы зависит от скорости сети и задержек, а слабые устройства могут замедлить систему.
Потенциальные риски и возможности
Основные риски связаны с безопасностью при совместном выполнении нагрузок. Несмотря на это, разработчики Exo считают, что приложение может стать перспективной альтернативой облачным ресурсам за счёт распределения нагрузки на локальные устройства.
Комментарии (0)
Создание новых комментариев временно недоступно.