NVIDIA выпустила PAIR (Personal AI Router) — открытый инструмент, который распределяет запросы к локальным ИИ‑моделям между компьютерами в одной сети. Это попытка сделать локальный инференс удобнее: один запрос — один ПК, но таких ПК может быть несколько.
NVIDIA представила PAIR (Personal AI Router) — утилиту, которая объединяет несколько компьютеров в локальной сети и «раздаёт» им задачи по запуску AI‑моделей. Проект открыт, а исходный код опубликован под лицензией Apache 2.0.
В чём идея PAIR
Локальные модели всё чаще запускают не только энтузиасты, но и команды разработки — ради скорости, приватности и предсказуемых затрат. Проблема проста: один компьютер с мощным GPU может быть занят работой, игрой, сборкой проекта или рендером, и запросы к модели начинают копиться в очереди.
PAIR решает эту задачу как «диспетчер»: когда приходит запрос к модели, он выбирает, на каком компьютере выполнить инференс, отправляет задачу туда и возвращает результат обратно клиенту.
Важно: это не «распределённая нейросеть»
PAIR не пытается склеить несколько видеокарт в один виртуальный ускоритель и не объединяет видеопамять устройств. Каждый запрос выполняется целиком на одном компьютере.
Практическое следствие: два ПК по 16 ГБ VRAM не превращаются в «32 ГБ». Если модель не помещается на конкретном узле, второй компьютер не поможет — нужно выбирать модель меньшего размера или запускать её на более подходящем железе.
Как выбирается устройство для задачи
При маршрутизации запросов PAIR учитывает несколько факторов:
- находится ли устройство в сети;
- запущен ли на нём поддерживаемый движок (PAIR работает поверх Ollama или LM Studio);
- загружена ли нужная модель;
- насколько сейчас занят GPU (если на одном из устройств запущен тяжёлый процесс, новые запросы уйдут на другое).
Почему это может быть удобно в жизни
PAIR ориентирован на сценарии, где важны приватность и простота:
- Домашний «пул» ресурсов: основной ПК занят, а рядом есть ноутбук или второй компьютер — запросы к модели можно уводить на свободный узел.
- Небольшая команда: несколько рабочих станций в одной сети могут обслуживать разные запросы параллельно, без ручного переключения «куда отправить» задачу.
- Несколько пользователей/сессий: разные задачи не обязательно должны стоять в одной очереди на одном GPU.
Локальная сеть вместо облака
Компьютеры могут находить друг друга через mDNS; также устройство можно добавить вручную по IP‑адресу. Важный акцент — запросы и контекст остаются внутри локальной сети и не требуют обращения к облачным сервисам.
Совместимость
PAIR поддерживает Windows 11, Linux и macOS на архитектурах x64 и Arm64. В роли вычислительных узлов можно использовать:
- GeForce RTX 20 и новее;
- RTX PRO;
- DGX Spark;
- компьютеры Apple на чипах M4 и новее.
Что это меняет для разработки
Инструменты локального ИИ постепенно перестают быть «историей для одного мощного ПК». Подход PAIR делает локальные модели ближе к привычной модели работы с сервисом: вы отправляете запрос и получаете результат, а где именно он посчитался — решает маршрутизатор.
Для разработчиков это означает меньше ручной возни с тем, какой компьютер сейчас свободен, и больше шансов держать локальные модели включёнными постоянно — как часть рабочего процесса, а не как отдельный эксперимент.
Источник: Хабр
