Какие программы для нейросетей запускать на удалённой видеокарте и как это устроено

Своя видеокарта на 8 ГБ быстро упирается в потолок: Flux не помещается в память, языковая модель на 30 миллиардов параметров не грузится, а обучение LoRA занимает всю ночь. Тогда нейросети переносят на арендованный сервер с GPU. Пугаться этого не нужно. Почти все популярные программы для ИИ изначально рассчитаны на работу на удалённой машине, а пользуются ими через браузер или по API.

Как выглядит работа с удалённой видеокартой

Вы получаете Linux-сервер, чаще всего с Ubuntu, видеокартой NVIDIA, драйверами и CUDA. Подключаетесь по SSH, запускаете нужную программу, и она поднимает веб-интерфейс на одном из портов сервера. Открыть его у себя можно через публичный адрес, если площадка его выдаёт, или через SSH-туннель. Туннель надёжнее: интерфейс тогда не виден никому, кроме вас.

ssh -L 8188:localhost:8188 user@адрес-сервера

После этой команды адрес http://localhost:8188 в вашем браузере открывает программу, которая на самом деле работает на чужой видеокарте. Тот же приём подходит для любого порта.

Картинки и видео: ComfyUI

ComfyUI сейчас основной инструмент для Stable Diffusion, SDXL, Flux и видеомоделей. Интерфейс в виде схемы из блоков сначала отпугивает, но для сервера он удобен: готовый граф сохраняется в JSON-файл, его можно перетащить в окно на любой машине и получить тот же результат. По умолчанию ComfyUI слушает порт 8188. Модели весят от 2 до 20 с лишним гигабайт, поэтому их лучше скачивать прямо на сервер через wget или huggingface-cli, а не заливать с домашнего компьютера.

Языковые модели: Ollama и Open WebUI

Тем, кто привык к LM Studio на своём компьютере, на сервере проще всего поставить Ollama. Она устанавливается одной командой, сама скачивает модели (например, ollama pull qwen2.5:32b) и отдаёт API на порту 11434. Окно чата в духе ChatGPT даёт Open WebUI: его подключают к Ollama и работают с моделью из браузера, с историей переписки и загрузкой документов. Если хочется классический интерфейс с тонкими настройками генерации, есть text-generation-webui.

Ориентир по памяти простой. Модель на 7–8 миллиардов параметров в 4-битном сжатии занимает около 5 ГБ, на 32 миллиарда около 20 ГБ, и для неё уже нужна карта на 24 ГБ вроде RTX 3090 или 4090.

Свой сервис или бот: vLLM

Ollama хороша, пока с моделью работает один человек. Когда отвечать нужно многим сразу, например боту в Telegram или внутреннему сервису компании, ставят vLLM. Он обрабатывает много запросов параллельно и поднимает сервер с API, совместимым с OpenAI. Программу, написанную под ChatGPT, можно переключить на свою модель, поменяв в настройках адрес сервера и название модели.

Эксперименты и обучение: Jupyter

JupyterLab остаётся самым удобным местом для кода на Python: дообучить модель, прогнать датасет, проверить идею. Многие площадки дают Jupyter прямо в шаблоне сервера, ставить ничего не придётся. Одна привычка сэкономит нервы: длинное обучение запускайте в tmux или через nohup. Тогда оно не оборвётся, если у вас пропадёт интернет или закроется вкладка.

Сколько это стоит

Аренду почти везде считают по времени работы сервера. В сервисе Тераферма, например, RTX 3090 стоит около 30 ₽ в час, RTX 4090 около 47 ₽, списание идёт поминутно, а баланс пополняется картой российского банка или криптовалютой. Вечер с ComfyUI на 4090 выходит дешевле обеда в кафе. Правило одно: закончили работу, остановите сервер. Модели, которые понадобятся снова, удобно скачивать одним скриптом, чтобы при следующем запуске не искать их вручную.

Начинать лучше с одной программы под конкретную задачу. Для картинок это ComfyUI с готовым графом, для текста Ollama с Open WebUI. Когда станет понятно, сколько часов в месяц уходит на нейросети, можно спокойно решить, что выгоднее: арендовать дальше или копить на свою карту.