Две RTX 3090 для LLM: возможности и ограничения
Две RTX 3090 дают 48 GB физической видеопамяти. Использовать её для одной модели можно только при подходящем распределении — это не единый универсальный пул.
Что даёт распределение слоёв
Runtime с layer split может разместить разные слои на разных GPU. У каждой остаётся собственный резерв и накладные расходы. Некоторые компоненты и буферы нельзя распределить тем же способом, поэтому простое сложение свободной памяти недостаточно.
В расчёте ниже используется существующий профиль llama.cpp layer split и неизвестная топология. Он показывает оценку размещения, а не измеренную скорость. Выбор двух GPU не включает автоматически tensor parallel.
NVLink и PCIe — отдельная проверка
Наличие NVLink у GPU не означает установленный мост, совместимость его шага или включение нужного режима в runtime. Без этих сведений нельзя подписывать соединение «подтверждено».
Проверьте электрическую ширину обоих слотов с выбранным CPU, влияние M.2, расстояние между платами, P2P и ОС. Длинный физический слот может быть подключён меньшим числом линий.
Питание и охлаждение двух плат
Официальный power limit каждой GPU не равен потреблению всей системы. Нужны CPU, БП с достаточным набором кабелей и запасом, место под конкретные платы и приток воздуха. Для тесной установки температуры и шум могут стать главным ограничением.
Сценарий с двумя б/у картами требует проверки обеих, а не усреднённого состояния пары. Учитывайте стоимость моста и платформы только если они действительно нужны выбранному runtime.
- Проверить модель и sharding-профиль.
- Проверить топологию и место.
- Посчитать питание всей системы.
- Оценить стоимость полного комплекта и сопоставимые тесты.
Когда лучше одна GPU
Если модель помещается на одной карте, вторая может не дать полезного ускорения. Единая большая VRAM упрощает запуск задач, которые плохо распределяются. Если цель — два независимых задания, рассчитывайте их по отдельности, без обещания ускорения одного запроса.
Проверим на расчётных примерах
| Модель / вариант | Веса | KV cache | Всего VRAM | Размещение по оценке |
|---|---|---|---|---|
| Qwen2.5-72B-InstructQ4_K_M · 8K | 42 GiB | 2.5 GiB | 51.3 GiBвключая runtime и запас | Нужен offload / больше памяти2 × 24 GiB; layer split; топология неизвестнаИзменить условия → |
ESTIMATED · Это расчёт бюджета памяти общего планировщика, не замер VRAM и не подтверждение скорости или запуска на конкретной плате. Распределение зависит от runtime и соединения; две карты не становятся одним устройством. Для генерации изображений/видео действуют разрешение и кадры сохранённого профиля.
Перейти от объяснения к проверке
Следующий полезный материал
Как выбрать видеокарту для локального AI
От модели и контекста до GPU: VRAM, backend, квантование и проверка памяти на конкретных примерах.
Открыть →Q4, Q8 и F16: сколько памяти нужно модели
Сравните вес модели, KV cache и служебную память при одном контексте. Расчётные размеры отделены от измеренных файлов.
Открыть →Материал подготовлен ForgeBench · обновлён 18 октября 2026. Примеры ESTIMATED; актуальные условия расчёта и ограничения смотрите в методике.