48 GB VRAM: какие задачи доступны
48 GB на одной GPU и две GPU по 24 GB — разные конфигурации. Эта страница рассматривает бюджет одной условной карты; распределение проверяется отдельно.
С чего начать
Посмотрите крупные 70–72B-варианты в компактном квантовании и цену длинного контекста. Начните с 8K, затем оцените изменение KV cache.
Две RTX 3090 требуют поддержки layer sharding, места, питания и правильной топологии. NVLink без моста и совместимого runtime не появляется автоматически.
Реальные модели, расчётные требования
Контекст 8K для текста, batch 1, профиль генерации — для изображений и видео. В расчётах 48 GiB — номинальная ёмкость условной GPU, служебный резерв вычитается отдельно.
GPU этого класса в каталоге
В текущем каталоге нет точной одиночной GPU этого объёма. Расчёт памяти остаётся доступным; цены и совместимость такой платы не подставляются.
Когда нужен другой класс памяти
Сначала определите, нужна ли единая большая память, распределение слоёв или системная RAM. Это три разных пути с разными ограничениями.
Можно ли просто сложить VRAM двух карт?
Для некоторых runtime распределение весов возможно. Но память дисплея, KV cache, накладные расходы и доступные способы разделения учитываются по устройствам. Удвоение объёма не означает удвоение скорости.
Как квантование меняет бюджет памяти →