Qwen3-4B →LLM · Q4_K_M · 8K
Нужно памяти: 4.9 GiB
Что открывает больше VRAM?
Измените объём памяти и контекст. Сразу увидите, какие модели переходят из offload в размещение на одной GPU.
Память одной условной GPU8 GiB1 / 1 · Полностью в VRAM
Симуляция одной CUDA GPU с настройками резерва выбранного runtime, RAM 256 GiB и SSD 4 TiB. Это ESTIMATED планирование памяти, не конкретная видеокарта и не тест скорости. Реальный backend, runtime, разъёмы и совместимость проверяйте отдельно.
ОценкаГраница размещения
Включены KV cache, runtime и резерв исполнения. Для image/video использован размер задачи из существующего модельного профиля.
Вмещается