Qwen2.5-7B-Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 6.4 GiB
Что открывает больше VRAM?
Измените объём памяти и контекст. Сразу увидите, какие модели переходят из offload в размещение на одной GPU.
GeForce GTX 16304 GiB0 / 16 · Полностью в VRAM
Симуляция одной CUDA GPU с настройками резерва выбранного runtime, RAM 256 GiB и SSD 4 TiB. Это ESTIMATED планирование памяти, не конкретная видеокарта и не тест скорости. Реальный backend, runtime, разъёмы и совместимость проверяйте отдельно. Выбрана точная GPU; здесь проверяется объём памяти. Поддержка backend и скорость не подтверждаются этим расчётом.
ОценкаГраница размещения
Включены KV cache, runtime и резерв исполнения. Для image/video использован размер задачи из существующего модельного профиля.
Требует RAM offload
Qwen3-8B →LLM · Q4_K_M · 8K
Нужно памяти: 7.5 GiB
Qwen3-14B →LLM · Q4_K_M · 8K
Нужно памяти: 11.6 GiB
Qwen2.5-14B-Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 12.4 GiB
Qwen2.5-32B-Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 24.3 GiB
Qwen2.5-72B-Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 49.2 GiB
Llama 3.1 8B Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 7.8 GiB
Llama 3.1 405B Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 264.5 GiB
FLUX.1-schnell →IMAGE · FP8
Нужно памяти: 25 GiB
Stable Diffusion XL 1.0 Base →IMAGE · F16
Нужно памяти: 10.9 GiB
Wan2.1 T2V 14B →VIDEO · FP8
Нужно памяти: 32.7 GiB
Qwen3-32B →LLM · Q4_K_M · 8K
Нужно памяти: 23.2 GiB
Llama 3.1 70B Instruct →LLM · Q4_K_M · 8K
Нужно памяти: 46.1 GiB
Qwen3-4B →LLM · Q4_K_M · 8K
Нужно памяти: 4.9 GiB
DeepSeek-R1-Distill-Qwen-7B →LLM · Q4_K_M · 8K
Нужно памяти: 6.4 GiB
Mistral-7B-Instruct-v0.3 →LLM · Q4_K_M · 8K
Нужно памяти: 6.8 GiB