ForgeBench.
Alibaba Cloud / Qwen Team / LLM / MODEL INTELLIGENCE

Qwen3-32B

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Внешний источник
Проверить мою конфигурацию →На каком железе запустится? ↓
Qwen332.8BLLM / LOCAL INFERENCE
О модели и лицензии
Разработчик
Alibaba Cloud / Qwen Team
Лицензия
Apache-2.0
Архитектура
Qwen3ForCausalLM (dense decoder with GQA)
01 / MEMORY INTELLIGENCE

Какое железо нужно этой модели?

Нужно VRAM23.2 GiB

Системная RAM: 11.4 GiB
Хранилище: 21.1 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память
Веса18.3 GiB
KV cache2 GiB
Runtime0.8 GiB
Резерв исполнения2.1 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime
02 / VARIANTS

Варианты и runtime

КвантованиеВеса моделиRuntimeОснова решения
Q4_K_MGGUF18.3 GiBllama.cpp · layer splitОценка
Q8_0GGUF32.5 GiBllama.cpp · layer splitОценка
F16GGUF61.1 GiBllama.cpp · layer splitОценка
Как контекст меняет память
03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 32K / 128K

23.2 GiB8K
25.3 GiB16K
29.5 GiB32K
38 GiB64K
55 GiB128K
На каком железе запустится?
04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU8K32K64K128K
RTX 3080 Ti12 GiBНужна выгрузка в RAM
Почему

Требуется: 23.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 309024 GiBОграниченно
Почему

Требуется: 23.2 GiB
Доступно модели: 23.5 GiB

Оценка

Малый запас VRAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4070 SUPER12 GiBНужна выгрузка в RAM
Почему

Требуется: 23.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4080 SUPER16 GiBНужна выгрузка в RAM
Почему

Требуется: 23.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 409024 GiBОграниченно
Почему

Требуется: 23.2 GiB
Доступно модели: 23.5 GiB

Оценка

Малый запас VRAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 507012 GiBНужна выгрузка в RAM
Почему

Требуется: 23.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 508016 GiBНужна выгрузка в RAM
Почему

Требуется: 23.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 29.5 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 509032 GiBОтлично
Почему

Требуется: 23.2 GiB
Доступно модели: 31.5 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Ограниченно
Почему

Требуется: 29.5 GiB
Доступно модели: 31.5 GiB

Оценка

Малый запас VRAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 38 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 55 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

2 × RTX 309048 GiBОтлично
Почему

Требуется: 24.5 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Отлично
Почему

Требуется: 31.1 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Хорошо
Почему

Требуется: 39.8 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 57.3 GiB
Доступно модели: 47 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPUОснова решенияДоступноОценка скорости · низкая уверенность
RTX 3080 TiНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 11.7 GiB · offloadFraction: 0.57 · requiredRamMb: 24.8 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090ОграниченноВ VRAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Малый запас VRAM.headroomMb: 0.3 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPERНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 11.7 GiB · offloadFraction: 0.57 · requiredRamMb: 24.8 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPERНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 7.7 GiB · offloadFraction: 0.38 · requiredRamMb: 20.2 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090ОграниченноВ VRAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Малый запас VRAM.headroomMb: 0.3 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070Нужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 11.7 GiB · offloadFraction: 0.57 · requiredRamMb: 24.8 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080Нужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 7.7 GiB · offloadFraction: 0.38 · requiredRamMb: 20.2 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090ОтличноВ VRAM32 GiB31.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT referenceНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 7.7 GiB · offloadFraction: 0.38 · requiredRamMb: 20.2 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX ReferenceОграниченноВ VRAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Малый запас VRAM.headroomMb: 0.3 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 23.2 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090ОтличноВ VRAM48 GiB47 GiB Доступно для модели—Оценка
Почему этот результат?
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 0.6 GiB
  • PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.
  • NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 18.3 GiB · runtimeOverheadMb: 2.1 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.1 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.5 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения
05 / BENCHMARK EVIDENCE

Опубликованные измерения

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

generation_tok_s

18.7 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

prompt_tok_s

1481.9 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

ttft_ms

13610 ms

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

generation_tok_s

21.7 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

prompt_tok_s

1033.2 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · llama.cpp llama-server
22000 tokens · batch 512

ttft_ms

260 ms

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · Ollama
22000 tokens · batch

generation_tok_s

21.4 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · Q8_0 (Ollama library GGUF) · Ollama
22000 tokens · batch

prompt_tok_s

853.9 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark

GeForce RTX 3090 Founders Edition

Qwen3-32B · W4A16 · vLLM
Нет данных tokens · batch

aggregate_total_tok_s

674 tok/s

Внешний источникReddit r/LocalLLaMA community benchmark
BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Подобрать AI-сборку
06 / BUILD DIRECTION

Подобрать AI-сборку

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →
Источники и допущения

Источники и допущения

https://huggingface.co/Qwen/Qwen3-32Bhttps://huggingface.co/Qwen/Qwen3-32B/raw/main/config.json
Источники и допущения

Официальные сведения о модели и конфигурации задокументированы 2026-10-05; архитектура и число параметров взяты из внешней документации.

Карточка Qwen указывает 32768 токенов нативно и проверенное расширение до 131072 через YaRN; для расширения нужны rope_scaling: yarn, factor 4.0, original_max_position_embeddings 32768.

max_position_embeddings 40960 в конфиге резервирует место под 32768 выходных токенов и типичный prompt 8192; это не nativeContextTokens.

Размеры вариантов рассчитаны для планирования и не являются подтверждённым размером файлов; измеренной производительности для этой записи нет.

Расчётный размер для планирования: ceil(32800000000 параметров × 4.8 бит / 8 / 1 048 576) МиБ; это не скачанный и не подтверждённый издателем размер файла.

Продолжить выбор

Продолжить выбор

GeForce RTX 4090Объём VRAM больше оценки весов; KV cache проверяется отдельноGeForce RTX 3090Объём VRAM больше оценки весов; KV cache проверяется отдельноRadeon RX 7900 XTX ReferenceОбъём VRAM больше оценки весов; KV cache проверяется отдельноИсследовать VRAM и квантованиеПроверить модель и контекст на вашем GPUПодобрать сборку под задачу и бюджет