ForgeBench.
Alibaba Qwen / LLM / MODEL INTELLIGENCE

Qwen2.5-32B-Instruct

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Внешний источник
Проверить мою конфигурацию →На каком железе запустится? ↓
Qwen 2.532BLLM / LOCAL INFERENCE
О модели и лицензии
Разработчик
Alibaba Qwen
Лицензия
Apache-2.0
Архитектура
Qwen2 decoder-only Transformer
01 / MEMORY INTELLIGENCE

Какое железо нужно этой модели?

Нужно VRAM24.3 GiB

Системная RAM: 11.8 GiB
Хранилище: 22.3 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память
Веса19.4 GiB
KV cache2 GiB
Runtime0.8 GiB
Резерв исполнения2.2 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime
02 / VARIANTS

Варианты и runtime

КвантованиеВеса моделиRuntimeОснова решения
Q4_K_MGGUF19.4 GiBllama.cpp · layer splitОценка
Q8_0GGUF34.3 GiBllama.cpp · layer splitОценка
F16GGUF64.6 GiBllama.cpp · layer splitОценка
Как контекст меняет память
03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 32K / 128K

24.3 GiB8K
26.4 GiB16K
30.7 GiB32K
39.2 GiB64K
56.2 GiB128K
На каком железе запустится?
04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU8K32K64K128K
RTX 3080 Ti12 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 309024 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4070 SUPER12 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4080 SUPER16 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 409024 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 507012 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 508016 GiBНужна выгрузка в RAM
Почему

Требуется: 24.3 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 30.7 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 509032 GiBОтлично
Почему

Требуется: 24.3 GiB
Доступно модели: 31.5 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Ограниченно
Почему

Требуется: 30.7 GiB
Доступно модели: 31.5 GiB

Оценка

Малый запас VRAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 39.2 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

2 × RTX 309048 GiBОтлично
Почему

Требуется: 25.7 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Отлично
Почему

Требуется: 32.2 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Хорошо
Почему

Требуется: 41 GiB
Доступно модели: 47 GiB

Оценка

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 58.5 GiB
Доступно модели: 47 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Для расширенного контекста нужна настройка runtime / RoPE scaling.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPUОснова решенияДоступноОценка скорости · низкая уверенность
RTX 3080 TiНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели1–6.5 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 12.8 GiB · offloadFraction: 0.6 · requiredRamMb: 26.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090Нужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели4–19 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 0.8 GiB · offloadFraction: 0.04 · requiredRamMb: 12.7 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPERНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели0.8–4.8 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 12.8 GiB · offloadFraction: 0.6 · requiredRamMb: 26.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPERНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели1–6.5 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 8.8 GiB · offloadFraction: 0.41 · requiredRamMb: 21.9 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090Нужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели5–22.5 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 0.8 GiB · offloadFraction: 0.04 · requiredRamMb: 12.7 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070Нужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели0.8–5.2 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 12.8 GiB · offloadFraction: 0.6 · requiredRamMb: 26.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080Нужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели1–6.5 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 8.8 GiB · offloadFraction: 0.41 · requiredRamMb: 21.9 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090ОтличноВ VRAM32 GiB31.5 GiB Доступно для модели29–52 tok/sОценка
Почему этот результат?
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT referenceНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели0.9–5.4 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 8.8 GiB · offloadFraction: 0.41 · requiredRamMb: 21.9 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX ReferenceНужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели4–19.5 tok/sОценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 0.8 GiB · offloadFraction: 0.04 · requiredRamMb: 12.7 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 24.3 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090ОтличноВ VRAM48 GiB47 GiB Доступно для модели15–27 tok/sОценка
Почему этот результат?
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 64 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2 GiB
  • Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 0.6 GiB
  • PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.
  • NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 19.4 GiB · runtimeOverheadMb: 2.1 GiB · kvCacheMb: 2 GiB · executionMarginMb: 2.2 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 25.7 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения
05 / BENCHMARK EVIDENCE

Опубликованные измерения

Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.

BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Подобрать AI-сборку
06 / BUILD DIRECTION

Подобрать AI-сборку

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →
Источники и допущения

Источники и допущения

https://huggingface.co/Qwen/Qwen2.5-32B-Instruct/raw/main/config.jsonhttps://huggingface.co/Qwen/Qwen2.5-32B-Instruct
Источники и допущения

Official config has native 32,768 positions; the model card describes extension to 131,072 using YaRN. Long-context operation requires YaRN configuration. Estimated weights/workload are not verified runtime requirements.

Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.

Wide estimated reference range for a 350 W GPU planning profile; not a benchmark and not a measured result. Actual performance depends on the exact GPU, runtime build, context, batching, cooling and settings. All performance values are broad planning estimates, never measured benchmark records.

Продолжить выбор

Продолжить выбор

GeForce RTX 4090Объём VRAM больше оценки весов; KV cache проверяется отдельноGeForce RTX 3090Объём VRAM больше оценки весов; KV cache проверяется отдельноRadeon RX 7900 XTX ReferenceОбъём VRAM больше оценки весов; KV cache проверяется отдельноИсследовать VRAM и квантованиеПроверить модель и контекст на вашем GPUПодобрать сборку под задачу и бюджет