Alibaba Qwen / LLM / MODEL INTELLIGENCE

Qwen2.5-72B-Instruct

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Внешний источник

Проверить мою конфигурацию →На каком железе запустится? ↓

Qwen 2.572.7BLLM / LOCAL INFERENCE

О модели и лицензии

Разработчик: Alibaba Qwen
Лицензия: Qwen License
Архитектура: Qwen2 decoder-only Transformer

01 / MEMORY INTELLIGENCE

Какое железо нужно этой модели?

КвантованиеКонтекст

Нужно VRAM49.2 GiB

Системная RAM: 40.1 GiB
Хранилище: 48.3 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память

Веса42 GiB

KV cache2.5 GiB

Runtime0.8 GiB

Резерв исполнения4 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime

02 / VARIANTS

Варианты и runtime

Квантование	Веса модели	Runtime	Основа решения
Q4_K_MGGUF	42 GiB	llama.cpp · layer split	Оценка
Q8_0GGUF	74.4 GiB	llama.cpp · layer split	Оценка
F16GGUF	140 GiB	llama.cpp · layer split	Оценка

Как контекст меняет память

03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 32K / 128K

49.2 GiB8K

51.9 GiB16K

57.1 GiB32K

67.6 GiB64K

88.6 GiB128K

На каком железе запустится?

04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU	8K	32K	64K	128K
RTX 3080 Ti12 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 57.1 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 309024 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 57.1 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 4070 SUPER12 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 57.1 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 4080 SUPER16 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 57.1 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 409024 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 57.1 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 507012 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 57.1 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 508016 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 57.1 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 67.6 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 509032 GiB	Нужна выгрузка в RAM Почему Требуется: 49.2 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 57.1 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 67.6 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 88.6 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
2 × RTX 309048 GiB	Нужна выгрузка в RAM Почему Требуется: 51.3 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 59.4 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Нужна выгрузка в RAM Почему Требуется: 70.2 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 91.8 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPU	Основа решения	Доступно	Оценка скорости · низкая уверенность
RTX 3080 Ti	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	0.5–3.4 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 37.7 GiB · offloadFraction: 0.85 · requiredRamMb: 63.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	0.5–3.4 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 25.7 GiB · offloadFraction: 0.58 · requiredRamMb: 49.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPER	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	0.3–2.6 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 37.7 GiB · offloadFraction: 0.85 · requiredRamMb: 63.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPER	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	0.4–3.2 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 33.7 GiB · offloadFraction: 0.76 · requiredRamMb: 58.5 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	0.5–3.9 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 25.7 GiB · offloadFraction: 0.58 · requiredRamMb: 49.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	0.4–2.8 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 37.7 GiB · offloadFraction: 0.85 · requiredRamMb: 63.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	0.5–3.4 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 33.7 GiB · offloadFraction: 0.76 · requiredRamMb: 58.5 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090	Нужна выгрузка в RAMВыгрузка в RAM	32 GiB31.5 GiB Доступно для модели	0.6–4.5 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 17.7 GiB · offloadFraction: 0.4 · requiredRamMb: 40.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT reference	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	0.4–2.9 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 33.7 GiB · offloadFraction: 0.76 · requiredRamMb: 58.5 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX Reference	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	0.5–3.4 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 25.7 GiB · offloadFraction: 0.58 · requiredRamMb: 49.3 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 49.2 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090	Нужна выгрузка в RAMВыгрузка в RAM	48 GiB47 GiB Доступно для модели	1–7 tok/sОценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 4.3 GiB · offloadFraction: 0.1 · requiredRamMb: 24.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 1.3 GiB PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 42 GiB · runtimeOverheadMb: 2.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 4 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 51.3 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения

05 / BENCHMARK EVIDENCE

Опубликованные измерения

Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.

BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Бюджет поиска

Подобрать AI-сборку

06 / BUILD DIRECTION

Подобрать AI-сборку

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →

Источники и допущения

https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/raw/main/config.json https://huggingface.co/Qwen/Qwen2.5-72B-Instruct

Источники и допущения

Official config has native 32,768 positions; the model card describes extension to 131,072 using YaRN. Long-context operation requires YaRN configuration. Estimated weights/workload are not verified runtime requirements.

Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.

Wide estimated reference range for a 350 W GPU planning profile; not a benchmark and not a measured result. Actual performance depends on the exact GPU, runtime build, context, batching, cooling and settings. All performance values are broad planning estimates, never measured benchmark records.

Продолжить выбор

Исследовать VRAM и квантование Проверить модель и контекст на вашем GPU Подобрать сборку под задачу и бюджет