DeepSeek / LLM / MODEL INTELLIGENCE

DeepSeek-R1-Distill-Llama-70B

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Проверить мою конфигурацию →На каком железе запустится? ↓

DeepSeek R1 Distill70.6BLLM / LOCAL INFERENCE

О модели и лицензии

Разработчик: DeepSeek
Лицензия: MIT + Llama Community License (base model)
Архитектура: LlamaForCausalLM (dense decoder, full KV-cache planning)

Память для запуска

Какое железо нужно этой модели?

КвантованиеКонтекст

Нужно VRAM46.5 GiB

Системная RAM: 36 GiB
Хранилище: 45.3 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память

Веса39.4 GiB

KV cache2.5 GiB

Runtime0.8 GiB

Резерв исполнения3.8 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime

02 / VARIANTS

Варианты и runtime

Квантование	Веса модели	Runtime	Основа решения
Q4_K_MGGUF	39.4 GiB	llama.cpp · layer split	Оценка
Q8_0GGUF	69.8 GiB	llama.cpp · layer split	Оценка
F16GGUF	131.4 GiB	llama.cpp · layer split	Оценка

Как контекст меняет память

03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 128K / 128K

46.5 GiB8K

49.1 GiB16K

54.3 GiB32K

64.8 GiB64K

85.8 GiB128K

На каком железе запустится?

04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU	8K	32K	64K	128K
RTX 3080 Ti12 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 54.3 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 309024 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 54.3 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 4070 SUPER12 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 54.3 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 4080 SUPER16 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 54.3 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 409024 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 54.3 GiB Доступно модели: 23.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 507012 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 11.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 54.3 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 11.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 508016 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 54.3 GiB Доступно модели: 15.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 64.8 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 15.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
RTX 509032 GiB	Нужна выгрузка в RAM Почему Требуется: 46.5 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 54.3 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 64.8 GiB Доступно модели: 31.5 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 85.8 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.
2 × RTX 309048 GiB	Нужна выгрузка в RAM Почему Требуется: 48.5 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 56.6 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Нужна выгрузка в RAM Почему Требуется: 67.4 GiB Доступно модели: 47 GiB Оценка Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.	Не поддерживается Почему Требуется: 89 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPU	Основа решения	Доступно	Оценка скорости · низкая уверенность
RTX 3080 Ti	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 35 GiB · offloadFraction: 0.83 · requiredRamMb: 59 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 23 GiB · offloadFraction: 0.55 · requiredRamMb: 45.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPER	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 35 GiB · offloadFraction: 0.83 · requiredRamMb: 59 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPER	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 31 GiB · offloadFraction: 0.74 · requiredRamMb: 54.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 23 GiB · offloadFraction: 0.55 · requiredRamMb: 45.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070	Нужна выгрузка в RAMВыгрузка в RAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 35 GiB · offloadFraction: 0.83 · requiredRamMb: 59 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 31 GiB · offloadFraction: 0.74 · requiredRamMb: 54.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090	Нужна выгрузка в RAMВыгрузка в RAM	32 GiB31.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 15 GiB · offloadFraction: 0.36 · requiredRamMb: 36 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT	Нужна выгрузка в RAMВыгрузка в RAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 31 GiB · offloadFraction: 0.74 · requiredRamMb: 54.4 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX	Нужна выгрузка в RAMВыгрузка в RAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 23 GiB · offloadFraction: 0.55 · requiredRamMb: 45.2 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090	Нужна выгрузка в RAMВыгрузка в RAM	48 GiB47 GiB Доступно для модели	—Оценка Почему этот результат? Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 1.5 GiB · offloadFraction: 0.03 · requiredRamMb: 20.5 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 1.3 GiB PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.4 GiB · runtimeOverheadMb: 2.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 48.5 GiB Расчёт использует заданные параметры и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения

05 / BENCHMARK EVIDENCE

Опубликованные измерения

Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.

BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Бюджет поиска

Подобрать AI-сборку

06 / BUILD DIRECTION

Подобрать AI-сборку

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →

Продолжить выбор

Исследовать VRAM и квантование Проверить эту модель на вашем GPU Подобрать сборку под задачу и бюджет