Meta / LLM / MODEL INTELLIGENCE

Llama 3.1 405B Instruct

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Внешний источник

Проверить мою конфигурацию →На каком железе запустится? ↓

Llama 3.1405BLLM / LOCAL INFERENCE

О модели и лицензии

Разработчик: Meta
Лицензия: Llama 3.1 Community License
Архитектура: Llama decoder-only Transformer

01 / MEMORY INTELLIGENCE

Какое железо нужно этой модели?

КвантованиеКонтекст

Нужно VRAM264.5 GiB

Системная RAM: 357 GiB
Хранилище: 276 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память

Веса240 GiB

KV cache3.9 GiB

Runtime0.8 GiB

Резерв исполнения19.8 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime

02 / VARIANTS

Варианты и runtime

Квантование	Веса модели	Runtime	Основа решения
Q4_K_MGGUF	240 GiB	llama.cpp · layer split	Оценка
Q8_0GGUF	425 GiB	llama.cpp · layer split	Оценка
F16GGUF	800 GiB	llama.cpp · layer split	Оценка

Как контекст меняет память

03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 128K / 128K

264.5 GiB8K

268.6 GiB16K

276.7 GiB32K

293 GiB64K

325.5 GiB128K

На каком железе запустится?

04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU	8K	32K	64K	128K
RTX 3080 Ti12 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 309024 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 4070 SUPER12 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 4080 SUPER16 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 409024 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 23.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 507012 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 11.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 508016 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 15.5 GiB Оценка Runtime не может выгрузить достаточную часть вычислений в RAM. Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
RTX 509032 GiB	Не поддерживается Почему Требуется: 264.5 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 276.7 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 293 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 325.5 GiB Доступно модели: 31.5 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.
2 × RTX 309048 GiB	Не поддерживается Почему Требуется: 272.6 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 285.1 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 301.8 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.	Не поддерживается Почему Требуется: 335.3 GiB Доступно модели: 47 GiB Оценка Не хватает системной RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPU	Основа решения	Доступно	Оценка скорости · низкая уверенность
RTX 3080 Ti	Не поддерживаетсяВ VRAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 253 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090	Не поддерживаетсяВ VRAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Не хватает системной RAM.requiredRamMb: 366.2 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPER	Не поддерживаетсяВ VRAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 253 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPER	Не поддерживаетсяВ VRAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 249 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090	Не поддерживаетсяВ VRAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Не хватает системной RAM.requiredRamMb: 366.2 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070	Не поддерживаетсяВ VRAM	12 GiB11.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 253 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080	Не поддерживаетсяВ VRAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 249 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090	Не поддерживаетсяВ VRAM	32 GiB31.5 GiB Доступно для модели	—Оценка Почему этот результат? Не хватает системной RAM.requiredRamMb: 357 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT reference	Не поддерживаетсяВ VRAM	16 GiB15.5 GiB Доступно для модели	—Оценка Почему этот результат? Runtime не может выгрузить достаточную часть вычислений в RAM.offloadableMb: 243.9 GiB · deficitMb: 249 GiB Не хватает системной RAM.requiredRamMb: 89 GiB · availableRamMb: 64 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX Reference	Не поддерживаетсяВ VRAM	24 GiB23.5 GiB Доступно для модели	—Оценка Почему этот результат? Не хватает системной RAM.requiredRamMb: 366.2 GiB · availableRamMb: 64 GiB Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 264.5 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090	Не поддерживаетсяВ VRAM	48 GiB47 GiB Доступно для модели	—Оценка Почему этот результат? Не хватает системной RAM.requiredRamMb: 348.4 GiB · availableRamMb: 64 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 126 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 3.9 GiB Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 7.3 GiB PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 240 GiB · runtimeOverheadMb: 8.8 GiB · kvCacheMb: 3.9 GiB · executionMarginMb: 19.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 272.6 GiB Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения

05 / BENCHMARK EVIDENCE

Опубликованные измерения

Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.

BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Бюджет поиска

Подобрать AI-сборку

06 / BUILD DIRECTION

Подобрать AI-сборку

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →

Источники и допущения

https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct

Источники и допущения

Model metadata is sourced from the gated model repository. Architecture dimensions are an external reference; all variant weights and performance are explicitly estimated, not verified measurements.

Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.

Wide estimated reference range for a 350 W GPU planning profile; not a benchmark and not a measured result. Actual performance depends on the exact GPU, runtime build, context, batching, cooling and settings. All performance values are broad planning estimates, never measured benchmark records.

Продолжить выбор

Исследовать VRAM и квантование Проверить модель и контекст на вашем GPU Подобрать сборку под задачу и бюджет