ForgeBench.
Meta / LLM / MODEL INTELLIGENCE

Llama 3.1 70B Instruct

От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.

Внешний источник
Проверить мою конфигурацию →На каком железе запустится? ↓
Llama 3.170BLLM / LOCAL INFERENCE
О модели и лицензии
Разработчик
Meta
Лицензия
Llama 3.1 Community License
Архитектура
LlamaForCausalLM (dense decoder with GQA)
01 / MEMORY INTELLIGENCE

Какое железо нужно этой модели?

Нужно VRAM46.1 GiB

Системная RAM: 35.5 GiB
Хранилище: 45 GiB

Оценка

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Как рассчитана память
Веса39.1 GiB
KV cache2.5 GiB
Runtime0.8 GiB
Резерв исполнения3.8 GiB

Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.

Варианты и runtime
02 / VARIANTS

Варианты и runtime

КвантованиеВеса моделиRuntimeОснова решения
Q4_K_MGGUF39.1 GiBllama.cpp · layer splitОценка
Q8_0GGUF69.3 GiBllama.cpp · layer splitОценка
F16GGUF130.4 GiBllama.cpp · layer splitОценка
Как контекст меняет память
03 / CONTEXT SCALING

Как контекст меняет память

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.

Нативный / максимальный контекст: 128K / 128K

46.1 GiB8K
48.7 GiB16K
54 GiB32K
64.5 GiB64K
85.5 GiB128K
На каком железе запустится?
04 / GPU · ESTIMATED

На каком железе запустится?

Матрица размещения

Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.

GPU8K32K64K128K
RTX 3080 Ti12 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 54 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 309024 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 54 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 23.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 23.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4070 SUPER12 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 54 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 4080 SUPER16 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 54 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 15.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 15.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 409024 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 54 GiB
Доступно модели: 23.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 23.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 23.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 507012 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 11.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 54 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 11.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 508016 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 54 GiB
Доступно модели: 15.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 64.5 GiB
Доступно модели: 15.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 15.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

RTX 509032 GiBНужна выгрузка в RAM
Почему

Требуется: 46.1 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 54 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 64.5 GiB
Доступно модели: 31.5 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 85.5 GiB
Доступно модели: 31.5 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

2 × RTX 309048 GiBНужна выгрузка в RAM
Почему

Требуется: 48.1 GiB
Доступно модели: 47 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 56.2 GiB
Доступно модели: 47 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Нужна выгрузка в RAM
Почему

Требуется: 67 GiB
Доступно модели: 47 GiB

Оценка

Часть весов или KV cache потребуется перенести в RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Не поддерживается
Почему

Требуется: 88.6 GiB
Доступно модели: 47 GiB

Оценка

Не хватает системной RAM.

KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.

Веса и KV распределяются между GPU с накладными расходами.

PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.

NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.

Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.

Расчёт использует явно указанные источники и допущения.

Контекст выше native может требовать дополнительной настройки runtime.

Оценка скорости · низкая уверенность · 8K

Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.

GPUОснова решенияДоступноОценка скорости · низкая уверенность
RTX 3080 TiНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 34.6 GiB · offloadFraction: 0.83 · requiredRamMb: 58.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 3090Нужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 22.6 GiB · offloadFraction: 0.54 · requiredRamMb: 44.7 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4070 SUPERНужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 34.6 GiB · offloadFraction: 0.83 · requiredRamMb: 58.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4080 SUPERНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 30.6 GiB · offloadFraction: 0.74 · requiredRamMb: 53.9 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 4090Нужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 22.6 GiB · offloadFraction: 0.54 · requiredRamMb: 44.7 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5070Нужна выгрузка в RAMВыгрузка в RAM12 GiB11.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 34.6 GiB · offloadFraction: 0.83 · requiredRamMb: 58.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5080Нужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 30.6 GiB · offloadFraction: 0.74 · requiredRamMb: 53.9 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
RTX 5090Нужна выгрузка в RAMВыгрузка в RAM32 GiB31.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 14.6 GiB · offloadFraction: 0.35 · requiredRamMb: 35.5 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7800 XT referenceНужна выгрузка в RAMВыгрузка в RAM16 GiB15.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 30.6 GiB · offloadFraction: 0.74 · requiredRamMb: 53.9 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
Radeon RX 7900 XTX ReferenceНужна выгрузка в RAMВыгрузка в RAM24 GiB23.5 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 22.6 GiB · offloadFraction: 0.54 · requiredRamMb: 44.7 GiB
  • Нужна проверка версии ROCm, ОС и runtime для этой GPU.runtime: llama.cpp · layer split
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 0.8 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 46.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED
2 × RTX 3090Нужна выгрузка в RAMВыгрузка в RAM48 GiB47 GiB Доступно для модели—Оценка
Почему этот результат?
  • Часть весов или KV cache потребуется перенести в RAM.offloadedMb: 1.1 GiB · offloadFraction: 0.03 · requiredRamMb: 20 GiB
  • KV cache рассчитан по архитектуре, контексту и числу параллельных запросов.layers: 80 · kvHeads: 8 · headDim: 128 · bytesPerElement: 2 · contextTokens: 8192 · batchSize: 1 · kvCacheMb: 2.5 GiB
  • Веса и KV распределяются между GPU с накладными расходами.mode: LAYER · gpuCount: 2 · physicalTotalVramMb: 48 GiB · usableVramMb: 47 GiB · shardBuffersMb: 1.2 GiB
  • PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой.
  • NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge.p2pVerified: false · bridgeInstalled: false
  • Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно.weightsMb: 39.1 GiB · runtimeOverheadMb: 2.7 GiB · kvCacheMb: 2.5 GiB · executionMarginMb: 3.8 GiB · reservedPerGpuMb: 0.5 GiB · requiredVramMb: 48.1 GiB
  • Расчёт использует явно указанные источники и допущения.modelSource: EXTERNAL · variantSource: ESTIMATED · workloadSource: ESTIMATED · runtimeSource: ESTIMATED

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Опубликованные измерения
05 / BENCHMARK EVIDENCE

Опубликованные измерения

Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.

BUILD / MODEL FIT

Сколько стоит ПК для этой модели?

Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.

Подобрать AI-сборку
06 / BUILD DIRECTION

Подобрать AI-сборку

Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.

Подобрать AI-сборку →Проверить мою конфигурацию →Мой ПК →
Источники и допущения

Источники и допущения

https://huggingface.co/meta-llama/Llama-3.1-70B-Instructhttps://github.com/meta-llama/llama-models/blob/main/models/sku_list.pyhttps://github.com/meta-llama/llama-models/blob/main/README.md
Источники и допущения

Официальные сведения о модели и конфигурации задокументированы 2026-10-05; архитектура и число параметров взяты из внешней документации.

Модельная карточка Meta подтверждает 70B и контекст 128K; официальный репозиторий Meta подтверждает 80 слоёв, dim 8192, 64 Q-head и 8 KV-head, а также scaled RoPE. headDim 128 вычислен как 8192 / 64.

Файл config.json закрытой карточки Meta недоступен без допуска; native/max 131072 взят из публичной официальной карточки, а не из предположения о YaRN. Лицензия требует отдельного соблюдения Llama 3.1 Community License.

Размеры вариантов рассчитаны для планирования и не являются подтверждённым размером файлов; измеренной производительности для этой записи нет.

Расчётный размер для планирования: ceil(70000000000 параметров × 4.8 бит / 8 / 1 048 576) МиБ; это не скачанный и не подтверждённый издателем размер файла.

Продолжить выбор

Продолжить выбор

Исследовать VRAM и квантованиеПроверить модель и контекст на вашем GPUПодобрать сборку под задачу и бюджет