Llama 3.1 8B Instruct
От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.
Внешний источникО модели и лицензии
- Разработчик
- Meta
- Лицензия
- Llama 3.1 Community License
- Архитектура
- Llama decoder-only Transformer
Какое железо нужно этой модели?
Системная RAM: 6.8 GiB
Хранилище: 5.8 GiB
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Как рассчитана память
Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.
Варианты и runtime
Варианты и runtime
| Квантование | Веса модели | Runtime | Основа решения |
|---|---|---|---|
| Q4_K_MGGUF | 5 GiB | llama.cpp · layer split | Оценка |
| Q8_0GGUF | 8.9 GiB | llama.cpp · layer split | Оценка |
| F16GGUF | 16.7 GiB | llama.cpp · layer split | Оценка |
Как контекст меняет память
Как контекст меняет память
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Нативный / максимальный контекст: 128K / 128K
На каком железе запустится?
На каком железе запустится?
Матрица размещения
Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.
| GPU | 8K | 32K | 64K | 128K |
|---|---|---|---|---|
| RTX 3080 Ti12 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОграниченноПочемуТребуется: 11.2 GiB Малый запас VRAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 15.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 309024 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 15.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4070 SUPER12 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОграниченноПочемуТребуется: 11.2 GiB Малый запас VRAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 15.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4080 SUPER16 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 15.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 409024 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 15.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 507012 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОграниченноПочемуТребуется: 11.2 GiB Малый запас VRAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 15.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 508016 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 15.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 24.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 509032 GiB | ОтличноПочемуТребуется: 7.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 15.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 24.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| 2 × RTX 309048 GiB | ОтличноПочемуТребуется: 8.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 12.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 16.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 26 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
Контекст выше native может требовать дополнительной настройки runtime.
Оценка скорости · низкая уверенность · 8K
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.
| GPU | Основа решения | Доступно | Оценка скорости · низкая уверенность |
|---|---|---|---|
| RTX 3080 Ti | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | 50–100 tok/sОценкаПочему этот результат?
|
| RTX 3090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 50–100 tok/sОценкаПочему этот результат?
|
| RTX 4070 SUPER | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | 37–76 tok/sОценкаПочему этот результат?
|
| RTX 4080 SUPER | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 47–95 tok/sОценкаПочему этот результат?
|
| RTX 4090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 58–117 tok/sОценкаПочему этот результат?
|
| RTX 5070 | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | 40–82 tok/sОценкаПочему этот результат?
|
| RTX 5080 | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 50–102 tok/sОценкаПочему этот результат?
|
| RTX 5090 | ОтличноВ VRAM | 32 GiB31.5 GiB Доступно для модели | 67–135 tok/sОценкаПочему этот результат?
|
| Radeon RX 7800 XT reference | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 42–85 tok/sОценкаПочему этот результат?
|
| Radeon RX 7900 XTX Reference | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 50–101 tok/sОценкаПочему этот результат?
|
| 2 × RTX 3090 | ОтличноВ VRAM | 48 GiB47 GiB Доступно для модели | 35–70 tok/sОценкаПочему этот результат?
|
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Опубликованные измерения
Опубликованные измерения
Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.
Сколько стоит ПК для этой модели?
Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.
Подобрать AI-сборку
Подобрать AI-сборку
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Источники и допущения
Источники и допущения
https://huggingface.co/meta-llama/Llama-3.1-8B-InstructИсточники и допущения
Model metadata is sourced from the model repository. Quantized weight sizes and performance are estimates, not verified measurements.
Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.
Wide estimated reference range for a 350 W GPU planning profile; not a benchmark and not a measured result. Actual performance depends on the exact GPU, runtime build, context, batching, cooling and settings. All performance values are broad planning estimates, never measured benchmark records.