Mistral-7B-Instruct-v0.3
От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.
О модели и лицензии
- Разработчик
- Mistral AI
- Лицензия
- Apache-2.0
- Архитектура
- MistralForCausalLM
Какое железо нужно этой модели?
Системная RAM: 6.4 GiB
Хранилище: 4.7 GiB
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Как рассчитана память
Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.
Варианты и runtime
Варианты и runtime
| Квантование | Веса модели | Runtime | Основа решения |
|---|---|---|---|
| Q4_K_MGGUF | 4.1 GiB | llama.cpp · layer split | Оценка |
| Q8_0GGUF | 7.2 GiB | llama.cpp · layer split | Оценка |
| F16GGUF | 13.5 GiB | llama.cpp · layer split | Оценка |
Как контекст меняет память
Как контекст меняет память
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Нативный / максимальный контекст: 32K / 32K
На каком железе запустится?
На каком железе запустится?
Матрица размещения
Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.
| GPU | 8K | 32K |
|---|---|---|
| RTX 3080 Ti12 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ХорошоПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 309024 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 4070 SUPER12 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ХорошоПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 4080 SUPER16 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 409024 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 507012 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ХорошоПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 508016 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| RTX 509032 GiB | ОтличноПочемуТребуется: 6.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 10.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
| 2 × RTX 309048 GiB | ОтличноПочемуТребуется: 7.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. | ОтличноПочемуТребуется: 11.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует заданные параметры и допущения. |
Контекст выше native может требовать дополнительной настройки runtime.
Оценка скорости · низкая уверенность · 8K
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.
| GPU | Основа решения | Доступно | Оценка скорости · низкая уверенность |
|---|---|---|---|
| RTX 3080 Ti | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 3090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4070 SUPER | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4080 SUPER | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5070 | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5080 | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5090 | ОтличноВ VRAM | 32 GiB31.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| Radeon RX 7800 XT reference | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| Radeon RX 7900 XTX Reference | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| 2 × RTX 3090 | ОтличноВ VRAM | 48 GiB47 GiB Доступно для модели | —ОценкаПочему этот результат?
|
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Опубликованные измерения
Опубликованные измерения
Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.
Сколько стоит ПК для этой модели?
Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.
Подобрать AI-сборку
Подобрать AI-сборку
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.