Qwen2.5-14B-Instruct
От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.
Внешний источникО модели и лицензии
- Разработчик
- Alibaba Qwen
- Лицензия
- Apache-2.0
- Архитектура
- Qwen2 decoder-only Transformer
Какое железо нужно этой модели?
Системная RAM: 8.1 GiB
Хранилище: 10.1 GiB
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Как рассчитана память
Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.
Варианты и runtime
Варианты и runtime
| Квантование | Веса модели | Runtime | Основа решения |
|---|---|---|---|
| Q4_K_MGGUF | 8.8 GiB | llama.cpp · layer split | Оценка |
| Q8_0GGUF | 15.6 GiB | llama.cpp · layer split | Оценка |
| F16GGUF | 29.3 GiB | llama.cpp · layer split | Оценка |
Как контекст меняет память
Как контекст меняет память
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Нативный / максимальный контекст: 32K / 128K
На каком железе запустится?
На каком железе запустится?
Матрица размещения
Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.
| GPU | 8K | 32K | 64K | 128K |
|---|---|---|---|---|
| RTX 3080 Ti12 GiB | Нужна выгрузка в RAMПочемуТребуется: 12.4 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 17.2 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 309024 GiB | ОтличноПочемуТребуется: 12.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 17.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4070 SUPER12 GiB | Нужна выгрузка в RAMПочемуТребуется: 12.4 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 17.2 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4080 SUPER16 GiB | ОтличноПочемуТребуется: 12.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 17.2 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 409024 GiB | ОтличноПочемуТребуется: 12.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 17.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 507012 GiB | Нужна выгрузка в RAMПочемуТребуется: 12.4 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 17.2 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 508016 GiB | ОтличноПочемуТребуется: 12.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 17.2 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 23.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 509032 GiB | ОтличноПочемуТребуется: 12.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 17.2 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 23.7 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 36.7 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| 2 × RTX 309048 GiB | ОтличноПочемуТребуется: 13.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 18.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 25.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ХорошоПочемуТребуется: 38.5 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
Контекст выше native может требовать дополнительной настройки runtime.
Оценка скорости · низкая уверенность · 8K
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.
| GPU | Основа решения | Доступно | Оценка скорости · низкая уверенность |
|---|---|---|---|
| RTX 3080 Ti | Нужна выгрузка в RAMВыгрузка в RAM | 12 GiB11.5 GiB Доступно для модели | 8–40 tok/sОценкаПочему этот результат?
|
| RTX 3090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 40–80 tok/sОценкаПочему этот результат?
|
| RTX 4070 SUPER | Нужна выгрузка в RAMВыгрузка в RAM | 12 GiB11.5 GiB Доступно для модели | 6–30.5 tok/sОценкаПочему этот результат?
|
| RTX 4080 SUPER | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 37–76 tok/sОценкаПочему этот результат?
|
| RTX 4090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 46–94 tok/sОценкаПочему этот результат?
|
| RTX 5070 | Нужна выгрузка в RAMВыгрузка в RAM | 12 GiB11.5 GiB Доступно для модели | 6.5–33 tok/sОценкаПочему этот результат?
|
| RTX 5080 | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 40–82 tok/sОценкаПочему этот результат?
|
| RTX 5090 | ОтличноВ VRAM | 32 GiB31.5 GiB Доступно для модели | 53–108 tok/sОценкаПочему этот результат?
|
| Radeon RX 7800 XT reference | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | 33–68 tok/sОценкаПочему этот результат?
|
| Radeon RX 7900 XTX Reference | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | 40–81 tok/sОценкаПочему этот результат?
|
| 2 × RTX 3090 | ОтличноВ VRAM | 48 GiB47 GiB Доступно для модели | 28–56 tok/sОценкаПочему этот результат?
|
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Опубликованные измерения
Опубликованные измерения
Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.
Сколько стоит ПК для этой модели?
Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.
Подобрать AI-сборку
Подобрать AI-сборку
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Источники и допущения
Источники и допущения
https://huggingface.co/Qwen/Qwen2.5-14B-Instruct/raw/main/config.jsonhttps://huggingface.co/Qwen/Qwen2.5-14B-InstructИсточники и допущения
Official config has native 32,768 positions; the model card describes extension to 131,072 using YaRN. Long-context operation requires YaRN configuration. Estimated weights/workload are not verified runtime requirements.
Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.
Wide estimated reference range for a 350 W GPU planning profile; not a benchmark and not a measured result. Actual performance depends on the exact GPU, runtime build, context, batching, cooling and settings. All performance values are broad planning estimates, never measured benchmark records.