Qwen2.5-7B-Instruct
От весов и контекста до конкретной GPU. Прозрачный расчёт памяти, размещения и ограничений.
Внешний источникО модели и лицензии
- Разработчик
- Alibaba Cloud / Qwen Team
- Лицензия
- Apache-2.0
- Архитектура
- Qwen2ForCausalLM (dense decoder with GQA)
Какое железо нужно этой модели?
Системная RAM: 6.5 GiB
Хранилище: 4.9 GiB
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Как рассчитана память
Вместимость — не рейтинг качества модели. Сравнивайте одинаковые quant, контекст и runtime.
Варианты и runtime
Варианты и runtime
| Квантование | Веса модели | Runtime | Основа решения |
|---|---|---|---|
| Q4_K_MGGUF | 4.3 GiB | llama.cpp · layer split | Оценка |
| Q8_0GGUF | 7.5 GiB | llama.cpp · layer split | Оценка |
| F16GGUF | 14.2 GiB | llama.cpp · layer split | Оценка |
Как контекст меняет память
Как контекст меняет память
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов.
Нативный / максимальный контекст: 32K / 128K
На каком железе запустится?
На каком железе запустится?
Матрица размещения
Оценка для выбранной квантовки. RAM 64 GiB · SSD 1 TiB · batch 1. Физическая VRAM нескольких GPU не означает автоматического объединения памяти.
| GPU | 8K | 32K | 64K | 128K |
|---|---|---|---|---|
| RTX 3080 Ti12 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ХорошоПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 14.8 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 309024 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 14.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4070 SUPER12 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ХорошоПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 14.8 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 4080 SUPER16 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОграниченноПочемуТребуется: 14.8 GiB Малый запас VRAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 409024 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 14.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 507012 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ХорошоПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | Нужна выгрузка в RAMПочемуТребуется: 14.8 GiB Часть весов или KV cache потребуется перенести в RAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 508016 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОграниченноПочемуТребуется: 14.8 GiB Малый запас VRAM. KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| RTX 509032 GiB | ОтличноПочемуТребуется: 6.4 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 8.1 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 10.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 14.8 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
| 2 × RTX 309048 GiB | ОтличноПочемуТребуется: 7.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 9 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 11.3 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. | ОтличноПочемуТребуется: 15.9 GiB KV cache рассчитан по архитектуре, контексту и числу параллельных запросов. Для расширенного контекста нужна настройка runtime / RoPE scaling. Веса и KV распределяются между GPU с накладными расходами. PCIe-топология не задана; скорость multi-GPU остаётся грубой оценкой. NVLink/P2P не подтверждены. Наличие разъёма не означает установленный bridge. Бюджет памяти: веса + runtime + KV cache + execution margin. Резерв драйвера вычитается отдельно. Расчёт использует явно указанные источники и допущения. |
Контекст выше native может требовать дополнительной настройки runtime.
Оценка скорости · низкая уверенность · 8K
Batch 1. Память и скорость рассчитаны существующим Capability Engine; это оценки, не результаты тестов. RAM 64 GiB · SSD 1 TiB.
| GPU | Основа решения | Доступно | Оценка скорости · низкая уверенность |
|---|---|---|---|
| RTX 3080 Ti | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 3090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4070 SUPER | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4080 SUPER | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 4090 | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5070 | ОтличноВ VRAM | 12 GiB11.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5080 | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| RTX 5090 | ОтличноВ VRAM | 32 GiB31.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| Radeon RX 7800 XT reference | ОтличноВ VRAM | 16 GiB15.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| Radeon RX 7900 XTX Reference | ОтличноВ VRAM | 24 GiB23.5 GiB Доступно для модели | —ОценкаПочему этот результат?
|
| 2 × RTX 3090 | ОтличноВ VRAM | 48 GiB47 GiB Доступно для модели | —ОценкаПочему этот результат?
|
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Опубликованные измерения
Опубликованные измерения
Для этой модели нет точных опубликованных измерений в текущем наборе. Оценки скорости ниже не подменяют benchmark.
Сколько стоит ПК для этой модели?
Три стратегии существующего optimizer, а не гарантированный глобальный минимум цены. Поиск учитывает класс задач; каждый вариант отдельно проверяется для выбранной квантовки и контекста.
Подобрать AI-сборку
Подобрать AI-сборку
Память объединяется только при поддержке sharding выбранным runtime. PCIe, NVLink и P2P здесь не подтверждены; ускорение не гарантируется.
Источники и допущения
Источники и допущения
https://huggingface.co/Qwen/Qwen2.5-7B-Instructhttps://huggingface.co/Qwen/Qwen2.5-7B-Instruct/raw/main/config.jsonИсточники и допущения
Официальные сведения о модели и конфигурации задокументированы 2026-10-05; архитектура и число параметров взяты из внешней документации.
Конфигурация отключает sliding-window attention; headDim 128 вычислен из документированных hidden_size 3584 и num_attention_heads 28, поскольку отдельного поля head_dim в config.json нет.
Карточка указывает полный контекст 131072 токена; config.json задаёт 32768. Для контекста свыше 32768 официальная карточка предписывает YaRN (factor 4.0, original_max_position_embeddings 32768).
Размеры вариантов рассчитаны для планирования и не являются подтверждённым размером файлов; измеренной производительности для этой записи нет.
Расчётный размер для планирования: ceil(7610000000 параметров × 4.8 бит / 8 / 1 048 576) МиБ; это не скачанный и не подтверждённый издателем размер файла.