Q4, Q8 и F16: сколько памяти нужно модели

Что именно занимает память

Упрощённый размер весов: параметры × эффективные биты на вес / 8. Перевод в MiB делит байты на 1 048 576. GGUF содержит служебные данные и смешанные типы тензоров, поэтому имя Q4 не означает ровно четыре бита для каждого параметра.

В планировщике Q4_K_M и Q8_0 имеют явные расчётные коэффициенты. Они не заменяют размер конкретного опубликованного файла. Когда размер рассчитан, он остаётся ESTIMATED.

Почему контекст меняет результат

Для поддерживаемого полного внимания KV cache зависит от числа слоёв, KV-голов, размерности головы, контекста, batch и типа элементов. Grouped-query attention меняет потребность относительно модели с другим числом KV-голов.

У моделей с локальным или гибридным вниманием другая структура хранения. Нельзя взять коэффициент Qwen и объявить его точным для Gemma. Если архитектура пока не поддержана, честный результат — ограничение расчёта.

Сравнивайте один сценарий

Ниже одна модель при одинаковом batch. Изменяется формат и контекст, а не GPU или разрешение. Значения получены тем же движком, который используется в инструментах сайта.

Меньше памяти не равно лучшее качество. Сравнивайте ответы на собственных заданиях; не делайте вывод о качестве только по цифре Q4/Q8. F16 в этом интерфейсе — вариант весов, а не обещание одинакового способа выполнения на любом оборудовании.

1. Зафиксировать модель и контекст.
2. Посмотреть отдельно веса и KV cache.
3. Оставить запас под runtime.
4. Проверить выбранный файл и поддержку формата перед скачиванием.

Проверим на расчётных примерах

ESTIMATED · Это расчёт бюджета памяти общего планировщика, не замер VRAM и не подтверждение скорости или запуска на конкретной плате. Модель GPU, ОС и поддержка backend проверяются отдельно. Для генерации изображений/видео действуют разрешение и кадры сохранённого профиля.

Перейти от объяснения к проверке

Следующий полезный материал