Как выбрать видеокарту для локального AI

Начните с результата, который нужен

Чат с небольшой моделью, анализ длинных документов, генерация изображений и видео предъявляют разные требования. Число параметров LLM нельзя напрямую сравнивать с числом параметров диффузионной модели: состав весов и память выполнения отличаются.

Для текста зафиксируйте модель, квантование, длину контекста и число одновременных запросов. Для изображения или видео добавьте разрешение, pipeline и кадры. Сохраните один рабочий сценарий — иначе сравнение железа будет менять условия вместе с картой.

Отделите вместимость от скорости

Файл весов — часть бюджета VRAM. К нему добавляются KV cache, буферы runtime и запас. Модель может формально загружаться, но потребовать выгрузки части слоёв в RAM после увеличения контекста.

В таблице ниже расчётные требования одинаковы для одного варианта модели. Если он не помещается на меньшей карте, больший объём меняет режим запуска. Если помещается на обеих, победителя по скорости определяют сопоставимые измерения, а не объём VRAM.

Проверьте backend и всю систему

NVIDIA CUDA, AMD ROCm и Intel backend — разные пути выполнения. Проверьте поддержку конкретной GPU, операционной системы, модели и выбранного runtime. Утверждение «есть 16 GB» не подтверждает, что нужная программа поддерживает карту.

Для покупки проверьте размер конкретной платы, разъёмы, запас БП, охлаждение и системную RAM. Характеристики эталонной модели не гарантируют совместимость партнёрской платы. Справочная карточка без этих данных полезна для памяти, но не завершает проверку сборки.

1. Проверить точную модель и формат.
2. Рассчитать память при рабочем контексте.
3. Проверить runtime и GPU/ОС.
4. Сравнить измерения в одинаковых условиях и реальные предложения.

Когда апгрейд можно отложить

Если текущая задача помещается, а её скорость вас устраивает, новая GPU не обязательна. Иногда полезнее уменьшить контекст, использовать другой вариант квантования или выбрать небольшую модель. Это компромиссы: качество и удобство проверяют на своих заданиях.

Если важного измерения или актуальной цены нет, оставьте этот пункт неизвестным. Расчёт памяти поможет сократить выбор, но не должен превращаться в выдуманный рейтинг быстродействия.

Проверим на расчётных примерах

ESTIMATED · Это расчёт бюджета памяти общего планировщика, не замер VRAM и не подтверждение скорости или запуска на конкретной плате. Модель GPU, ОС и поддержка backend проверяются отдельно. Для генерации изображений/видео действуют разрешение и кадры сохранённого профиля.

Перейти от объяснения к проверке

Следующий полезный материал