ForgeBench.

Ollama: установка на Windows и какие модели пойдут на вашей видеокарте

Ollama — самый простой способ запустить нейросеть локально: одна программа, одна команда для скачивания модели. Главное ограничение — видеопамять: модель должна в неё поместиться, иначе скорость резко падает.

Установка Ollama на WindowsКакие модели пойдут на вашей видеокартеГде хранятся модели и как перенести их на другой дискЕсли работает медленно

Установка Ollama на Windows

Скачайте установщик с официального сайта ollama.com и запустите его — программа сама поставит службу и добавит команду ollama в терминал. Вариант для опытных: в PowerShell выполнить команду установки с сайта (irm https://ollama.com/install.ps1 | iex).

После установки Ollama работает в фоне и слушает локальный адрес http://localhost:11434 — к нему подключаются чаты, плагины и программы.

  1. Скачайте и установите Ollama с ollama.com.
  2. Откройте терминал (PowerShell).
  3. Выполните ollama run qwen3:8b — модель скачается и запустится чат.
  4. Список скачанных моделей — ollama list, удалить модель — ollama rm имя.

Какие модели пойдут на вашей видеокарте

Ollama по умолчанию скачивает модели в квантовании Q4 — это примерно 0,6 ГБ видеопамяти на миллиард параметров плюс запас под контекст.

8 ГБ (RTX 4060, RTX 3060 Ti): модели до 8B — Qwen3 8B, Llama 3.1 8B, Gemma 3 4B. 12 ГБ (RTX 3060 12 ГБ, RTX 5070): до 14B — Qwen3 14B. 16 ГБ (RTX 5060 Ti 16 ГБ, RX 9070): 14B с длинным контекстом или 20–24B. 24 ГБ (RTX 3090, RTX 4090): до 32B — Qwen3 32B, DeepSeek-R1 32B. Для 70B нужно две карты по 24 ГБ или выгрузка части модели в оперативную память.

  1. Определите объём видеопамяти своей карты.
  2. Выберите модель, которая занимает не больше 80% памяти.
  3. Если ответы идут медленно — модель не поместилась, возьмите размер меньше.

Где хранятся модели и как перенести их на другой диск

По умолчанию модели лежат в папке пользователя (.ollama\models) и занимают от 2 до 40+ ГБ каждая. Чтобы хранить их на другом диске, задайте переменную окружения OLLAMA_MODELS с новым путём и перезапустите Ollama.

Если работает медленно

Чаще всего модель не поместилась в видеопамять и часть слоёв выполняется на процессоре. Команда ollama ps показывает, сколько модели загружено на GPU. Уменьшите размер модели или контекст, закройте игры и браузер с аппаратным ускорением.

Проверим на расчётных примерах

Веса 8.8 GiBКэш контекста 1.5 GiBПрограмма и резерв 2.1 GiB
Расчётные требования памяти: batch 1, FP16 KV cache, контекст указан в строке
Модель / вариантВесаKV cacheВсего VRAMКонтекст
Qwen2.5-14B-InstructQ4_K_M · 8K8.8 GiB1.5 GiB12.4 GiBвключая runtime и запас8K
Qwen2.5-14B-InstructQ8_0 · 8K15.6 GiB1.5 GiB19.7 GiBвключая runtime и запас8K
Qwen2.5-14B-InstructF16 · 8K29.3 GiB1.5 GiB34.5 GiBвключая runtime и запас8K
Qwen2.5-14B-InstructQ4_K_M · 32K8.8 GiB6 GiB17.2 GiBвключая runtime и запас32K
Qwen2.5-14B-InstructQ8_0 · 32K15.6 GiB6 GiB24.6 GiBвключая runtime и запас32K
Qwen2.5-14B-InstructF16 · 32K29.3 GiB6 GiB39.4 GiBвключая runtime и запас32K

ESTIMATED · Это расчёт бюджета памяти общего планировщика, не замер VRAM и не подтверждение скорости или запуска на конкретной плате. Модель GPU, ОС и поддержка backend проверяются отдельно. Для генерации изображений/видео действуют разрешение и кадры сохранённого профиля.

Перейти от объяснения к проверке

Проверить, поместится ли модель →Требования моделей к VRAM →Как выбрать видеокарту для AI →

Следующий полезный материал

Как выбрать видеокарту для локального AI

От модели и контекста до GPU: VRAM, backend, квантование и проверка памяти на конкретных примерах.

Открыть →

Материал подготовлен ForgeBench · обновлён 2026-10-25. Примеры ESTIMATED; актуальные условия расчёта и ограничения смотрите в методике.

Создано студиейMGPU77