Выберите модель и оборудование, чтобы оценить память и возможности запуска.
Ваша задача
Расширенные настройки
Все расчёты — inference. MiB используются внутри engine, GiB — в интерфейсе. Для нескольких GPU без полной сборки PCIe-топология неизвестна; FIT относится к бюджету памяти.
Модель, лицензия и источники
Meta · Llama 3.1 · Llama decoder-only Transformer · Llama 3.1 Community License
EXTERNAL
Model metadata is sourced from the model repository. Quantized weight sizes and performance are estimates, not verified measurements.
Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.