Выберите модель и оборудование, чтобы оценить память и возможности запуска.
Ваша задача
Расширенные настройки
Все расчёты — inference. MiB используются внутри engine, GiB — в интерфейсе. Для нескольких GPU без полной сборки PCIe-топология неизвестна; FIT относится к бюджету памяти.
Official config has native 32,768 positions; the model card describes extension to 131,072 using YaRN. Long-context operation requires YaRN configuration. Estimated weights/workload are not verified runtime requirements.
Estimated GGUF file size calibrated to the supplied Q4 reference value; quantization bit rate includes approximate metadata overhead. Not a measured download size.