Qwen3.5-4B
4B
~37 ток/с на поток
ПодробнееСвернуть
Куда уходит память
- Веса модели4.49 GB
- KV-кэш1.07 GB
- Активации0.02 GB
- CUDA и фреймворк1.02 GB
- Точность
- INT4 / AWQ
- Режим оценки
- контекст 8K × 4 польз.
- Пользователей при этом контексте
- 9
- Свободный контекст в остатке VRAM
- 51K
- Оценка совместимости
- 61/100 · Высокая загрузка