Llama 3.2 3B
3B
~48 ток/с на поток
ПодробнееСвернуть
Куда уходит память
- Веса модели2.29 GB
- KV-кэш2.62 GB
- Активации0.01 GB
- CUDA и фреймворк1.01 GB
- Точность
- INT4 / AWQ
- Режим оценки
- контекст 8K × 4 польз.
- Пользователей при этом контексте
- 4
- Свободный контекст в остатке VRAM
- 26K
- Оценка совместимости
- 42/100 · Почти впритык