Llama 3.1 8B
8B
~56 ток/с на поток
ПодробнееСвернуть
Куда уходит память
- Веса модели4.39 GB
- KV-кэш4.29 GB
- Активации0.03 GB
- CUDA и фреймворк1.04 GB
- Точность
- INT4 / AWQ
- Режим оценки
- контекст 8K × 4 польз.
- Пользователей при этом контексте
- 5
- Свободный контекст в остатке VRAM
- 34K
- Оценка совместимости
- 56/100 · Высокая загрузка