GPT-OSS 20B
21B MoE · 3.6B активных
~32 ток/с на поток
ПодробнееСвернуть
Куда уходит память
- Веса модели12.24 GB
- KV-кэш0.82 GB
- Активации0.02 GB
- CUDA и фреймворк1.12 GB
- Точность
- INT4 / AWQ
- Режим оценки
- контекст 8K × 4 польз.
- Пользователей при этом контексте
- 51
- Свободный контекст в остатке VRAM
- 329K
- Оценка совместимости
- 79/100 · Умеренно