Meta🧠 DENSE
Llama 3.2 3B
3B
ПАРАМЕТРЫ
4 ГБ
МИН._VRAM (Q4)
6 ГБ
МИН._VRAM (FP16)
128K
КОНТЕКСТ
💵 ЦЕНЫ_API (OPENROUTER)
ВХОД: $0.05/1M ток.ВЫХОД: $0.34/1M ток.
🖥 СОВМЕСТИМЫЕ_GPU (44)
GPU с ≥4 ГБ VRAM для запуска Llama 3.2 3B в квантизации Q4_K_M
| GPU | VRAM | BANDWIDTH | TOK/S | ЦЕНА (НОВАЯ) | $/TOK/S |
|---|---|---|---|---|---|
| GB200 NVL 384GBNVIDIA | 384 ГБ | 16000 ГБ/с | 1600.0 | $70,000 | $44 |
| B200 192GBNVIDIA | 192 ГБ | 8000 ГБ/с | 880.0 | $40,000 | $45 |
| B100 192GBNVIDIA | 192 ГБ | 8000 ГБ/с | 680.0 | $35,000 | $51 |
| MI300X 192GBAMD | 192 ГБ | 5300 ГБ/с | 450.0 | $15,000 | $33 |
| Gaudi 3 128GBIntel | 128 ГБ | 3700 ГБ/с | 441.8 | $15,000 | $34 |
| H200 SXM 141GBNVIDIA | 141 ГБ | 4800 ГБ/с | 407.5 | $30,000 | $74 |
| H100 SXM 80GBNVIDIA | 80 ГБ | 3350 ГБ/с | 400.0 | $30,000 | $75 |
| MI250X 128GBAMD | 128 ГБ | 3200 ГБ/с | 382.1 | $12,000 | $31 |
| H200 PCIe 141GBNVIDIA | 141 ГБ | 4800 ГБ/с | 366.8 | $28,000 | $76 |
| H100 PCIe 80GBNVIDIA | 80 ГБ | 2039 ГБ/с | 340.0 | $25,000 | $74 |
| A100 80GBNVIDIA | 80 ГБ | 2039 ГБ/с | 260.0 | $15,000 | $58 |
| RTX 5090 32GBNVIDIA | 32 ГБ | 1792 ГБ/с | 250.0 | $1,999 | $8 |
| Ascend 910C 128GBHuawei | 128 ГБ | 1600 ГБ/с | 240.0 | $15,000 | $63 |
| A100 40GBNVIDIA | 40 ГБ | 1555 ГБ/с | 230.0 | $10,000 | $43 |
| Biren BR100 64GBBiren | 64 ГБ | 1024 ГБ/с | 200.0 | $12,000 | $60 |
| RTX 6000 Ada 48GBNVIDIA | 48 ГБ | 960 ГБ/с | 198.0 | $6,500 | $33 |
| RTX 5070 Ti 16GBNVIDIA | 16 ГБ | 896 ГБ/с | 186.7 | $749 | $4 |
| RTX 4090 24GBNVIDIA | 24 ГБ | 1008 ГБ/с | 180.0 | $1,600 | $9 |
| L40S 48GBNVIDIA | 48 ГБ | 864 ГБ/с | 180.0 | $8,000 | $44 |
| L40 48GBNVIDIA | 48 ГБ | 864 ГБ/с | 180.0 | $6,500 | $36 |
| Ascend 910B 64GBHuawei | 64 ГБ | 1200 ГБ/с | 160.0 | $10,000 | $63 |
| Atlas 300T A2 64GBHuawei | 64 ГБ | 1200 ГБ/с | 160.0 | $8,000 | $50 |
| RX 7900 XT 20GBAMD | 20 ГБ | 800 ГБ/с | 152.2 | $799 | $5 |
| Mac M2 UltraApple | 192 ГБ | 800 ГБ/с | 152.2 | $7,000 | $46 |
| Mac M3 Ultra 192GBApple | 192 ГБ | 800 ГБ/с | 152.2 | $6,999 | $46 |
| RTX 3080 10GBNVIDIA | 10 ГБ | 760 ГБ/с | 144.6 | $600 | $4 |
| RTX 4080 SUPER 16GBNVIDIA | 16 ГБ | 736 ГБ/с | 140.0 | $999 | $7 |
| RTX 4080 16GBNVIDIA | 16 ГБ | 717 ГБ/с | 136.4 | $1,000 | $7 |
| A40 48GBNVIDIA | 48 ГБ | 696 ГБ/с | 134.6 | $5,000 | $37 |
| RTX 5070 12GBNVIDIA | 12 ГБ | 672 ГБ/с | 130.0 | $549 | $4 |
| RTX 4070 Ti SUPER 16GBNVIDIA | 16 ГБ | 672 ГБ/с | 130.0 | $799 | $6 |
| RTX 5080 16GBNVIDIA | 16 ГБ | 960 ГБ/с | 123.1 | $999 | $8 |
| RX 7900 XTX 24GBAMD | 24 ГБ | 960 ГБ/с | 123.1 | $900 | $7 |
| RX 7800 XT 16GBAMD | 16 ГБ | 624 ГБ/с | 120.7 | $499 | $4 |
| RTX 3090 24GBNVIDIA | 24 ГБ | 936 ГБ/с | 120.0 | $900 | $8 |
| Cloudblazer i30 32GBEnflame | 32 ГБ | 819 ГБ/с | 120.0 | $6,000 | $50 |
| A30 24GBNVIDIA | 24 ГБ | 933 ГБ/с | 119.6 | $4,500 | $38 |
| A10 24GBNVIDIA | 24 ГБ | 600 ГБ/с | 93.4 | $3,500 | $37 |
| Mac M4 MaxApple | 64 ГБ | 546 ГБ/с | 85.0 | $4,000 | $47 |
| RTX 4070 Ti 12GBNVIDIA | 12 ГБ | 504 ГБ/с | 78.5 | $700 | $9 |
| RTX 4070 SUPER 12GBNVIDIA | 12 ГБ | 504 ГБ/с | 78.5 | $599 | $8 |
| RTX 4060 Ti 16GBNVIDIA | 16 ГБ | 288 ГБ/с | 73.8 | $499 | $7 |
| Mac M4 ProApple | 24 ГБ | 273 ГБ/с | 70.0 | $2,500 | $36 |
| Mac M4 16GBApple | 16 ГБ | 120 ГБ/с | 30.8 | $1,199 | $39 |