1. Dlaczego VRAM decyduje o wszystkim?
Pamięć VRAM to dedykowana, ultraszybka pamięć umieszczona bezpośrednio na laminacie karty graficznej (np. 24 GB GDDR6X w RTX 4090 lub 80 GB HBM3 w NVIDIA H100). Przepustowość pamięci GPU sięga od 1000 GB/s do ponad 3000 GB/s, podczas gdy standardowa pamięć RAM DDR5 w komputerze osiąga zaledwie 60–80 GB/s.
Dlatego model działający w całości w pamięci VRAM generuje 50–120 tokenów na sekundę, a ten sam model wypchnięty do pamięci RAM komputera zwalnia do zaledwie 3–8 tokenów na sekundę.
2. Co zajmuje pamięć: Wagi vs KV Cache (Kontekst)
Częstym błędem jest zakładanie, że jeśli plik modelu zajmuje 16 GB, to karta 16 GB wystarczy. Pamięć GPU dzieli się na dwa krytyczne zasoby:
1. Static Weights (Wagi modelu): Stała wielkość zdefiniowana przez architekturę i kwantyzację (np. 4.8 GB dla Llama 8B Q4).
2. KV Cache (Pamięć kontekstu): Dynamiczny bufor przechowujący poprzednie pytania i odpowiedzi w trwającej rozmowie. Przy długich dokumentach i oknie kontekstu 32 000 tokenów sam KV Cache potrafi zająć dodatkowe 4–10 GB VRAM-u!
3. Tabela doboru pamięci VRAM dla popularnych modeli (2026)
Oto zestawienie minimalnego i rekomendowanego VRAM-u dla typowych wielkości modeli z bezpiecznym buforem na kontekst 8k–16k tokenów:
Wielkość Modelu | Format Kwantyzacji | Wymagany VRAM (Wagi) | Zalecana Karta GPU | Zastosowanie |
7B / 8B (Llama 3.1, Qwen 2.5) | Q4_K_M | ~5.5 GB | RTX 3060 12GB / RTX 4060 | Proste boty, chatboty, streszczenia |
7B / 8B | FP16 (Bezstratny) | ~16 GB | RTX 4080 16GB / RTX 4090 | Precyzyjne benchmarki, fine-tuning |
14B (Qwen 2.5 14B) | Q4_K_M | ~10.5 GB | RTX 4070 Ti 16GB / RTX 4090 | Bardzo wysoka inteligencja logiczna |
32B (Qwen 2.5 32B, Yi) | Q4_K_M | ~20.5 GB | NVIDIA RTX 4090 24GB | Pisanie zaawansowanego kodu, logika agentów |
70B (Llama 3.1 70B) | Q4_K_M | ~43 GB | 2x RTX 4090 (48GB) lub A100 80GB | Poziom zbliżony do GPT-4o |
70B | FP16 (Surowy) | ~145 GB | 2x A100 80GB lub 2x H100 | Przemysłowe potoki produkcyjne |
4. Rekomendowane karty w chmurze (RTX 4090 vs A100)
• Królowa opłacalności: NVIDIA RTX 4090 (24GB VRAM): Wynajmowana w RunPod za ~$0.34/h. Jest w stanie obsłużyć 90% potrzeb programistów: od generowania grafik Flux po modele językowe 32B.
• Standard Enterprise: NVIDIA A100 80GB: Wynajmowana od ~$1.10/h. Niezbędna, jeśli uruchamiasz modele 70B w pojedynczej instancji lub przetwarzasz olbrzymie pliki PDF z oknem kontekstu 64k tokenów.
5. Zasada 20% marginesu bezpieczeństwa
Zawsze dodawaj minimum 20% wolnego VRAM-u ponad rozmiar pliku z wagami modelu. Jeśli model Q4_K_M zajmuje 19.5 GB, uruchomienie go na karcie z 20 GB pamięci doprowadzi do błędu `CUDA Out of Memory` przy pierwszej dłuższej konwersacji.