1. RAM systemowy a VRAM karty graficznej w serwerze AI
Wymagana ilość pamięci RAM w maszynie pod sztuczną inteligencję zależy od tego, w jakiej architekturze uruchamiasz modele. Pamięć systemowa (RAM) obsługuje system operacyjny, kontenery Docker, bazy wektorowe i bufory I/O, natomiast VRAM to ultraszybka pamięć wbudowana w dedykowaną kartę graficzną GPU.
Pamięci RAM i VRAM nie są bezpośrednio wymienne. Nowoczesne silniki (np. llama.cpp czy Ollama) potrafią przerzucać część warstw modelu do RAM-u (CPU Offloading), lecz wiąże się to ze znaczącym spadkiem przepustowości tokenów ze względu na ograniczenia szyny PCIe.
2. Tabela: Orientacyjny dobór RAM-u pod serwer AI
| Ilość RAM-u | Rekomendowane zastosowanie | Przykładowy setup serwera |
|---|---|---|
| 8 GB RAM | Wstępne testy CLI, lekkie mikrousługi i proste skrypty. Zbyt mało pod komfortową pracę z LLM. | Tani VPS pod proxy lub scraper |
| 16 GB RAM | Prosty serwer domowy, modele 7B/8B na CPU (Q4_K_M) lub lekki stos Ollama + Open WebUI. | Hostinger KVM 2 / Hetzner CX32 |
| 32 GB RAM | Złoty standard startowy pod większość projektów AI: modele 8B/14B, potok RAG, Docker. | Dedyk domowy lub VPS KVM 4 |
| 64 GB RAM | Duże modele na CPU (np. Qwen 2.5 32B), rozbudowana baza wektorowa Qdrant, kilka równoległych kontenerów. | Maszyna stacyjna / Hetzner AX |
| 128 GB+ RAM | Poważne obciążenia produkcyjne, modele 70B na CPU, przetwarzanie setek tysięcy wektorów embeddingów. | Serwer dedykowany / Chmura GPU |
3. Co zużywa pamięć RAM podczas pracy z AI?
Podczas kalkulacji zasobów serwera należy uwzględnić następujące składowe:
• System operacyjny i demony: Czysty Linux Ubuntu/Debian zużywa ok. 0.8–1.5 GB RAM.
• Kontenery Docker: Każda usługa (np. Open WebUI, Ollama, n8n, PostgreSQL) wymaga od 500 MB do 2 GB RAM na własne procesy.
• Baza wektorowa (np. Qdrant / Chroma): Przechowywanie indeksów HNSW w pamięci operacyjnej drastycznie przyspiesza wyszukiwanie, lecz wymaga od 2 do 8 GB RAM przy setkach tysięcy dokumentów.
• Bufor kontekstu (KV Cache na CPU): Długie okno kontekstowe (np. 32k tokenów) może wymagać dodatkowych 2–6 GB RAM na sesję użytkownika.
4. RAM czy VRAM co jest ważniejsze przy doborze sprzętu?
Odpowiedź zależy od wybranego procesora obliczeniowego:
• Jeśli masz dedykowaną kartę graficzną (GPU): Najważniejszy jest VRAM. Jeśli wagi modelu mieszczą się w całości w pamięci karty (np. RTX 3060 12GB lub RTX 4090 24GB), model generuje 30–80 tokenów/s. RAM systemowy musi jedynie zapewnić zapas dla systemu i Dockera (wystarczy 16–32 GB).
• Jeśli działasz wyłącznie na procesorze (CPU): Pamięć RAM staje się głównym gardłem. Musi pomieścić wagi modelu, cały kontekst oraz zapewnić jak najwyższą przepustowość szyny pamięci (warto stosować konfiguracje Dual-Channel lub Quad-Channel DDR5).
5. Jak dobrać pamięć w praktyce? Krok po kroku
Przed zakupem lub wynajmem serwera przejdź przez poniższą listę kontrolną:
1. Zdefiniuj model bazowy: Sprawdź rozmiar pliku modelu w formacie GGUF Q4_K_M (np. Llama 3.1 8B zajmuje ok. 4.9 GB).
2. Dodaj narzut na kontekst: Przyjmij min. 2 GB na obsługę bufora kontekstu 8k–16k tokenów.
3. Dodaj zapas na usługi towarzyszące: Zarezerwuj minimum 4 GB RAM na system operacyjny, Docker, bazę danych i panel czatu.
4. Przemnóż przez współczynnik bezpieczeństwa 1.25x: Pozwoli to uniknąć awarii spowodowanych mechanizmem OOM Killer (Out-Of-Memory).