1. Czym jest inferencja AI?
Inferencja AI (ang. AI Inference, pol. wnioskowanie) to proces, w którym wytrenowany już model sztucznej inteligencji jest wykorzystywany w praktyce do analizowania nowych danych i generowania na ich podstawie odpowiedzi, predykcji lub treści.
Mówiąc najprościej:
• Trenowanie (Training) to proces nauki (jak wielomiesięczne czytanie książek i przygotowywanie się do egzaminu).
• Inferencja (Inference) to praktyczne wykorzystanie zdobytej wiedzy w czasie rzeczywistym (odpowiadanie na pytania na egzaminie).
Za każdym razem, gdy wysyłasz zapytanie do ChatGPT, generujesz grafikę w Flux/Midjourney lub uruchamiasz model lokalnie przez Ollamę, wykonujesz właśnie proces inferencji.
2. Trenowanie a inferencja – kluczowe różnice
Różnice pomiędzy tymi dwoma etapami decydują o doborze sprzętu i budżetu:
| Cecha | Trenowanie modelu (Training) | Inferencja (Inference) |
|---|---|---|
| Cel | Nauka wzorców i modyfikacja wag sieci neuronowej. | Wykorzystanie zamrożonych wag do wygenerowania wyniku. |
| Częstotliwość | Jednorazowo lub okresowo (nowe wersje wag). | Ciągle – miliony razy dziennie przy każdym wywołaniu API. |
| Wymagania sprzętowe | Klastry serwerowe (setki kart H100/H200/B200). | Od pojedynczego serwera, przez domowe GPU, po smartfony (Edge AI). |
| Główny koszt | Jednorazowy budżet R&D / CAPEX. | Bieżący koszt operacyjny (OPEX) rosnący wraz z ruchem. |
3. Jak przebiega inferencja w LLM? Fazy Prefill i Decode
Proces generowania odpowiedzi przez modele językowe składa się z dwóch wyraźnie różnych etapów, które w zupełnie odmienny sposób obciążają sprzęt komputerowy:
1. Faza Prefill (Przetwarzanie promptu wejściowego)
Model przyjmuje cały tekst wpisany przez użytkownika i przetwarza wszystkie tokeny równolegle, tworząc bufor KV Cache. Etap ten jest ograniczony mocą obliczeniową rdzeni GPU (compute-bound).
2. Faza Decode (Generowanie odpowiedzi token po tokenie)
Model generuje odpowiedź słowo po słowie w sposób autoregresyjny. Etap ten jest ograniczony przepustowością szyny pamięci VRAM (memory-bound), ponieważ dla każdego tokenu karta musi odczytać miliardy parametrów modelu z pamięci.
4. Kluczowe metryki wydajności: TTFT, TPS i Przepustowość
Podczas oceny wydajności silników inferencji inżynierowie mierzą trzy kluczowe wskaźniki:
1. TTFT (Time To First Token) – czas od wysłania zapytania do pojawienia się pierwszego tokenu odpowiedzi.
2. TPS (Tokens Per Second) – prędkość generowania kolejnych słów (komfortowe minimum to 15–30 tokenów/s).
3. Throughput (Przepustowość całkowita) – łączna liczba tokenów na sekundę obsługiwana równolegle dla wielu użytkowników.
5. Jak przyspiesza się inferencję? (Optymalizacja VRAM i silniki)
Najpopularniejsze metody optymalizacji to:
• Kwantyzacja – redukcja wag do INT8/FP8/4-bit (GGUF, AWQ).
• PagedAttention & KV Caching – eliminacja fragmentacji pamięci VRAM.
• Continuous Batching – równoległe dołączanie zapytań w silnikach takich jak vLLM.
• Speculative Decoding – przewidywanie słów przez lekki draft model.