1. Czym jest token?
Token to fragment tekstu, na którym operuje model językowy. Model nie widzi liter ani całych słów, tylko ciąg tokenów zamienionych na liczby. Token może być całym krótkim słowem, jego częścią, znakiem interpunkcyjnym albo spacją z kawałkiem wyrazu.
Przykład: słowo „kot” to zwykle jeden token, a „najprawdopodobniej” może zostać podzielone na trzy lub cztery fragmenty. Dokładny podział zależy od tokenizera, czyli słownika i reguł konkretnego modelu. Ten sam tekst w Llamie, Qwenie i modelach OpenAI da różną liczbę tokenów.
2. Jak działa tokenizacja?
Większość współczesnych modeli używa tokenizacji typu BPE (Byte Pair Encoding) albo podobnych metod. Tokenizer powstaje przed treningiem modelu: algorytm przegląda ogromny zbiór tekstów i łączy najczęściej występujące pary znaków w coraz dłuższe fragmenty. Słownik ma zwykle od kilkudziesięciu do ponad 200 tysięcy pozycji.
Skutek jest prosty: popularne słowa i fragmenty dostają własne tokeny, a rzadkie wyrazy są składane z kilku kawałków. Dlatego model „zna” tylko tokeny ze swojego słownika i nie da się go łatwo przenieść na inny tokenizer.
3. Dlaczego polski tekst zużywa więcej tokenów?
Tokenizery większości modeli powstawały głównie na tekstach angielskich. W języku angielskim jeden token to średnio około 4 znaków, czyli mniej więcej trzy czwarte słowa. Polskie słowa są dłuższe, mają wiele końcówek fleksyjnych i znaki diakrytyczne, więc dzielą się na więcej fragmentów.
W praktyce ten sam tekst po polsku zużywa zwykle wyraźnie więcej tokenów niż jego angielskie tłumaczenie, często półtora raza więcej, a w starszych modelach nawet dwa razy. Ma to trzy konsekwencje:
- zapytania po polsku są droższe w API rozliczanym za tokeny,
- do okna kontekstowego zmieści się mniej polskiego tekstu,
- model generuje polską odpowiedź wolniej, bo musi wypisać więcej tokenów.
Nowsze modele mają większe słowniki i radzą sobie z polskim lepiej, a polskie modele, takie jak Bielik, mają tokenizer dopasowany do naszego języka.
4. Tokeny a okno kontekstowe
Okno kontekstowe to maksymalna liczba tokenów, jaką model może jednocześnie „widzieć”: prompt systemowy, historię rozmowy, wklejone dokumenty i własną odpowiedź. Gdy rozmowa przekroczy ten limit, najstarsze fragmenty są obcinane albo zapytanie kończy się błędem.
Każdy token w oknie kontekstowym zajmuje też pamięć w buforze KV Cache. Im dłuższy kontekst, tym więcej VRAM-u potrzebuje model uruchomiony lokalnie. Szczegóły opisujemy we wpisie KV Cache i okno kontekstowe.
Szybkość modelu też mierzy się w tokenach: tokeny na sekundę (t/s) mówią, jak szybko model pisze odpowiedź.
5. Jak liczyć koszty API w tokenach?
Dostawcy API podają ceny za milion tokenów, osobno dla tokenów wejściowych (prompt) i wyjściowych (odpowiedź). Tokeny wyjściowe są zwykle kilka razy droższe. Część dostawców daje też rabat na tokeny wejściowe, które powtarzają się między zapytaniami (cache promptu).
Przykład dla workflow, który 1000 razy dziennie wysyła prompt na 2000 tokenów i dostaje odpowiedź na 500 tokenów, przy cenie 0,30 USD za milion tokenów wejściowych i 1,20 USD za milion wyjściowych:
| Pozycja | Wyliczenie | Koszt dziennie |
| --- | --- | --- |
| Wejście | 1000 × 2000 = 2 mln tokenów × 0,30 USD | 0,60 USD |
| Wyjście | 1000 × 500 = 0,5 mln tokenów × 1,20 USD | 0,60 USD |
| Razem | | 1,20 USD dziennie, ok. 36 USD miesięcznie |
Najprostsze oszczędności to krótszy prompt systemowy, ograniczenie długości odpowiedzi i stała, powtarzalna część promptu na początku, która korzysta z cache. Przy dużym ruchu warto też policzyć, czy taniej nie wyjdzie własny model na wynajętym GPU, na przykład w RunPod, gdzie płacisz za czas pracy karty, a nie za tokeny.