1. Czym jest LoRA?
LoRA (Low-Rank Adaptation) to metoda dostrajania dużych modeli AI, którą opisali badacze Microsoftu w 2021 roku. Zamiast zmieniać wszystkie miliardy wag modelu, LoRA zamraża model bazowy i trenuje tylko małą nakładkę (adapter), która koryguje jego zachowanie.
Adapter ma zwykle od kilku do kilkuset megabajtów, podczas gdy sam model waży gigabajty. Dzięki temu fine-tuning, który kiedyś wymagał klastra kart, da się zrobić na jednej karcie graficznej w kilkadziesiąt minut lub kilka godzin.
2. Jak działa LoRA?
Każda warstwa modelu zawiera duże macierze wag. Pełny fine-tuning zmienia każdą liczbę w tych macierzach. LoRA zakłada, że zmiana potrzebna do nauczenia modelu nowego zadania jest „prosta” i da się ją zapisać jako iloczyn dwóch małych macierzy o niskim rzędzie (rank, oznaczany literą r).
- Oryginalne wagi
Wpozostają zamrożone. - Trenowane są tylko dwie małe macierze
AiB, a model używa wagW + B·A. - Rząd
rustawia się zwykle w zakresie 8–64. Wyższy daje adapterowi więcej „pojemności”, ale zwiększa jego rozmiar i ryzyko przeuczenia.
W efekcie trenujesz zwykle poniżej 1% parametrów modelu. Gotowy adapter można wczytywać osobno albo na stałe scalić z wagami modelu (merge).
3. Czym jest QLoRA?
QLoRA (2023) to LoRA połączona z kwantyzacją. Model bazowy jest ładowany do pamięci w 4-bitowej precyzji, a adapter trenuje się w wyższej precyzji. To zmniejsza zużycie VRAM kilkukrotnie przy niewielkiej stracie jakości.
| Metoda | Model 7-8B | Model 70B |
| --- | --- | --- |
| Pełny fine-tuning | dziesiątki GB VRAM, zwykle kilka kart | klaster kart serwerowych |
| LoRA (model w 16 bitach) | ok. 16-24 GB VRAM | kilka kart A100 lub H100 80 GB |
| QLoRA (model w 4 bitach) | ok. 8-16 GB VRAM | ok. 48-80 GB VRAM |
Wartości są orientacyjne i zależą od długości przykładów, rozmiaru batcha i biblioteki. Narzędzia takie jak Unsloth dodatkowo obniżają zużycie pamięci i przyspieszają trening. Cały proces krok po kroku opisujemy w poradniku fine-tuning Llama 3 i Qwen z Unsloth na RunPod.
4. LoRA w modelach obrazu (Flux, SDXL)
LoRA jest równie popularna w generowaniu obrazów. Adapter LoRA do Flux albo SDXL uczy model konkretnej postaci, produktu, stylu graficznego czy rodzaju kompozycji na podstawie zwykle kilkunastu do kilkudziesięciu zdjęć.
W ComfyUI takie adaptery wczytuje się osobnym węzłem i można łączyć kilka naraz, ustawiając siłę każdego z nich. Na Hugging Face i w serwisach społecznościowych znajdziesz tysiące gotowych LoRA. Uruchomienie Flux w chmurze opisujemy w poradniku ComfyUI i Flux na RunPod.
5. LoRA czy RAG: co wybrać?
LoRA i RAG rozwiązują różne problemy i często się uzupełniają.
- Wybierz LoRA, gdy chcesz zmienić zachowanie modelu: styl wypowiedzi, stały format odpowiedzi (np. JSON), ton marki, specjalistyczne słownictwo, sposób rozwiązywania typowych zadań.
- Wybierz RAG, gdy model ma korzystać z aktualnej wiedzy: dokumentacji, cenników, procedur. Wiedzę w RAG zmieniasz, podmieniając plik, a nie trenując model od nowa. Więcej we wpisie czym jest RAG.
Fine-tuning słabo nadaje się do „wgrywania” faktów: model zapamiętuje je niedokładnie i nie potrafi wskazać źródła. Dlatego w praktyce firmowej najczęściej zaczyna się od RAG, a LoRA dodaje wtedy, gdy model nadal odpowiada w złym stylu lub formacie.
Trening LoRA to zadanie na kilka godzin, więc zamiast kupować kartę, wygodniej wynająć ją na czas treningu, na przykład RTX 4090 albo A100 w RunPod.