Fine-tuning modelu Llama 3 / Qwen z użyciem Unsloth w RunPod: Własny model pod JSON za mniej niż $2

{"conversations": [{"from": "system", "value": "Wyciągnij dane zamówienia z wiadomości klienta i zwróć wyłącznie poprawny obiekt JSON."}, {"from": "human", "value": "Cześć, chciałbym zamówić 3 sztuki routera MikroTik hAP ax3 na firmę TechPol (NIP: 525-000-11-22), wysyłka ekspresowa kurierem."}, {"from": "gpt", "value": "{\"product\": \"MikroTik hAP ax3\", \"quantity\": 3, \"company\": \"TechPol\", \"nip\": \"5250001122\", \"express_shipping\": true}"}]}

# Aktualizacja pip i instalacja Unsloth z wymaganymi zależnościami
pip install --upgrade pip
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps xformers "trl<0.9.0" peft accelerate bitsandbytes

from unsloth import FastLanguageModel
from unsloth.chat_templates import get_chat_template
from datasets import load_dataset
from trl import SFTTrainer
from transformers import TrainingArguments
import torch

# 1. Konfiguracja i pobranie modelu bazowego (Llama 3.1 8B lub Qwen 2.5 7B)
max_seq_length = 2048
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
    max_seq_length = max_seq_length,
    load_in_4bit = True,
)

# 2. Konfiguracja adapterów LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r = 16, # Ranga LoRA (16 lub 32 to optymalny wybór dla JSON/ekstrakcji)
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
)

# 3. Formatowanie zbioru danych do szablonu ChatML
tokenizer = get_chat_template(
    tokenizer,
    chat_template = "chatml",
    mapping = {"role": "from", "content": "value", "user": "human", "assistant": "gpt"}
)

def formatting_prompts_func(examples):
    convos = examples["conversations"]
    texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
    return { "text" : texts }

dataset = load_dataset("json", data_files = "/workspace/dataset.jsonl", split = "train")
dataset = dataset.map(formatting_prompts_func, batched = True)

# 4. Konfiguracja i start treningu
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    dataset_num_proc = 2,
    packing = False,
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        num_train_epochs = 3, # 3 epoki zazwyczaj wystarczają dla zbioru 300-1000 przykładów
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "/workspace/outputs",
    ),
)

trainer.train()

# Zapisanie gotowego pliku GGUF bezpośrednio na dysku /workspace
model.save_pretrained_gguf(
    "/workspace/moj_model_json",
    tokenizer,
    quantization_method = "q4_k_m"
)