Fine-tuning, RAG czy trening własnego modelu?

Dwa błędy, które wyglądają podobnie

Model odpowiada według starego regulaminu. Albo zna regulamin, ale uparcie przypisuje reklamacje do niewłaściwego działu. Dla użytkownika oba błędy wyglądają podobnie, ale pierwszy dotyczy źródła wiedzy, a drugi sposobu działania. RAG łączy wyszukiwanie z generowaniem: aplikacja znajduje fragmenty dokumentów i przekazuje je modelowi z pytaniem, a wagi modelu się nie zmieniają. Sprawdza się przy regulaminach, kartach produktów i procedurach, ale wynik zależy od wyszukiwarki, więc wyszukiwanie i odpowiedź oceniasz osobno.

W nadzorowanym dostrajaniu pokazujesz wejście i oczekiwany wynik: dla zgłoszenia dział, priorytet i powód eskalacji. LoRA uczy dodatkowe macierze przy zamrożonych wagach bazowych, a QLoRA łączy to ze skwantyzowanym modelem bazowym, co ogranicza zasoby. Wiedzę, którą trzeba często aktualizować albo usuwać, łatwiej kontrolować w oddzielnym źródle niż w wagach.

Ile daje prostsza zmiana, a ile trening

W tym rachunku RAG z aktualnym regulaminem daje większość efektu za ułamek kosztu. Trening ma sens przy większej skali albo gdy pozostałe błędy są kosztowne. Według Anthropic (2024) połączenie kontekstowych osadzeń, wyszukiwania BM25 i rerankingu zmniejszyło liczbę nieudanych wyszukiwań o 67%. Przy błędzie źródła wiedzy taka zmiana wyszukiwania daje zwykle więcej niż dostrajanie modelu.

Zbiór przykładów do uczenia trzeba utrzymywać: gdy zmienia się proces, nazewnictwo albo model bazowy, ocenę powtarza się na tym samym zbiorze testowym. Ten koszt wpisujemy do wyceny razem z samym uczeniem.

Kiedy wystarczy mały model

Wybór jednego z kilkunastu działów obsłuży klasyfikator, model osadzeń albo niewielki model decyzyjny: potrzebna jest kategoria, a swobodny tekst tylko wydłuża czas. Kierunek pokazują modele inspirowane Jev, które porównujesz z prostą regułą. Trening od zera to szersza odpowiedzialność za dane i koszt obliczeń i może mieć sens dla małego, ściśle określonego modelu, a budowa ogólnego modelu językowego wymaga osobnego uzasadnienia. Powiązane wiadomości z jednej sprawy zostają w tej samej części podziału: pięć wiadomości o jednej reklamacji rozrzuconych między trening i test daje zawyżony wynik.

Od czego zacząć

Przed zleceniem ustal koszt oznaczeń, porównania wariantów i ponownej oceny po aktualizacji modelu bazowego, bo technika LoRA sama nie określa ceny projektu ani przydatności. Dostosowanie modeli prowadzimy w ramach prywatnych modeli LLM, a aplikację, w której pracownik widzi wynik obok źródła, w ramach aplikacji AI. Na bezpłatną analizę wystarczy kilka przykładów błędu, który wraca, i opis, kto go dziś poprawia.