Fine-tuning czy RAG: co poprawi odpowiedzi o produktach?

Brakuje aktualnego faktu czy model źle go używa

Asystent sprzedaży opisuje produkt jako dostępny, choć w systemie zamówień ma status niedostępnego. Zespół myśli o douczeniu modelu. Dalsze uczenie na dawnych odpowiedziach nie dostarczy jednak dzisiejszego stanu zamówień: model nauczony w październiku nie wie, co zmieniło się w listopadzie. Potrzebne jest źródło, w którym firma aktualizuje dostępność, odczytywane przy każdym pytaniu.

Inaczej jest, gdy model dostał status „niedostępny”, a napisał klientowi, że produkt można zamówić od ręki. Informacja dotarła, ale odpowiedź jej nie uwzględniła. To problem zachowania modelu, który naprawia lepsza instrukcja, a gdy błąd wraca, fine-tuning. OpenAI rozróżnia poprawę kontekstu przy brakujących albo nieaktualnych informacjach od poprawy zachowania przy niespójnym wykonywaniu zadania.

Ile daje prostsza zmiana, a ile trening

W tym rachunku aktualne źródło danych daje większość efektu za ułamek kosztu. Trening ma sens przy większej skali albo gdy pozostałe błędy są kosztowne.

Zbiór przykładów do uczenia trzeba utrzymywać: gdy zmienia się proces, nazewnictwo albo model bazowy, ocenę powtarza się na tym samym zbiorze testowym. Ten koszt wpisujemy do wyceny razem z samym uczeniem.

Kiedy wystarczy narzędzie pracownika

Do okazjonalnego porównania zatwierdzonych kart produktów wystarczy gotowe narzędzie z dostępem do plików, na przykład ChatGPT Work albo Claude Cowork. Przy dostępności produktu lepszy jest bezpośredni odczyt z systemu utrzymującego status niż tworzenie dokumentu i dodawanie go do wyszukiwarki. Osobna aplikacja ma sens, gdy ten sam sposób pobierania danych potrzebny jest w wielu odpowiedziach dziennie.

Od czego zacząć

Zaczynamy od odpowiedzi, które pracownicy dziś poprawiają, i od wskazania, gdzie wtedy była właściwa informacja. Dostosowanie modeli prowadzimy w ramach prywatnych modeli LLM, a aplikację, w której pracownik widzi wynik obok źródła, w ramach aplikacji AI. Na bezpłatną analizę wystarczy kilka przykładów błędu, który wraca, i opis, kto go dziś poprawia.