Fine-tuning czy RAG: co poprawi odpowiedzi o produktach?

Syntalith proponuje ocenę i rozwój aplikacji AI korzystającej z danych produktowych. Zaczynamy od odpowiedzi, które pracownicy poprawiają, i informacji dostępnych modelowi w chwili ich przygotowania. Na tej podstawie porównujemy poprawę instrukcji, połączenie z aktualnym źródłem oraz ewentualne dostosowanie modelu. Kupujący może obejrzeć, co zmienia się w odpowiedziach po każdej z tych poprawek, zanim uzgodni dalszy zakres.

Brakuje aktualnego faktu czy model źle go wykorzystuje?

Dalsze uczenie na dawnych odpowiedziach nie dostarczy modelowi dzisiejszego stanu zamówień. Potrzebne jest źródło, w którym firma rzeczywiście aktualizuje dostępność, i sposób odczytania go przy przygotowaniu odpowiedzi.

Inaczej wygląda sytuacja, gdy model dostał status „niedostępny”, ale napisał klientowi, że produkt można zamówić od ręki. Informacja dotarła, lecz odpowiedź jej nie zachowała. Warto wtedy sprawdzić instrukcję zadania i gotowy model na podobnych pytaniach. Powtarzalne pomyłki mimo poprawnych danych mogą uzasadniać ocenę dostosowania zachowania modelu.

OpenAI rozróżnia poprawę kontekstu przy brakujących, nieaktualnych lub firmowych informacjach oraz poprawę zachowania modelu przy niespójnym wykonywaniu zadania.

Co wnosi RAG i skąd bierze się jego aktualność

RAG to sposób przygotowania odpowiedzi, w którym aplikacja wyszukuje potrzebne fragmenty firmowych materiałów i przekazuje je modelowi razem z pytaniem. Może się przydać, gdy handlowiec pyta o cechę opisaną w karcie technicznej, instrukcji lub zatwierdzonym opisie produktu. Odpowiedź może wtedy prowadzić do użytego dokumentu.

Samo uruchomienie wyszukiwania nie sprawia, że materiały są aktualne. Jeśli nowa karta trafiła do folderu, ale aplikacja nadal wyszukuje starą kopię, błąd pozostaje. W projekcie trzeba ustalić, jak zmieniony dokument staje się dostępny i jak poprzednia wersja przestaje być wykorzystywana do bieżących odpowiedzi. Dotyczy to również zapisanych wcześniej wyników, które aplikacja mogłaby ponownie pokazać.

Przy dostępności produktu właściwszy może być bezpośredni odczyt z systemu utrzymującego ten status. Nie trzeba w tym celu najpierw tworzyć dokumentu i dodawać go do wyszukiwarki. Aplikacja może korzystać z opisów technicznych oraz bieżącego systemu, zależnie od pytania. Zespół wskazuje, które źródło jest właściwe dla danego rodzaju informacji i co zrobić, gdy nie uda się jej pobrać.

Kiedy wystarczy narzędzie pracownika

Do okazjonalnego porównania zatwierdzonych kart można zacząć od gotowego narzędzia. ChatGPT Work pracuje z informacjami, plikami i połączonymi aplikacjami dostępnymi użytkownikowi, a Claude Cowork służy między innymi analizie i tworzeniu dokumentów z wybranymi materiałami oraz narzędziami. Możliwości zależą od ustawień i dostępu.

Warto sprawdzić, czy pracownik już może przygotować potrzebną odpowiedź w takim środowisku. Osobna aplikacja ma uzasadnienie, gdy ten sam sposób pobierania danych i pokazywania źródeł ma działać w codziennym procesie sprzedaży, bez ręcznego dobierania plików do każdej sprawy. Zakres może obejmować połączenie systemów nawet wtedy, gdy sam model pozostaje gotowy.

Co zmienia fine-tuning

Fine-tuning oznacza dalsze uczenie istniejącego modelu na sprawdzonych przykładach oczekiwanego działania. Może służyć temu, by model bardziej konsekwentnie wykonywał określone zadanie, na przykład zachowywał rozróżnienie między potwierdzoną dostępnością a informacją wymagającą sprawdzenia. Nie jest sposobem utrzymywania bieżącego stanu magazynu.

Przed taką próbą warto dopracować instrukcję i zobaczyć, czy obecny model korzysta z przekazanych danych zgodnie z oczekiwaniami. Jeśli pomyłki nadal wracają, zespół wskazuje poprawione odpowiedzi i wyjaśnia, co należało zrobić. Ocenę prowadzi się na osobnych pytaniach, których nie używano do dostosowania, z właściwymi informacjami produktowymi.

Firma może potrzebować zarówno lepszego dostarczania danych, jak i poprawy zachowania. Warto jednak ocenić te części oddzielnie.

Zakres oparty na odpowiedziach zespołu

Przy ustalaniu projektu klient wskazuje źródła specyfikacji i dostępności oraz osoby odpowiedzialne za ich aktualizację. Syntalith sprawdza z zespołem drogę informacji do odpowiedzi i porównuje potrzebne zmiany. Kupujący może obejrzeć przykładową odpowiedź wraz z rzeczywistym źródłem, z którego aplikacja pobrała informację.

Na pierwszą rozmowę o aplikacji i modelu wystarczy opisać błędną odpowiedź oraz wskazać, gdzie znajdowała się wtedy właściwa informacja. To pozwoli omówić rzeczywisty problem przed wyborem RAG lub fine-tuningu. Sposób wykorzystania przykładów uzgodnimy wspólnie. Informacje o współpracy znajdziesz w cenniku Syntalith.