Własny model AI dla rzadkich zdarzeń operacyjnych

Rzadkie zdanie w zwyczajnym zamówieniu, na przykład prośba o dostawę w inny dzień niż zwykle, łatwo przeoczyć. Gdy zdarza się raz na kilkaset dokumentów, kilka poprawnie rozpoznanych przykładów nie mówi, jak model poradzi sobie z kolejnymi zapisami.

Rzadkie zdanie w zwyczajnym zamówieniu

W hipotetycznej firmie większość zamówień dotyczy dostawy towaru. Sporadycznie klient prosi również o odbiór pustych pojemników po poprzedniej dostawie. Taka prośba znajduje się w swobodnej uwadze i wymaga osobnego uzgodnienia. Model miałby zwracać uwagę pracownika na ten fragment.

Archiwum może zawierać kilka niemal identycznych próśb od jednego klienta. Poprawne rozpoznanie tych zapisów nie pokazuje jeszcze, jak model poradzi sobie z innymi sformułowaniami. Nie wiadomo też, czy będzie wskazywał zwykłe wzmianki o opakowaniu, mimo że nikt nie prosi o odbiór.

W takiej sytuacji warto najpierw sprawdzić, czy formularz zamówienia może zawierać osobne pytanie o odbiór pojemników. Jeżeli prośby przychodzą pocztą elektroniczną, pomocna może być prosta reguła lub gotowy model pokazujący odpowiedni fragment. Wybór zależy od rzeczywistych sposobów zapisu i od tego, czy pracownik ma możliwość przeczytania pozostałych uwag.

Czego mało przykładów nie rozstrzyga

Dostosowanie modelu, w tym fine-tuning, czyli dalsze uczenie na sprawdzonych przykładach, można oceniać przy powtarzających się błędach gotowego rozwiązania. Przy rzadkich zdarzeniach łatwo jednak pomylić znajomość kilku zapisów z szerszą umiejętnością rozpoznawania prośby.

Dokumentacja Hugging Face Evaluate podkreśla potrzebę oddzielania materiału do uczenia od materiału do oceny oraz reprezentowania warunków późniejszego użycia. W tym przypadku próba powinna obejmować również zwyczajne zamówienia, w których prośba o odbiór nie występuje.

Ekspert może przygotować dodatkowe warianty zdań, żeby ujawnić słabości rozwiązania. Takie warianty pomagają w analizie, ale częstości podobnych zapisów u klientów nie pokazują. W raporcie warto oddzielić obserwacje z prawdziwej pracy od przypadków przygotowanych specjalnie do sprawdzenia modelu.

Pomoc ograniczona do tego, co można ocenić

Jeśli firma ma zbyt mało różnorodnych przypadków, użyteczny może być etap, w którym model proponuje wskazania, a pracownik zachowuje dotychczasowy przegląd uwag. Zespół widzi wtedy przeoczone prośby i niepotrzebne alarmy. Nie opiera kompletności obsługi na samym modelu.

Proponowany zakres Syntalith obejmuje ocenę dostępnych zapisów, porównanie prostszych metod oraz widok prośby wraz z jej źródłem. Osoba znająca zamówienia wyjaśnia, które wzmianki rzeczywiście wymagały kontaktu z klientem. Dopiero ten kontekst pozwala rozstrzygnąć, czy model popełnia błąd i czy dalsze uczenie ma uzasadnienie.

Do rozmowy warto wskazać rzadką sytuację, którą zespół chce wychwytywać, i opisać, jak obecnie ją znajduje. Nie trzeba wcześniej gromadzić umownej liczby przykładów. Możemy zacząć od oceny, jaki zakres pomocy da się uczciwie sprawdzić. Informacje o współpracy są w cenniku.

Ile to kosztuje

Od czego zacząć

Na bezpłatnej analizie wybieramy jeden proces i 20 do 100 spraw, które zespół już obsłużył. Porównujemy prostszą zmianę z dostosowanym modelem na przypadkach, których model nie widział, a w 2 dni robocze dostajesz pisemne podsumowanie z ceną. Dostosowanie modeli prowadzimy w ramach prywatnych modeli LLM, a aplikację w ramach aplikacji AI.