Własny model AI dla rzadkich zdarzeń operacyjnych

Syntalith może zaproponować ocenę własnego modelu z wyraźnie określonym zakresem pomocy przy takich wyjątkach. Wynikiem może być rekomendacja prostszej reguły, próby z gotowym modelem albo dalszego zbierania sprawdzonych przypadków przed dostosowaniem. Firma otrzymuje też opis tego, co pracownik nadal powinien sam przeglądać.

Rzadkie zdanie w zwyczajnym zamówieniu

W hipotetycznej firmie większość zamówień dotyczy dostawy towaru. Sporadycznie klient prosi również o odbiór pustych pojemników po poprzedniej dostawie. Taka prośba znajduje się w swobodnej uwadze i wymaga osobnego uzgodnienia. Model miałby zwracać uwagę pracownika na ten fragment.

Archiwum może zawierać kilka niemal identycznych próśb od jednego klienta. Poprawne rozpoznanie tych zapisów nie pokazuje jeszcze, jak model poradzi sobie z innymi sformułowaniami. Nie wiadomo też, czy będzie wskazywał zwykłe wzmianki o opakowaniu, mimo że nikt nie prosi o odbiór.

W takiej sytuacji warto najpierw sprawdzić, czy formularz zamówienia może zawierać osobne pytanie o odbiór pojemników. Jeżeli prośby przychodzą pocztą elektroniczną, pomocna może być prosta reguła lub gotowy model pokazujący odpowiedni fragment. Wybór zależy od rzeczywistych sposobów zapisu i od tego, czy pracownik ma możliwość przeczytania pozostałych uwag.

Czego mało przykładów nie rozstrzyga

Dostosowanie modelu, w tym fine-tuning, czyli dalsze uczenie na sprawdzonych przykładach, można oceniać przy powtarzających się błędach gotowego rozwiązania. Przy rzadkich zdarzeniach łatwo jednak pomylić znajomość kilku zapisów z szerszą umiejętnością rozpoznawania prośby.

Dokumentacja Hugging Face Evaluate podkreśla potrzebę oddzielania materiału do uczenia od materiału do oceny oraz reprezentowania warunków późniejszego użycia. W tym przypadku próba powinna obejmować również zwyczajne zamówienia, w których prośba o odbiór nie występuje.

Ekspert może przygotować dodatkowe warianty zdań, żeby ujawnić słabości rozwiązania. Takie warianty pomagają w analizie, lecz nie pokazują, jak często podobny zapis pojawia się u klientów. W raporcie warto oddzielić obserwacje z prawdziwej pracy od przypadków przygotowanych specjalnie do sprawdzenia modelu.

Pomoc ograniczona do tego, co można ocenić

Jeśli firma ma zbyt mało różnorodnych przypadków, użyteczny może być etap, w którym model proponuje wskazania, a pracownik zachowuje dotychczasowy przegląd uwag. Zespół widzi wtedy przeoczone prośby i niepotrzebne alarmy. Nie opiera kompletności obsługi na samym modelu.

Proponowany zakres Syntalith obejmuje ocenę dostępnych zapisów, porównanie prostszych metod oraz widok prośby wraz z jej źródłem. Osoba znająca zamówienia wyjaśnia, które wzmianki rzeczywiście wymagały kontaktu z klientem. Dopiero ten kontekst pozwala rozstrzygnąć, czy model popełnia błąd i czy dalsze uczenie ma uzasadnienie.

Do rozmowy warto wskazać rzadką sytuację, którą zespół chce wychwytywać, i opisać, jak obecnie ją znajduje. Nie trzeba wcześniej gromadzić umownej liczby przykładów. Możemy zacząć od oceny, jaki zakres pomocy da się uczciwie sprawdzić. Informacje o współpracy są w cenniku.