Jak ocenić koszt błędów własnego modelu AI

Syntalith może połączyć ocenę własnego modelu z analizą pracy, którą wywołują jego wskazania. Proponowany zakres obejmuje porównanie dostępnych rozwiązań oraz widok pomyłek z opisem ich następstw. Kierownik może wtedy ocenić, czy lepszy wynik uzasadnia dostosowanie modelu i czy zespół udźwignie pozostawioną mu kontrolę.

Ten sam błąd w innym miejscu procesu

W hipotetycznej firmie model wskazuje zamówienia, w których opis dostawy wymaga wyjaśnienia. Fałszywy alarm oznacza, że pracownik otworzy poprawne zamówienie, przeczyta uwagę i zamknie sprawę. Pominięcie rzeczywistej niejasności może oznaczać powrót do dokumentu po rozpoczęciu przygotowania wysyłki, kontakt z klientem i zmianę planu pracy.

Nie każde pominięcie ma jednak takie same skutki. Jeżeli pracownik obowiązkowo czyta wszystkie uwagi przed realizacją, może wychwycić problem w zwykłym toku pracy. Gdy wskazanie modelu decyduje, które uwagi ktoś w ogóle przeczyta, odpowiedzialność tego samego rozwiązania jest większa. Ocena modelu wymaga więc znajomości miejsca, w którym firma chce go użyć.

W opisie błędu warto zachować dalszy przebieg sprawy. Ile osób musiało do niej wrócić? Czy praca mogła poczekać? Czy korekta była łatwa, czy wymagała cofnięcia wykonanych czynności? Odpowiedzi pozwalają odróżnić dodatkowe czytanie od zakłócenia realizacji bez przypisywania wszystkim pomyłkom jednej umownej wartości.

Więcej wskazań oznacza też więcej sprawdzania

Model można oceniać przy różnej ostrożności kierowania spraw do człowieka. Częstsze wskazania mogą ograniczyć część przeoczonych problemów, ale zajmują czas osób sprawdzających. Dokumentacja scikit-learn rozdziela oszacowanie wyniku klasyfikacji od decyzji podejmowanej na jego podstawie. Wyjaśnia też, że próg decyzji zmienia relację między rodzajami błędów.

Dla kupującego użyteczny jest widok konkretnych przeoczonych spraw obok niepotrzebnych alarmów. Jeśli kolejka przeglądu staje się zbyt długa, ludzie mogą później odczytywać ważne wskazania. Sama liczba wykrytych problemów nie opisuje wtedy całego obciążenia.

Taki przegląd powinien obejmować również obecną metodę pracy. Prosta reguła lub dodatkowe pole formularza może usunąć część niejasności przed użyciem modelu. Dostosowanie, w tym fine-tuning polegający na dalszym uczeniu modelu na sprawdzonych przykładach, warto oceniać tam, gdzie pozostają powtarzalne pomyłki w rozumieniu treści.

Jakie rozstrzygnięcie zamówić

W proponowanej analizie zespół klienta wyjaśnia skutki wybranych błędów oraz to, kto obecnie je wychwytuje. Syntalith zestawia te informacje z wynikami modeli na tych samych sprawach. Oddzielnie pokazujemy sytuacje, w których potrzebna jest korekta modelu, zmiana formularza albo utrzymanie pełnego przeglądu przez pracownika.

Rezultatem może być decyzja o węższym zastosowaniu: model pomaga porządkować kolejkę, a pracownik nadal czyta wszystkie uwagi przed realizacją. Może też okazać się, że dodatkowa kontrola pochłania korzyść z automatyzacji. Oba ustalenia są przydatne przed zamówieniem dalszego uczenia.

Do pierwszej rozmowy wystarczy opisać pomyłkę, która spowodowała najwięcej powrotów do pracy, i sposób jej wykrycia. Na tej podstawie można ustalić zakres oceny. Informacje o formie współpracy znajdziesz w cenniku.