Fine-tuning do ekstrakcji danych z dokumentów przewozowych

Najpierw ustal, jaki błąd wraca

Fine-tuning to dostosowanie istniejącego modelu do zadania na przykładach z poprawnymi odpowiedziami zatwierdzonymi przez firmę. W dokumentach przewozowych typowy problem wygląda tak: przewoźnik używa własnego układu listu, a model przypisuje datę załadunku do pola daty dostawy albo myli numer zlecenia z numerem rejestracyjnym. Zanim zamówisz uczenie, zbierz kilkadziesiąt takich pomyłek i sprawdź, czy wynikają z układu, z obrazu czy z reguł. Sama nazwa metody niewiele mówi o zakupie i jego koszcie. Liczy się, czy powtarzalny rodzaj pomyłki da się ograniczyć i czy poprawa przewyższy koszt sprawdzania wyników oraz utrzymania zbioru.

Co ma pokazać użyteczny wynik

Dla każdej wartości odbiorca widzi, z którego pola dokumentu pochodzi, a system wskazuje brakującą podstawę, gdy dokument jej nie zawiera. Pracownik operacyjny sprawdza przypisanie, a osoba od danych ustala, czy błąd wynika z rozpoznania, mapowania czy reguły. Bez takiego śladu nie da się powiedzieć, czy fine-tuning cokolwiek poprawił. Dlatego najpierw budujemy ślad dla modelu bazowego i liczymy błędy na polach, potem decydujemy o uczeniu. Często okazuje się, że większość błędów pochodzi z dwóch czy trzech pól, które da się poprawić regułą walidacji, na przykład porównaniem daty dostawy z datą załadunku i harmonogramem trasy.

Ile daje spadek błędów

Uczenie to jednorazowy koszt, ale zbiór przykładów trzeba utrzymywać. Gdy kategorie albo układy dokumentów zmieniają się co tydzień, utrzymanie zbioru przykładów kosztuje więcej niż jednorazowe uczenie. Google opisuje trenowanie procesorów Document AI na oznaczonych dokumentach i ich ocenę na zbiorze testowym.

Jak ocenić zakup przed decyzją

Wybór przypadków uwzględnia też dokumenty rzadkie, ale kosztowne w błędzie, na przykład przesyłki z dopłatą za opóźnienie. Model dostosowany do najczęstszego układu może pogorszyć wynik na rzadkich dokumentach, więc ocena obejmuje oba rodzaje. Po wdrożeniu ten sam zbiór oceny służy do sprawdzenia modelu po każdej zmianie u dostawcy. Najpierw sprawdź, czy bramka czytelności nie usuwa większości problemów taniej. Dostosowanie modeli prowadzimy w ramach prywatnych modeli LLM, a koszt błędów przy różnych progach opisuje tekst o koszcie błędów modelu.