Fine-tuning do ekstrakcji danych z dokumentów przewozowych

Najpierw ustal, jaki błąd wraca

Fine-tuning polega tu na dostosowaniu istniejącego modelu do zadania na przykładach z poprawnymi odpowiedziami zatwierdzonymi przez firmę. Sama nazwa metody niewiele mówi o zakupie. Liczy się to, czy powtarzalny rodzaj pomyłki da się ograniczyć i czy ewentualna poprawa przewyższy koszt sprawdzania wyników oraz ręcznej korekty.

Weźmy czytelny list przewozowy od przewoźnika, którego układ różni się od pozostałych. Dokument podaje nazwę przewoźnika i jego adres, odbiorcę oraz miejsce dostawy. System odczytuje wszystkie te wiersze, ale zapisuje adres przewoźnika jako miejsce dostawy. Tekst na obrazie jest poprawny; zawiodło przypisanie odczytanej wartości do pola. W rekordzie powstaje błędna lokalizacja, więc pracownik musi wrócić do dokumentu i poprawić zapis, a dalszy proces może dostać mylący adres.

Ta sama pomyłka może mieć inne przyczyny. Gdy zdjęcie jest rozmazane, problem zaczyna się przed odczytem i może wymagać lepszego skanu albo decyzji o ponownym dostarczeniu obrazu. Jeżeli OCR, czyli rozpoznawanie tekstu z obrazu, zmienia znaki lub gubi fragment adresu, trzeba ocenić tę warstwę. Gdy słowa są czytelne, lecz trafiają do złej rubryki, chodzi o interpretację i mapowanie pól. Jeśli dokument nie podaje miejsca dostawy, żaden model nie powinien dopisywać brakującej informacji. Każdy z tych przypadków wymaga innej naprawy.

Co ma pokazać użyteczny wynik

Dla każdej wartości odbiorca powinien umieć zobaczyć, z którego pola dokumentu pochodzi, a system powinien wskazać brakującą podstawę, kiedy dokument jej nie zawiera. Pracownik operacyjny może wtedy sprawdzić przypisanie, a osoba odpowiedzialna za dane ustalić, czy błąd wynika z rozpoznania, mapowania czy samego źródła. Potwierdzenie dostawy wymaga osobnego dowodu; ekstrakcja dokumentu sama go nie zapewnia.

Przed testem właściciel procesu powinien ustalić, które korekty operator może zatwierdzić samodzielnie, a które przekazuje osobie znającej dokument. Wtedy osoby oceniające rozstrzygają sporne przypadki według tych samych zasad.

Warto mierzyć osobno jakość pól krytycznych dla procesu, takich jak miejsce dostawy i dane odbiorcy. Ewaluacja w Google Document AI porównuje wyodrębnione wartości z zatwierdzonymi oznaczeniami i udostępnia precyzję oraz czułość dla poszczególnych pól. Te miary pozwalają zobaczyć, które pola system przypisuje błędnie, a które pomija.

Precyzja to udział poprawnych wartości wśród tych przypisanych do pola; czułość pokazuje, jaką część oczekiwanych wartości system odnalazł. Do obu wyników dopisz liczbę spraw oddanych do ręcznej kontroli i poprawek. Jeśli miejsce dostawy często wraca do operatora, dobra średnia z łatwiejszych pól nie wystarczy. Zaostrzenie warunku przyjęcia wyniku może zatrzymać więcej błędów, ale zwiększyć kolejkę kontroli.

Kiedy adaptacja modelu ma sens

Najpierw zbierz powtarzające się pomyłki i ustal, gdzie powstają. Jeśli winne są słabe zdjęcia, popraw wejście i sprawdź, czy operator widzi, kiedy trzeba poprosić o lepszy obraz. Jeśli tekst jest czytelny, ale nazwy pól lub reguły dają się jednoznacznie opisać, wystarczyć może zmiana schematu, walidacji albo konfiguracji dostępnego ekstraktora. Gotowy ekstraktor może też obsłużyć dokument bez budowania własnego modelu. Dokumentacja uczenia modeli w Google Document AI opisuje różne typy niestandardowych ekstraktorów i podejścia do ich uczenia. Oferta tej usługi obejmuje kilka mechanizmów, więc sam termin „custom extractor” nie określa, że użyto fine-tuningu dużego modelu językowego.

Fine-tuning warto rozważyć, gdy błędy przypisania wracają w różnych dokumentach mimo poprawnego obrazu i odczytanego tekstu, a firma ma wystarczające przykłady z zatwierdzonymi odpowiedziami. Same przykłady powinny obejmować układy dokumentów, na których model dotąd zawodzi, i pozwalać na wiarygodne porównanie odpowiedzi. Skąpy zestaw przykładów albo błędy wynikające głównie ze zdjęć nie uzasadniają jeszcze zakupu fine-tuningu.

Jak ocenić zakup przed decyzją

Porównanie powinno oddzielać materiały użyte do rozwoju od przypadków oceny, których model wcześniej nie widział. Zespół kupujący dostarcza rozstrzygnięcia dla tych przypadków i uzgadnia, jakie odmiany przewoźnika, układu lub daty powinny znaleźć się w sprawdzianie. Wybór przypadków powinien uwzględnić przynajmniej jeden układ spoza tych, na których oparto rozwój, aby ocenić zachowanie modelu w nowym wariancie dokumentu. Wynik obejmuje jakość pól istotnych dla procesu oraz liczbę i rodzaj spraw wymagających człowieka. Jeśli model nadal myli adres przewoźnika z miejscem dostawy na nowym układzie dokumentu, ten zakres wymaga poprawy przed przyjęciem adaptacji. Można wtedy wrócić do prostszej reguły, poprawić schemat albo przekazać to pole do kontroli.

Syntalith może przeanalizować rodzaje błędów, porównać obecną metodę z dostępnym ekstraktorem i ocenić, czy adaptacja modelu zasługuje na dalszy test. Zakres takiego projektu trzeba uzgodnić: które dokumenty i pola wchodzą do integracji, co może zostać zapisane automatycznie oraz kiedy operator sprawdza wynik. Rozpoznanie łączy perspektywę operatora, który poprawia rekord, z perspektywą osoby utrzymującej schemat i połączenie z systemem. Usługi aplikacji AI Syntalith obejmują rozwiązania na zamówienie; zakres i wycenę można ustalić po opisaniu procesu. Szczegóły oferty są na stronie cennika.

Przed rozmową przygotuj przykłady błędnych przypisań wraz z poprawnymi wartościami, listę pól krytycznych i krótki opis tego, kto dziś sprawdza rekord oraz gdzie trafia po korekcie. Te materiały pomogą odróżnić błąd obrazu od błędu pola i określić, ile ręcznej pracy wiąże się dziś ze sprawdzaniem i poprawianiem rekordów. Przy zdjęciach CMR interaktywny przykład bramki czytelności przed OCR pokazuje, jak sprawdzać jakość obrazu przed próbą odczytu.