432 z 496 stron odczytano lokalnie: wybór metody odczytu dla każdej strony

Dokumenty operacyjne mają różną postać: PDF-y z poprawną warstwą tekstową, skany, dokumenty mieszane z pojedynczymi zeskanowanymi stronami oraz pliki, których tekst został uszkodzony podczas eksportu. Jedna metoda odczytu dla wszystkich tych przypadków daje słabe wyniki.

Uruchomienie OCR dla całego dokumentu generuje koszt także dla stron z poprawnym tekstem i może pogorszyć ich treść. Z kolei bezwarunkowe zaufanie warstwie tekstowej pozwala pustym lub zniekształconym dokumentom przejść dalej jako poprawnie odczytane.

Decyzja na poziomie strony

W bramce PDF dokument najpierw przechodzi klasyfikację według reguł zapisanych w kodzie. System rozpoznaje typ pliku i wskazuje strony bez użytecznej warstwy tekstowej. Wersja demonstracyjna przetwarza 172 publiczne pliki PDF i 9 przygotowanych dokumentów, bez danych ani poświadczeń klienta. Decyzja zapada dla każdej strony osobno, więc dokument mieszany nie jest przedwcześnie uznawany za tekstowy ani w całości kierowany do OCR.

System ma trzy sposoby postępowania. Strony z poprawnym tekstem odczytuje lokalnie, bez pogorszenia jakości i bez dodatkowego kosztu. Dla stron wskazanych przez kontrolę uruchamia odizolowany, lokalny silnik OCR obsługujący język polski i angielski. Uszkodzona warstwa tekstowa powoduje skierowanie całego dokumentu do przeglądu przez człowieka, wraz z widocznym uzasadnieniem.

Operator widzi sposób obsługi, czas i koszt każdego pliku policzone z zapisanych zdarzeń. Dziennik w formacie JSON pozwala zweryfikować decyzję bez zaglądania do bazy, a łańcuch sum kontrolnych ujawnia zmianę zapisu.

Jak wyznaczyć trzy trasy

Próg nie powinien opierać się wyłącznie na tym, czy strona zawiera jakiekolwiek znaki. Uszkodzony eksport może mieć warstwę tekstową pełną losowych znaków, a skan może zawierać niewidoczny nagłówek i nadal wymagać OCR. Inspekcja powinna brać pod uwagę między innymi udział stron bez tekstu, liczbę znaków, ich rozkład, zgodność z kodowaniem oraz obecność obrazów zajmujących większość strony.

Reguły trzeba dopasować do rodzaju dokumentu. Faktura, umowa i rysunek techniczny mają inną oczekiwaną gęstość tekstu. Jeden globalny próg może poprawnie obsługiwać korespondencję i jednocześnie odrzucać krótkie zaświadczenia. Dlatego konfiguracja powinna wskazywać profil dokumentu albo bezpieczną trasę dla przypadków nierozpoznanych.

Trzecia trasa, przegląd człowieka, jest równie ważna jak odczyt lokalny i OCR. Dokument z tekstem wyglądającym na uszkodzony nie powinien być automatycznie naprawiany, jeżeli system nie potrafi potwierdzić, że wynik zachowuje układ, liczby i znaki. Operator musi zobaczyć powód zatrzymania oraz strony wymagające uwagi.

Jak wdrożyć bramkę przed właściwym procesem

Najpierw warto zebrać próbkę z produkcyjnego strumienia i ręcznie oznaczyć strony jako tekstowe, skanowane lub niepewne. Zbiór powinien zawierać dokumenty mieszane, obrócone, wielojęzyczne, zabezpieczone hasłem i pochodzące z najczęstszych systemów eksportujących.

Następnie uruchamia się bramkę w trybie obserwacji. System zapisuje proponowany sposób obsługi, ale dotychczasowy proces nadal decyduje o odczycie. Błędy trzeba rozdzielać według skutku: niepotrzebny OCR zwiększa koszt, pominięty OCR daje brak danych, a przepuszczenie uszkodzonego tekstu może wprowadzić błędne dane do kolejnych etapów automatyzacji.

Po ustaleniu progów warto włączyć automatyczny odczyt lokalny, potem OCR dla pewnych skanów, a na końcu obsługę dokumentów mieszanych. Każdy etap powinien mieć możliwość powrotu do poprzedniej trasy i zachowywać oryginalny plik.

Co sprawdziliśmy

Zapisany przebieg objął 181 dokumentów i 496 stron: 172 PDF-y publiczne oraz 9 przygotowanych przypadków, w tym odbitki bez warstwy tekstowej i pliki z celowo uszkodzoną warstwą. Wynik: 432 strony odczytano lokalnie, 14 dokumentów przeszło częściowy OCR, a uszkodzona warstwa tekstowa skierowała cały dokument do przeglądu. Żadna strona uznana przez bramkę za czytelną nie trafiła do OCR.

Zapisany rachunek obejmuje 5,12 zł za 64 strony OCR. Nie mamy zagregowanego pomiaru czasu ani pełnego kosztu operacyjnego, dlatego nie podajemy oszczędności. Rachunek dla klienta wymaga pomiaru jego dokumentów, infrastruktury, pracy operatora i cennika użytego OCR. Sposób odczytu wyznaczają reguły, a model może działać dopiero po tej decyzji. W osobnym odczycie model wykorzystał 2 198 tokenów, odpowiedź trwała 3,10 s i kosztowała szacunkowo 0,0035 zł.

Jak policzyć koszt i jakość

W zapisanym przebiegu 64 strony skierowane do OCR kosztowały 5,12 zł według jawnej stawki 0,08 zł za stronę. To rachunek samego OCR. Nie obejmuje przechowywania, przetwarzania lokalnego, przeglądu człowieka ani dalszej ekstrakcji. Dla własnego strumienia można użyć prostego wzoru: liczba stron miesięcznie × udział stron skierowanych do OCR × cena strony.

Do rachunku jakości trzeba dodać koszt błędnej trasy. Warto mierzyć udział stron niepotrzebnie wysłanych do OCR, skanów omyłkowo uznanych za tekstowe, dokumentów zatrzymanych do przeglądu oraz pól poprawionych po dalszej ekstrakcji. Spadek rachunku OCR ma małą wartość, jeżeli równocześnie rośnie liczba błędnych rekordów.

Lista kontrolna dla strumienia PDF

1. Jakie typy dokumentów i źródła eksportu tworzą większość wolumenu?
2. Jaki udział stanowią pliki mieszane, obrócone lub z uszkodzoną warstwą tekstową?
3. Czy reguły oceniają jakość tekstu, a nie samą jego obecność?
4. Czy oryginalny plik i decyzja dla każdej strony pozostają w śladzie?
5. Jak operator rozpoznaje powód skierowania do przeglądu?
6. Jakie języki, tabele, pieczęcie i pismo odręczne musi obsłużyć OCR?
7. Czy koszt obejmuje również przegląd, przechowywanie i dalszą ekstrakcję?
8. Jak zmiana progów zostanie sprawdzona na stałym zestawie regresyjnym?

Szczegóły i ekrany znajdziecie na karcie systemu. Jeżeli pracujecie z dokumentami mieszanymi, a koszt OCR rośnie, bezpłatny przegląd procesów pomoże ustalić, ile stron rzeczywiście wymaga odczytu maszynowego.