Czy AI trzeba douczyć języka firmy budowlanej?

Jeden skrót zmienia sens podsumowania

Załóżmy, że pracownik biura firmy budowlanej zapisuje w notatce: „Do wyj.: zakres prac przy wejściu. Wysłano pytanie do podwykonawcy, czekamy na odpowiedź”. Skrót „do wyj.” oznacza tu „do wyjaśnienia”.

AI wpisuje tę sprawę w zestawieniu do kategorii „zakończone” i podsumowuje ją jako „Wyjaśniono zakres prac przy wejściu”. Osoba znająca zapis widzi błąd od razu: wysłanie pytania nie zakończyło sprawy. Musi wrócić do notatki i poprawić zestawienie, zanim kierownik się na nim oprze. Gdy takich poprawek jest dużo, pracownik spędza znaczną część czasu na sprawdzaniu gotowego podsumowania.

W tym przykładzie treść wystarcza, żeby rozpoznać sprawę oczekującą na odpowiedź. Można więc pokazać, na czym polega pomyłka modelu. Inaczej byłoby z notatką zawierającą tylko nazwę miejsca i wewnętrzny skrót, którego różne zespoły używają w innych znaczeniach. Bez informacji o autorze lub projekcie osoba oceniająca tekst też może potrzebować wyjaśnienia. Douczenie modelu nie dostarczy brakującej wiadomości.

Co poprawić przed treningiem

Przy pojedynczym firmowym skrócie pierwszym rozsądnym krokiem jest udostępnienie AI jego definicji. Słownik może wystarczyć, jeśli pracownicy stosują oznaczenia konsekwentnie. Przy bardzo regularnych zapisach warto też sprawdzić zwykłą regułę przypisującą kategorię. Nie każda notatka wymaga swobodnej interpretacji przez model językowy.

Gdy skrót zależy od projektu, potrzebny jest odpowiedni kontekst. Model może dostać właściwą definicję wraz z notatką albo odnaleźć ją w dokumentacji firmy. Ma to znaczenie szczególnie wtedy, gdy dwa zespoły używają tych samych liter inaczej. Wówczas przy zakupie rozwiązania trzeba ustalić, skąd będzie ono wiedziało, którego projektu dotyczy tekst. Trenowanie wspólnego znaczenia skrótu mogłoby utrwalić uproszczenie, które w części projektów jest błędne.

Osobno warto przyjrzeć się skanom. OCR, czyli rozpoznawanie tekstu ze zdjęcia lub skanu, może zgubić słowo albo błędnie odczytać znak. Jeśli na stronie widnieje „nie zamknięto”, a do AI dociera samo „zamknięto”, problem powstał przed interpretacją zdania. Porównanie tekstu odczytanego ze skanu z oryginalną stroną pozwala to zauważyć. Bez takiego rozróżnienia firma może zapłacić za adaptację modelu, chociaż poprawy wymaga odczyt dokumentów.

Te możliwości da się ocenić na tych samych notatkach, które dziś ktoś ręcznie poprawia. Kupujący powinien zobaczyć, czy po dodaniu słownika błąd znika, czy potrzebne były informacje z projektu, czy model otrzymał zniekształcony tekst. Dopiero pozostałe pomyłki mówią coś użytecznego o potrzebie treningu.

Czego uczy fine-tuning

Fine-tuning to dodatkowe uczenie istniejącego modelu na przykładach pokazujących oczekiwaną odpowiedź. W naszym przypadku pracownik wskazuje, do jakiej kategorii należy notatka i jak zachować jej sens w krótkim podsumowaniu. Model ma lepiej rozpoznawać powtarzający się sposób pisania, również wtedy, gdy autorzy używają różnych sformułowań.

Google opisuje takie uczenie na oznaczonych przykładach i wymienia klasyfikację wśród jego zastosowań. Zaleca zacząć od dopracowania instrukcji dla modelu, a następnie rozważyć fine-tuning w celu usunięcia powracających błędów. Podkreśla też jakość oznaczeń przykładów. To wskazówki dotyczące adaptacji modeli Google, bez gwarancji poprawy w konkretnej firmie budowlanej. Źródło: dokumentacja Google Cloud.

Sensowny kandydat do adaptacji to zadanie, którego znaczenie jest dość trwałe. Zespół wie, czym różni się sprawa oczekująca na odpowiedź od zakończonej, i podobne rozróżnienia wracają w kolejnych notatkach. Jeżeli definicje kategorii zmieniają się przy każdym zestawieniu, najpierw trzeba uzgodnić, czego właściwie oczekuje odbiorca raportu.

Stan poszczególnych spraw będzie się natomiast zmieniał codziennie. Model nauczony poprawnie odczytywać „czekamy na odpowiedź” nadal potrzebuje późniejszej wiadomości, żeby dowiedzieć się, że odpowiedź już przyszła. Dostęp do aktualnych zapisów pozostaje osobną częścią rozwiązania. Nie warto oczekiwać od treningu, że zastąpi sprawdzanie bieżącej dokumentacji.

Czy poprawa będzie widoczna w pracy biura

Ocenę warto powierzyć osobie, która zna język notatek i korzysta z zestawień. Potrafi ona zauważyć różnicę między niezgrabnym zdaniem a pomyłką wymagającą ponownego przeglądania korespondencji. W przykładzie z pytaniem do podwykonawcy istotne jest, czy pytanie nadal widać jako otwarte i czy podsumowanie zachowuje informację o oczekiwaniu na podwykonawcę. Ładniej napisany raport z tym samym błędem niewiele pomaga.

Przed decyzją o wdrożeniu potrzebne jest porównanie ze słownikiem i pozostałymi prostszymi rozwiązaniami na notatkach z innych projektów, których nie używano do adaptacji. Dzięki temu można sprawdzić, jak model radzi sobie z językiem kolejnego zespołu. Wynik powinien pokazywać również sprawy wymagające ręcznego wyjaśnienia. Jeżeli system pozornie rozstrzyga każdą niejasność, pracownik może dostać więcej pewnie brzmiących pomyłek do wychwycenia.

Warto uzgodnić, kto później ocenia powracające błędy. Zmiana sposobu prowadzenia notatek lub nowe znaczenie skrótu może wymagać aktualizacji słownika albo ponownej adaptacji. To wpływa na zakres utrzymania, który należy porównać z nakładem ręcznych poprawek. Podobny problem stałych kategorii opisujemy w artykule o fine-tuningu do klasyfikacji zgłoszeń serwisowych.

Od czego może zacząć się projekt z Syntalith

Syntalith tworzy aplikacje i modele AI. Dla biura, które stale poprawia podobne notatki, proponujemy zacząć od zbadania tych poprawek. Porównujemy wtedy, co daje słownik lub dostęp do kontekstu projektu, a co wymaga sprawdzenia adaptacji modelu. Wybraną metodę łączymy z przygotowaniem konkretnego raportu, żeby ocenić, ile pracy zostaje osobie sprawdzającej zestawienie. Wynik porównania może uzasadnić dalszy trening albo wskazać, że prostsze rozwiązanie wystarcza.

Na pierwszą rozmowę wystarczy opisać, jaki raport powstaje z notatek, kto go sprawdza i jaka pomyłka wraca najczęściej. Nie trzeba wcześniej przygotowywać specyfikacji ani wysyłać poufnej dokumentacji projektu. Sposób pracy z przykładami można uzgodnić później. Informacje o ofercie są w cenniku Syntalith.