Proces się zmienił. Czy trzeba ponownie uczyć model?

Nowa nazwa zespołu czy nowe znaczenie kategorii

Firma łączy dwa zespoły zajmujące się dokumentacją klienta. Model nadal poprawnie rozpoznaje sprawę jako prośbę o kopię dokumentu, ale aplikacja kieruje ją do dawnego adresata. Wystarczy zmiana mapowania w aplikacji. Model działa dobrze.

Inna zmiana dzieli dotychczasową kategorię na dwa rodzaje spraw, bo firma zaczyna obsługiwać je inaczej. Stare oznaczenia nie zawierają tego rozróżnienia. Zespół musi objaśnić nowe granice i ocenić przykłady, a model potrzebuje ponownego uczenia albo nowej reguły.

Ile kosztuje każda droga

Ogólna pozycja „ponowny trening po zmianie procesu” może obejmować pracę, której firma nie potrzebuje, albo pomijać czas eksperta, bez którego trening się nie uda.

Co zachować o dotychczasowej wersji

Hugging Face zaleca opisywanie w karcie modelu jego zastosowania, ograniczeń, danych użytych do uczenia i wyników oceny. Taki zapis ułatwia rozmowę o zmianie: wiadomo, według którego podziału powstały historyczne oznaczenia. Dawna poprawna decyzja nie jest błędem tylko dlatego, że dzisiejszy proces wygląda inaczej.

Jak rozpoznać, czego potrzebujesz

Zadaj trzy pytania. Czy model nadal poprawnie nazywa sprawę, a zmienił się tylko jej odbiorca? To zmiana w aplikacji. Czy firma zaczęła rozróżniać sprawy, których model wcześniej nie rozróżniał? To nowe przykłady i ponowne uczenie. Czy zmieniły się same dokumenty, na przykład nowy formularz? To test na nowych dokumentach, a dopiero potem decyzja.

Najdroższy błąd to zamówienie ponownego uczenia, gdy wystarczyła zmiana mapowania. Drugi najdroższy to poprawianie mapowania, gdy kategoria naprawdę zmieniła znaczenie: model dalej będzie mylił sprawy, a zespół straci zaufanie do systemu.

Utrzymanie obejmuje pracę ludzi

Budżet aktualizacji zależy od liczby istotnych zmian, dostępności sprawdzonych przykładów i czasu przeglądu. Ekspert procesu objaśnia nowe decyzje, a wykonawca sprawdza możliwości modelu, przygotowuje dane i testy. Nową wersję trzeba sprawdzić także na sprawach, których zmiana nie dotyczyła.

Opisz najbliższą zmianę procesu i wynik, który model miałby po niej przygotowywać inaczej. To punkt wyjścia do uzgodnienia zakresu utrzymania systemu. Budowę nowego systemu opisuje strona aplikacji AI.