Jak mierzyć jakość kierowania zgłoszeń i nie ukrywać błędów

Na ekranie kolejki zgłoszeń mieszkańców widać pełną historię kontroli jakości. Pierwszy test przypisywania kategorii uzyskał 0,828 według miary macro-F1 przy wymaganym poziomie 0,850. Wynik pozostał obok pomiaru rozpoznawania powtórnych zgłoszeń i osobnego testu po poprawkach. Dopóki próg nie jest osiągnięty, system nie kieruje spraw automatycznie.

Co dokładnie się nie udało

Pierwszy test objął 24 przypadki przypisania kategorii. Cztery zostały skierowane błędnie: dwa zgłoszenia dachowe trafiły do hydrauliki, jedno grzewcze do hydrauliki, a jedno dotyczące bezpieczeństwa do kategorii budowlanej. Każdy błąd jest opisany wraz z treścią zgłoszenia i błędną klasyfikacją.

Opisaliśmy błędy, doprecyzowaliśmy kategorie, ograniczyliśmy wpływ kategorii wskazanej przez mieszkańca i dodaliśmy reguły dla jednoznacznych sygnałów. W osobnym teście po poprawkach wszystkie 24 przypadki zostały skierowane prawidłowo. Oba zestawy nie odpowiadają sobie przypadek po przypadku, więc nie można na tej podstawie potwierdzić poprawy w rzeczywistym strumieniu zgłoszeń. Potrzebny jest pomiar po wdrożeniu.

Dlaczego słabszy wynik zostaje w historii

Sam wynik końcowy nie pokazuje, czy jakość była mierzona rzetelnie. Historia testów ujawnia, gdzie system popełniał błędy, jakie zmiany wprowadzono i czy wymagany poziom był ustalony przed pomiarem.

Próg jakości działa w samym produkcie, a historia pomiaru nie jest materiałem marketingowym. Jeśli kolejny test nie osiągnie wymaganego poziomu, wynik również pozostanie widoczny i zatrzyma automatyzację.

System zakłada możliwość pomyłki

Wynik poniżej progu nie czyni systemu bezużytecznym, ponieważ proces zakłada możliwość błędnej klasyfikacji. Oryginalna treść zgłoszenia pozostaje obok przypisanej kategorii. Dyspozytor może ją poprawić, a historia zachowuje obie wartości. Zgłoszenia dotyczące bezpieczeństwa trafiają na górę kolejki niezależnie od kategorii, a wykonawcę zawsze wybiera człowiek.

Rozpoznawanie tej samej awarii opisanej innymi słowami osiągnęło wynik 1,00 na 36 parach. Dzięki temu kolejne zgłoszenie nie tworzy osobnego zlecenia ani nie rozprasza informacji o tej samej awarii.

Jak czytać wynik macro-F1 w procesie operacyjnym

Macro-F1 wylicza wynik F1 osobno dla każdej kategorii, a następnie traktuje wszystkie kategorie równorzędnie. Ta miara jest przydatna wtedy, gdy rzadkie zgłoszenie dotyczące bezpieczeństwa nie może zniknąć pod dużą liczbą prostych spraw hydraulicznych. Jedna wartość nadal nie mówi, które błędy są najgroźniejsze.

Dlatego obok wyniku łącznego potrzebne są co najmniej cztery widoki:

• macierz pomyłek pokazująca, które kategorie system ze sobą myli,
• skuteczność osobno dla kategorii o wysokim ryzyku,
• udział spraw zatrzymanych do weryfikacji,
• czas, jaki dyspozytor poświęca na poprawienie wyniku.

Wysoki wynik może współistnieć ze złym procesem, jeśli system rzadko się myli, ale przeoczone przypadki dotyczą gazu, pożaru albo dostępu do budynku. Próg dla automatycznego kierowania powinien więc wynikać z kosztu pomyłki, a nie z estetyki zielonego wskaźnika.

Jak uniknąć wyniku, który dobrze wygląda tylko w teście

Zbiór po poprawkach powinien zawierać nowe zgłoszenia, których nie używano do strojenia kategorii i reguł. W przeciwnym razie mierzymy pamięć zespołu projektowego, a nie zachowanie systemu na kolejnym napływie.

Trzeba też zachować proporcje i język rzeczywistego kanału. Mieszkaniec może zgłosić tę samą awarię przez telefon, e-mail i e-BOK, używając skrótów, literówek lub nazw własnych budynku. Zbyt czysty zestaw testowy ukrywa tę trudność.

Wykrywanie powtórek wymaga osobnej oceny. Błędne połączenie dwóch różnych awarii jest tak samo ważne jak niewykryta powtórka, ponieważ może schować nową sprawę pod istniejącym zleceniem. Warto oceniać pary w obrębie tego samego obiektu i przedziału czasu, a także podobne opisy dotyczące różnych lokalizacji.

Co mierzyć podczas pilotażu

Przed dopuszczeniem automatycznego kierowania ustal:

1. kategorie, ich właścicieli i reguły pierwszeństwa,
2. przypadki, które zawsze trafiają na górę kolejki niezależnie od modelu,
3. osobne progi dla zwykłych spraw i sygnałów bezpieczeństwa,
4. maksymalny czas oczekiwania na decyzję dyspozytora,
5. próbkę ręcznie ocenianą co tydzień po uruchomieniu,
6. warunek wyłączenia automatycznego kierowania po pogorszeniu jakości.

Poza macro-F1 mierz czas od wpływu do pierwszej decyzji, liczbę korekt, liczbę połączonych zgłoszeń później rozdzielonych przez dyspozytora oraz wiek najstarszej sprawy. Te miary pokazują, czy klasyfikator usprawnia dyżur, czy tylko przenosi pracę na ekran poprawek.

Co warto sprawdzić u dostawcy

Jeżeli dostawca pokazuje wyłącznie wyniki powyżej celu, warto zapytać o testy nieudane i o to, jak wpłynęły na decyzję o uruchomieniu. Odpowiedź pokaże, czy progi i pomiar rzeczywiście sterują wdrożeniem.

Poproś również o definicję zbioru po poprawkach, macierz pomyłek, zasady wersjonowania kategorii i procedurę cofnięcia automatycznego kierowania. Bez tych elementów pojedyncza wartość nie wystarcza do decyzji produkcyjnej.

Pełna historia pomiaru, razem z pierwszym wynikiem poniżej progu i późniejszym testem, jest na karcie systemu. Podczas bezpłatnego przeglądu procesu możemy ustalić wymagane poziomy jakości przed rozpoczęciem budowy.