Podsumowania rozmów serwisowych: co zrobiono, a co dopiero ustalono?

Propozycja sprawdzenia nie zawiera jeszcze wyniku

Technik mówi: „Przy kolejnym kontakcie sprawdzimy, czy po zalogowaniu nadal pojawia się błąd aplikacji”. Klient potwierdza termin i rozmowa się kończy. Podsumowanie mówi jednak: „Sprawdzono działanie po zalogowaniu, błąd nadal występuje”. Osoba przejmująca sprawę dzwoni do klienta z błędną wiedzą.

Wystarczający zapis brzmi: „Przy kolejnym kontakcie zaplanowano sprawdzenie, czy błąd pojawia się po zalogowaniu; w tej rozmowie nie podano wyniku”. Przy przekazaniu sprawy znaczenie mają też informacje, które łatwo zgubić przy skracaniu: co klient nadal zgłasza i na co strony się umówiły. Jeśli transkrypcja zgubiła przeczenie albo przypisała wypowiedź niewłaściwej osobie, streszczenie ma błędną podstawę, więc jakość zapisu sprawdzamy osobno.

Ile daje prostsza zmiana, a ile trening

W tym rachunku format z osobnymi sekcjami daje większość efektu za ułamek kosztu. Trening ma sens przy większej skali albo gdy pozostałe błędy są kosztowne. Jeśli dodatkowe uczenie nie ogranicza potrzebnych poprawek wobec poprawionego formatu, sama możliwość posiadania własnego modelu nie uzasadnia zakupu.

Zbiór przykładów do uczenia trzeba utrzymywać: gdy zmienia się proces, nazewnictwo albo model bazowy, ocenę powtarza się na tym samym zbiorze testowym. Ten koszt wpisujemy do wyceny razem z samym uczeniem.

Najpierw format w obecnym narzędziu

Część problemów usuwa wyraźniejsze rozdzielenie czynności wykonanych od ustaleń: zbyt ogólne pole „przebieg obsługi” łączy plan i wykonanie w jednym zdaniu. Narzędzia do obsługi rozmów zwykle pozwalają skonfigurować sekcje podsumowania. Fine-tuning to dalsze uczenie wytrenowanego modelu na materiale z konkretnego zadania, co opisuje dokumentacja Hugging Face. Próba ma uzasadnienie, gdy po zmianie formatu i instrukcji model nadal przedstawia uzgodniony krok jako wykonany. Dawna notatka w systemie nie zawsze jest wiernym streszczeniem, bo autor mógł dopisać ustalenie z późniejszej rozmowy, więc przykłady sprawdzają osoby znające serwis. Jakość zapisu rozmowy opisuje tekst o transkrypcji poufnych spotkań.

Od czego zacząć

Porównanie obejmuje rozmowy niewykorzystane do dostosowania. Osoba przejmująca sprawę i pracownik jakości czytają podsumowanie obok zapisu rozmowy i liczą dopisane wnioski i pominięte ustalenia. Dostosowanie modeli prowadzimy w ramach prywatnych modeli LLM, a aplikację, w której pracownik widzi wynik obok źródła, w ramach aplikacji AI. Na bezpłatną analizę wystarczy kilka przykładów błędu, który wraca, i opis, kto go dziś poprawia.