Podsumowania rozmów serwisowych: co zrobiono, a co dopiero ustalono?
W przykładowej rozmowie technik proponuje sprawdzenie przy kolejnym kontakcie, czy po zalogowaniu nadal pojawia się błąd aplikacji. Podsumowanie mówi jednak, że błąd już sprawdzono i nadal występuje. Osoba przejmująca obsługę musi wrócić do rozmowy, żeby ustalić, co rzeczywiście zrobiono. Gdy takie poprawki wracają, warto ocenić sposób tworzenia podsumowań: ich format, instrukcje dla AI i dopiero potem potrzebę dostosowania modelu.
Syntalith
W Syntalith możemy przygotować aplikację do podsumowań rozmów serwisowych, która pomaga przygotować notatkę dla osoby przejmującej sprawę. Porównujemy możliwości obecnego narzędzia z gotowym modelem i ewentualnym fine-tuningiem, a wybrane rozwiązanie można połączyć z kartą sprawy. Osoba przejmująca obsługę widzi krótki opis dotychczasowych ustaleń i może wrócić do wypowiedzi, na których się opiera. Przed decyzją o dalszej pracy zespół ocenia takie propozycje na rozmowach oraz sprawdza, ile nadal wymagają redakcji.
Propozycja sprawdzenia nie zawiera jeszcze wyniku
W rozmowie z przykładu technik mówi: „Przy kolejnym kontakcie sprawdzimy, czy po zalogowaniu nadal pojawia się błąd aplikacji”. Klient potwierdza termin kontaktu, a rozmowa się kończy. Podsumowanie „Sprawdzono działanie po zalogowaniu, błąd nadal występuje” dopisuje zarówno wykonaną czynność, jak i jej rezultat. Osoba przejmująca sprawę mogłaby uznać ten etap za zakończony.
Wystarczający zapis brzmi: „Przy kolejnym kontakcie zaplanowano sprawdzenie, czy błąd pojawia się po zalogowaniu; w tej rozmowie nie podano wyniku”. Gdy późniejsza rozmowa zawiera relację „Sprawdzono działanie po zalogowaniu, błąd nadal występuje”, można już zachować w podsumowaniu czynność i zaobserwowany wynik. Różnica wynika z treści rozmów. Model powinien ją utrzymać także wtedy, gdy uczestnicy mówią skrótowo lub wracają do wcześniejszego ustalenia.
Przy przekazywaniu sprawy znaczenie mają również informacje, które łatwo pominąć podczas skracania: co klient nadal zgłasza i na co strony się umówiły. Jeśli odbiorca musi każdorazowo czytać pełną rozmowę, żeby odtworzyć te ustalenia, podsumowanie nie spełnia swojej roli. Dobrze dobrany format pozwala sprawdzić potrzebny fragment bez opowiadania całej historii od początku.
Najpierw sprawdzić format w obecnym narzędziu
Część problemów da się usunąć przez wyraźniejsze rozdzielenie czynności wykonanych od dalszych ustaleń. Microsoft opisuje konfigurację podsumowań w Dynamics 365 Contact Center: dostępny jest akapit lub format uporządkowany, własne sekcje i ustawienie pomijania brakujących informacji. To możliwości do sprawdzenia w używanym narzędziu, bez założenia, że sama konfiguracja zapewni poprawny opis każdej rozmowy.
Warto ustalić z technikami, czego potrzebują podczas przejęcia sprawy. Zbyt ogólne pole „przebieg obsługi” może łączyć plan i wykonanie w jednym zdaniu. Czytelniejsze sekcje oraz instrukcja zachowania różnicy między propozycją, działaniem i wynikiem pozwalają ocenić gotowy model bez dodatkowego uczenia.
Najpierw trzeba też wiedzieć, czy sam zapis rozmowy jest poprawny. Jeśli transkrypcja zgubiła przeczenie albo przypisała wypowiedź niewłaściwej osobie, streszczenie otrzymuje błędną podstawę. Ten etap opisujemy osobno w artykule o transkrypcji i sprawdzaniu nagrań. Dostosowanie streszczeń ma sens oceniać na materiale, którego znaczenie można wiarygodnie sprawdzić.
Kiedy rozważyć fine-tuning
Fine-tuning to dalsze uczenie wcześniej wytrenowanego modelu na materiale związanym z konkretnym zadaniem, jak wyjaśnia dokumentacja Hugging Face. W serwisie zadaniem jest przygotowanie użytecznego podsumowania z zachowaniem tego, co faktycznie powiedziano.
Próba dostosowania ma uzasadnienie, gdy po zmianie formatu i instrukcji gotowy model nadal powtarza określone pomyłki. Może na przykład regularnie przedstawiać uzgodniony następny krok jako wykonany albo pomijać wynik zapisany w dalszej części rozmowy. Firma powinna umieć wskazać te różnice na rozmowie i poprawionym podsumowaniu.
Przygotowanie wymaga reprezentatywnych rozmów oraz podsumowań sprawdzonych przez osoby znające pracę serwisu. Dawna notatka w systemie nie zawsze jest wiernym streszczeniem: jej autor mógł dodać ustalenie z późniejszego kontaktu. Trzeba więc oceniać ją razem z rozmową, którą model ma podsumować. Sposób wykorzystania materiałów zespół uzgadnia przed ich przekazaniem do tej pracy.
Czy podsumowanie ułatwia przejęcie sprawy
Porównanie powinno objąć osobne rozmowy, których nie używano podczas dostosowania. Osoba przejmująca sprawę i pracownik jakości czytają podsumowanie obok zapisu rozmowy. Sprawdzają dopisane wnioski, pominięte ustalenia oraz redakcję potrzebną przed wykorzystaniem notatki. Istotne jest, czy kolejny technik może ustalić, co już wiadomo i co pozostaje do zrobienia.
Wynik trzeba porównać z poprawionym formatem i gotowym modelem. Jeśli dodatkowe uczenie nie ogranicza potrzebnych poprawek, sama możliwość utrzymywania własnego modelu nie uzasadnia zakupu.
Podsumowanie w miejscu pracy serwisu
Proponowany projekt aplikacji i dostosowania modelu AI obejmuje ocenę sposobu podsumowywania oraz połączenie wybranego podejścia z używanym narzędziem serwisowym. Pracownik przegląda notatkę, otwiera potrzebny fragment rozmowy i zapisuje poprawkę przed przekazaniem sprawy. Zespół klienta określa, jakie informacje są potrzebne przy przejęciu obsługi, i pomaga ocenić błędy, które utrudniają dalszą pracę.
Na pierwszą rozmowę wystarczy opisać podsumowanie, po którym technik musiał ponownie czytać całą rozmowę. Możemy omówić, co zgubiło się w skrócie i jak dziś wygląda jego sprawdzanie. Zakres oraz wykorzystanie przykładów uzgodnimy wspólnie. Informacje o współpracy znajdziesz w cenniku Syntalith.
Dobierzmy model do wymagań Twojego zadania
Opisz wynik, którego obecne AI nie daje wystarczająco dobrze. Porównamy możliwości dostosowania modelu, wymagania dotyczące danych i koszty dalszego działania.
Prywatne modele LLM i fine-tuning