Jak AI rozpoznaje, z czym dzwoni klient?

Załóżmy, że rozmowa zaczyna się od słów: „Nie chcę już korzystać z tego pakietu”. Konsultant pyta: „Czy chce Pan zmienić pakiet, czy całkowicie zrezygnować z internetu?”. Klient odpowiada: „Internet chcę zostawić, tylko przejść na tańszy pakiet”. Teraz można przejść do rozmowy o zmianie oferty. Pierwsze zdanie nie dawało jeszcze tej podstawy.

W narzędziach AI taki cel kontaktu nazywa się intencją. Rozpoznanie go może pomóc konsultantowi wybrać dalszą część rozmowy lub otworzyć właściwy formularz. W naszym przykładzie pomocny system uwzględnia odpowiedź klienta, zamiast nadal traktować początkowe „nie chcę” jako rezygnację. Konsultant nie musi wtedy poprawiać błędnego rozpoznania przed omówieniem pakietów.

Kiedy wystarczy pytanie

Niejasną wypowiedź łatwo uznać za dowód, że model słabo zna polski. Tymczasem „nie chcę tego pakietu” pozostawia dwie możliwości również człowiekowi. Więcej przykładów użytych do uczenia modelu nie ustali, którą z nich miał na myśli konkretny klient. Informację wnosi dopiero jego odpowiedź.

Dlatego przy zakupie rozwiązania warto zobaczyć cały krótki dialog. Czy system potrafi zostawić cel rozmowy otwarty, pomóc zadać zrozumiałe pytanie i uwzględnić odpowiedź? Samo oznaczenie wypowiedzi jako nierozpoznanej jeszcze nie zapewnia takiej obsługi. Sposób kontynuowania rozmowy należy do projektu aplikacji.

Gdy klient powiedział już, że chce zachować internet i zmienić pakiet, ponowne pytanie o rezygnację tylko przedłuża rozmowę. Dobre rozpoznawanie intencji powinno ograniczać takie zbędne powtórzenia. Oceniając narzędzie, trzeba więc zobaczyć zarówno sytuacje wymagające pytania, jak i te, w których klient podał wystarczającą informację.

Czego model rzeczywiście nie zrozumiał

Inny problem występuje, gdy model regularnie odczytuje jasne prośby o zmianę pakietu jako zakończenie usługi. Klienci mogą mówić potocznie, urywać zdania albo wracać do wcześniejszej wypowiedzi. Jeśli konsultant rozumie ich cel na podstawie tych samych słów i kontekstu, jest konkretna pomyłka do poprawienia.

Przy połączeniach głosowych trzeba wcześniej porównać zapis rozmowy z nagraniem. Transkrypcja to zamiana mowy na tekst, który następnie analizuje model. Pominięcie „nie” w zdaniu „Nie chcę rezygnować z internetu” odwraca jego znaczenie. Dostosowywanie rozpoznawania intencji na podstawie takiego zapisu nie rozwiązuje błędu, który powstał podczas odczytywania mowy.

Podobnie jest z kontekstem: jeśli aplikacja przekazuje modelowi tylko ostatnie „tak”, bez pytania, na które klient odpowiedział, najpierw trzeba poprawić sposób udostępniania rozmowy. Dopiero przy poprawnym zapisie i wystarczającym kontekście można sensownie oceniać, czy model rozpoznaje cel kontaktu.

Czy polskie rozmowy wymagają własnego modelu?

Warto zacząć od obecnego narzędzia lub gotowego modelu wielojęzycznego. Microsoft wymienia polski wśród języków obsługiwanych przez Conversational Language Understanding, usługę rozpoznającą intencje w wypowiedziach. To daje podstawę do rozważenia takiego narzędzia, a jego przydatność trzeba sprawdzić na rozmowach danej firmy. Źródło: dokumentacja języków Microsoft CLU.

Próba powinna też pokazać, czy firma jasno odróżnia zmianę pakietu od zakończenia usługi. Jeśli konsultanci przypisują ten sam rodzaj prośby do obu kategorii, najpierw warto uzgodnić ich znaczenie. Przy niewielkiej liczbie jasno określonych spraw wystarczające może okazać się prostsze menu albo poprawienie istniejącego dialogu.

Adaptacja modelu polega na uczeniu go na przykładach wypowiedzi z poprawnie wskazanym celem kontaktu. Ma pomóc mu rozpoznawać sformułowania używane przez klientów danej firmy. Sens takiej pracy pojawia się wtedy, gdy gotowy model nadal myli określone, zrozumiałe prośby mimo wyjaśnienia kategorii i zapewnienia właściwego kontekstu. Rozmowy w języku polskim same w sobie nie przesądzają o potrzebie adaptacji.

Jak porównać wyniki na osobnych rozmowach

Warto porównać osobno błędy przy prośbach o zmianę pakietu i przy rezygnacjach. Dobry wynik dla częstych pytań o ofertę może przesłonić pomyłki przy zakończeniu usługi. Microsoft opisuje ocenę każdej intencji osobno oraz zestawienie pokazujące, które kategorie model ze sobą myli.

Porównanie gotowego i dostosowanego modelu powinno obejmować osobne rozmowy testowe, których nie używano do uczenia. Przy naszym dialogu ważne jest, czy po odpowiedzi klienta system rozpoznaje zmianę pakietu i nie wraca do pytania o rezygnację. Konsultanci mogą też ocenić, ile błędnych podpowiedzi muszą poprawić i czy pytania doprecyzowujące pomagają posunąć rozmowę naprzód.

Warto oceniać telefon i czat oddzielnie, jeśli oba kanały mają korzystać z rozwiązania. Telefon dokłada etap transkrypcji, a wynik na czacie go nie sprawdza. Przy zmianie oferty lub znaczenia kategorii trzeba ponownie przyjrzeć się rozpoznawaniu. Osobny temat, jakim jest przypisywanie gotowych zgłoszeń do zespołów, opisujemy w artykule o fine-tuningu do klasyfikacji zgłoszeń serwisowych.

Rozmowa z Syntalith o konkretnym błędzie

Syntalith tworzy aplikacje i dostosowuje modele AI. W contact center proponujemy zacząć od jednego rozróżnienia, z którym obecne narzędzie często sobie nie radzi. Sprawdzamy, czy poprawy wymaga odczyt rozmowy, dostęp do wcześniejszych wypowiedzi czy samo rozpoznawanie. Porównanie z gotowym modelem pozwala zdecydować, czy próba adaptacji ma uzasadnienie.

Wybrany sposób rozpoznawania można połączyć z narzędziem konsultanta lub dialogiem, który zbiera cel kontaktu. Pierwszą rozmowę wystarczy zacząć od przykładu mylonej prośby i opisu tego, co pracownik musi potem poprawiać. Jeśli materiały z rozmów okażą się potrzebne, uzgodnimy sposób ich wykorzystania. Informacje o ofercie są w cenniku Syntalith.