Jak sprawdzić LLM przed wdrożeniem w firmie

Pięć pytań na prezentacji to nie test

Model poprawnie odpowiada na pięć pytań podczas prezentacji. Następnego dnia dostaje stronę zeskanowaną do góry nogami, umowę bez tabeli z załącznika i pytanie o dokument, do którego pytający nie ma dostępu. Dopiero takie przypadki pokazują, czy system nadaje się do pracy.

Przed wyborem modelu ustalamy, co jest poprawnym wynikiem, a jaki błąd blokuje wdrożenie. W kancelarii odpowiedź musi wskazywać właściwą klauzulę i jej wersję, w help desku liczy się dział, do którego trafi sprawa, a w księgowości błędny identyfikator kontrahenta to inny problem niż zbędna spacja. Użytkownik procesu współtworzy test, bo wie, które pomyłki powodują dalszą pracę.

Ile to kosztuje i kiedy się zwraca

Rachunek liczy czas szukania, czytania i zestawiania materiału. Zostaje czas na sprawdzenie wyniku przy źródle, w scenariuszu 25% dzisiejszej pracy. Oba czasy mierzymy w próbie na 20 do 100 sprawach, które zespół już obsłużył.

Co zostaje po teście

Zachowujemy poprzednią działającą wersję i warunki wycofania aktualizacji. Ten sam zestaw uruchamiamy po każdej zmianie modelu, promptu albo danych, żeby porównać wynik z poprzednim. Wynik demonstracji bez takiego zestawu nie pozwala ocenić, czy nowa wersja jest lepsza.

Mierz kilka rodzajów błędów

W klasyfikacji pokazujemy wyniki dla poszczególnych kategorii, bo dobra średnia może ukrywać słabą obsługę rzadkich spraw. W ekstrakcji osobno liczymy brak pola i pole wymyślone, a w RAG sprawdzamy, czy wskazane źródło popiera odpowiedź. Liczba 0,9 przy odpowiedzi nie dowodzi, że dziewięć na dziesięć podobnych decyzji będzie poprawnych, więc próg pewności mierzymy na danych z zadania razem z udziałem spraw przekazanych człowiekowi. Podejście opisują wytyczne ewaluacji OpenAI, a modele decyzyjne tekst o Jev.

Od czego zacząć

Pierwszy krok to zestaw 20 do 100 spraw, które zespół już obsłużył, z oczekiwanym wynikiem. Raport zawiera wersję modelu, konfigurację, wyniki dla kategorii, przykłady błędów, test obciążenia i rekomendację. Lokalne modele wdrażamy w ramach prywatnych modeli LLM, a widok pracy ze źródłami budujemy jako aplikację AI. Na bezpłatną analizę wystarczy opis jednej sprawy i miejsc, w których leżą materiały. Poufne pliki zostają w firmie, a plan na piśmie dostajesz w 2 dni robocze.