Analiza orzeczeń, w której każda teza prowadzi do źródła

Prawnicy byli już karani za pisma zawierające sygnatury orzeczeń, które nie istniały. W prawie zmyślone źródło szybko staje się częścią pisma procesowego, a odpowiedzialność ponosi pełnomocnik.

Potrzeba automatyzacji jest jednak realna. Analiza orzecznictwa zajmuje wiele godzin, ponieważ prawnik szuka tez wspierających określoną argumentację, a zwykła wyszukiwarka znajduje przede wszystkim dokumenty zawierające wpisaną frazę.

Najpierw źródło, potem teza

W czytelni argumentów system najpierw znajduje fragmenty w ustalonym zbiorze orzeczeń, a dopiero potem tworzy z nich tezy. Odpowiedź musi opierać się na znalezionych dokumentach.

Struktura danych wymaga, aby każda teza zawierała wskazanie dokumentu i dokładnego miejsca cytatu. Bez znalezionego fragmentu system nie może zapisać tezy. Zmyślona sygnatura nie przechodzi więc kontroli odpowiedzi.

Jedno kliknięcie otwiera właściwy fragment i publiczną stronę orzeczenia. System zachowuje adres źródła oraz sumę kontrolną dokumentu, dlatego podstawę odpowiedzi można później odtworzyć.

Jak zmierzyliśmy wyszukiwanie

Wyszukiwanie działa lokalnie, bez wysyłania treści orzeczeń do zewnętrznej usługi. System porównuje wariant słownikowy z wariantem łączącym wyszukiwanie po słowach i znaczeniu.

Na siedmiu pytaniach, dla których ręczna lektura wskazała co najmniej jeden trafny fragment, wariant słownikowy osiągnął nDCG@10 równe 0,894, a wariant łączony 0,870. Ten wynik nie potwierdza przewagi wariantu łączonego. Osobny pomiar na dziesięciu pytaniach dał odpowiednio 0,637 i 0,713, ale sprawdzał zgodność ze zbiorem źródłowym, a nie przydatność argumentu prawnego.

Co naprawdę mierzą te wyniki

nDCG@10 ocenia kolejność znalezionych fragmentów względem ręcznie przygotowanej oceny trafności. Pomaga odpowiedzieć, czy użyteczny materiał pojawia się wysoko na liście. Nie sprawdza, czy teza jest prawidłową interpretacją prawa, czy orzeczenie jest nadal aktualne ani czy fragment pasuje do stanu faktycznego konkretnej sprawy.

W praktyce potrzebne są trzy oddzielne kontrole:

Połączenie tych ocen w jeden wskaźnik utrudnia diagnozę. Gdy odpowiedź jest słaba, trzeba wiedzieć, czy zabrakło dokumentu w korpusie, wyszukiwarka źle ułożyła wyniki, czy interpretacja wymaga innego pytania.

Jak przygotować korpus kancelarii

Najwięcej pracy przed pilotażem dotyczy zwykle źródeł. Każdy dokument powinien mieć stabilny identyfikator, adres pochodzenia, datę pobrania, sumę kontrolną i informację o wersji. Trzeba też ustalić, które zbiory są dopuszczone dla danego zespołu oraz jak obsłużyć dokument wycofany albo zastąpiony nowszym.

Lista startowa obejmuje:

• zakres sądów, okresów i rodzajów spraw objętych wyszukiwaniem,
• zasady dzielenia dokumentów na fragmenty bez utraty kontekstu,
• pytania reprezentujące prawdziwe zadania badawcze zespołu,
• pytania, na które w korpusie celowo nie ma odpowiedzi,
• ręcznie wskazane fragmenty trafne oraz myląco podobne,
• proces aktualizacji zbioru i ponownego uruchomienia testów.

Pytania bez odpowiedzi są szczególnie ważne. Wymuszają sprawdzenie, czy system potrafi zakończyć analizę komunikatem o braku podstawy, zamiast składać pozornie pomocną tezę z materiału obok tematu.

System nie udziela porad prawnych

Prośba o poradę prawną kończy się odmową zapisaną w historii. Wersję demonstracyjną sprawdziliśmy na 40 publicznych fragmentach SAOS. Wszystkie trzy wymagane odmowy zadziałały, a każde z 14 cytowań wskazywało właściwy fragment. System nie korzystał z zewnętrznej usługi przetwarzania danych.

Test obejmuje 40 fragmentów i 10 pytań, w tym trzy bez odpowiedzi w tym zbiorze. Potwierdza działanie mechanizmu na tym materiale, ale nie mierzy jakości na pełnym zasobie kancelarii. Interpretacja i aktualność źródeł należą do prawnika; system sprawdza, czy cytowany fragment istnieje we wskazanym miejscu.

Kryteria odbioru dla zespołu prawnego

Przed dopuszczeniem systemu do pracy nad sprawami sprawdź:

1. Czy każda teza otwiera dokładny cytat oraz cały dokument?
2. Czy użytkownik widzi zakres przeszukanego korpusu i datę jego aktualizacji?
3. Czy brak trafnego fragmentu prowadzi do jawnego braku odpowiedzi?
4. Czy system rozróżnia treść orzeczenia, metadane i komentarz wygenerowany przez model?
5. Czy można odtworzyć wersję dokumentu używaną przy wcześniejszej analizie?
6. Czy pytania o poradę, ocenę szans i gotową treść pisma trafiają do ustalonej ścieżki człowieka?
7. Czy po aktualizacji korpusu wracają testy wyszukiwania, cytowań i odmów?

Najważniejszą miarą pilotażu jest użyteczność materiału dla prawnika: czas do znalezienia trafnego fragmentu, udział tez odrzuconych podczas weryfikacji i przyczyna odrzucenia. Zgodność cytatu ze źródłem jest warunkiem koniecznym, lecz sama nie świadczy o jakości argumentu.

Szczegóły i pomiary znajdziesz na karcie systemu. Jeśli analiza orzeczeń zajmuje w kancelarii wiele godzin, podczas bezpłatnego przeglądu procesu możemy pokazać wariant z obowiązkowym wskazaniem źródła.