Fine-tuning, RAG czy trening własnego modelu?
Jak dobrać RAG, fine-tuning LoRA lub trening małego modelu do firmowego zadania. Dane, testy i koszty adaptacji LLM wyjaśnione przez Syntalith.
Artykuły zebrane według problemu, branży i rodzaju systemu.
Jak dobrać RAG, fine-tuning LoRA lub trening małego modelu do firmowego zadania. Dane, testy i koszty adaptacji LLM wyjaśnione przez Syntalith.
Gdzie sprawdzić Jev i małe modele decyzyjne w firmie? Routing zgłoszeń, kompletność dokumentów, progi pewności i pilotaż przygotowany przez Syntalith.
Czy Jev działa lokalnie? Poznaj Kev, TinyJev i inne podejścia do prywatnych modeli decyzyjnych. Dobór, fine-tuning oraz wdrożenie z pomocą Syntalith.
Firma ma archiwum odpowiedzi pracowników i chce wykorzystać je do dostosowania modelu AI. Liczba zapisów wygląda obiecująco, ale nie mówi, czy pokazują pracę, którą model ma wykonywać. Przed zamówieniem uczenia warto ustalić, jakie przykłady są użyteczne, co wymaga poprawienia i czy gotowy model już radzi sobie z tym zadaniem.
Załóżmy, że asystent sprzedaży opisuje produkt jako dostępny, choć w systemie zamówień ma już status niedostępnego. Zespół zastanawia się nad douczeniem modelu. Najpierw trzeba ustalić, skąd asystent dostał informację: czy korzystał ze starej karty produktu, czy otrzymał aktualny status i błędnie go przedstawił. Od tej różnicy zależy, jaką pracę warto zamówić.
Firma chce zmienić dostawcę modelu, ale obecna aplikacja korzysta z wersji dostosowanej do jej pracy. Samo przełączenie usługi nie odpowiada na pytanie, czy nowy model zachowa oczekiwany sposób działania. Trzeba ustalić, co z dotychczasowej pracy da się wykorzystać i co wymaga ponownej oceny.
Kupujący ogląda poprawne odpowiedzi dostosowanego modelu i słyszy, że projekt jest gotowy. Przed odbiorem potrzebuje jednak wiedzieć, czy pokaz dotyczy wersji przeznaczonej do jego aplikacji, jakie błędy pozostają i kto przejmie sprawy wymagające sprawdzenia. Te ustalenia powinny powstać przed końcowym sprawdzeniem rozwiązania.
Dostosowany model może przygotować lepszy pierwszy szkic, a mimo to nie być najlepszym zakupem dla zespołu. Pracownik nadal czeka na odpowiedź, sprawdza ją i poprawia, a firma utrzymuje dodatkową wersję narzędzia. Porównanie powinno pokazać całą tę pracę w zadaniu, które rzeczywiście ma być wykonywane.
Dwa modele mogą mylić się równie często, a zostawiać zespołowi zupełnie inną pracę. Jeden wysyła do sprawdzenia wiele poprawnych dokumentów. Drugi przepuszcza pomyłki, które wychodzą dopiero przy realizacji zamówienia. Przed zakupem dostosowania warto ustalić, jakie następstwa mają te błędy w konkretnym procesie.
Aplikacja ma przypisać tekst do jednej z uzgodnionych kategorii. Tymczasem zespół używa dużego modelu językowego, który generuje odpowiedź, a program dopiero wyciąga z niej oznaczenie. Warto sprawdzić, czy zadanie potrzebuje tej elastyczności i czy prostszy klasyfikator zapewni użyteczny wynik przy mniejszym zakresie obsługi.
Firma zmienia sposób obsługi spraw, a dostosowany model nadal proponuje wcześniejsze oznaczenia. Kierownik musi zdecydować, czy zamówić kolejne uczenie, poprawić reguły aplikacji czy najpierw wyjaśnić nowy podział pracy. Koszt utrzymania zależy od tego, co naprawdę się zmieniło i kto potrafi ocenić poprawny wynik.
Klient wpisuje w wyszukiwarce sklepu opis zastosowania, a na początku listy widzi produkty pasujące tylko do części słów. Kierownik katalogu chce poprawić kolejność wyników, zachowując kontrolę nad tym, co rzeczywiście odpowiada pytaniu. Dostosowany model może być jedną z opcji, ale najpierw trzeba ustalić, czy właściwe produkty w ogóle trafiają na listę kandydatów.
Załóżmy, że przy zamówieniu zapisano pełny adres klienta, lecz w uwagach widnieje „dostawy przyjmuje magazyn”. Pracownik musi ustalić, czy wpis wskazuje właściwe miejsce. Model AI może pomóc wychwycić taką niejasność i pokazać jej podstawę. Przed zamówieniem dostosowania warto porównać tę pomoc ze zwykłymi regułami i usługą walidacji adresów.
Pracownicy poprawiają odpowiedzi AI, a właściciel aplikacji chce wykorzystać te zmiany do kolejnego dostosowania modelu. Przycisk „zapisz poprawkę” daje materiał, lecz nie wyjaśnia, czego model powinien się z niego nauczyć. Korekta może usuwać błąd, dodawać nowy fakt albo odpowiadać na wyjątkową prośbę odbiorcy.
Firma chce mieć własny model językowy, ale pod tym określeniem mogą kryć się różne potrzeby: uruchamianie go w wybranym środowisku, dostosowanie sposobu odpowiedzi albo kontrola nad dalszym rozwojem. Dopiero sprecyzowanie tej potrzeby pozwala porównać adaptację istniejącego modelu z treningiem od początku.
Zespół może otworzyć firmowe dokumenty, ale przy planowaniu modelu pojawia się inne pytanie: które materiały wolno wykorzystać w tym konkretnym projekcie? Wspólny folder może zawierać własne instrukcje, pliki klientów i materiały dostawców. Zgoda na rozpoczęcie pracy wymaga ustalenia ich pochodzenia i planowanego sposobu użycia.
Model dobrze radzi sobie z codziennymi dokumentami, ale firma chce, żeby wychwytywał także sporadyczne wyjątki. Kilka poprawnie rozpoznanych przykładów pozostawia pytanie, jak model poradzi sobie z innymi zapisami. Przy rzadkich zdarzeniach trzeba ocenić zarówno dostępne przykłady, jak i liczbę zwyczajnych spraw, które model niepotrzebnie skieruje do sprawdzenia.
Pytanie o kopie zapasowe trafia do infrastruktury. Zespół opisuje ich lokalizację, lecz pomija drugą część: kto zatwierdza usunięcie danych. Koordynator odkrywa lukę dopiero przy składaniu oferty. Model AI może pomóc rozpoznać różne tematy w jednym punkcie zapytania i zaproponować autorów poszczególnych części do zatwierdzenia przez koordynatora.
Koordynator serwisu czyta notatkę po polsku i angielsku, a potem poprawia jej płynne podsumowanie: część została zamówiona, lecz nic nie potwierdza, że jest już w drodze. Gdy takie pomyłki wracają, zespół traci czas na ponowne sprawdzanie krótkich wpisów. Warto ustalić, czy wystarczy słownik i lepiej opisane zadanie, czy potrzebne jest dostosowanie modelu do firmowych notatek.
Kierownik utrzymania ruchu chce sprawdzić, które problemy wracają, ale technicy opisują podobne zdarzenia różnymi słowami. Przed spotkaniem znów czyta notatki i ręcznie łączy je w grupy. Model AI może pomóc przygotować porównywalne zestawienie zapisanych zdarzeń. Dostosowanie go do języka zakładu ma sens wtedy, gdy lepsze oznaczenia w systemie i gotowy model nadal pozostawiają dużo takich poprawek.