Ile kosztuje prywatny LLM? Policz cały proces

Model pobrany bez opłaty może obsługiwać zadanie drożej niż płatne API. Wystarczy, że wymaga wielu poprawek albo drogi serwer czeka bezczynnie. Bywa też odwrotnie: regularna kolejka prostych zadań dobrze wykorzystuje sprzęt i pozwala ograniczyć koszt zewnętrznych wywołań.

Dlatego wycenę prywatnego LLM warto oprzeć na koszcie poprawnie obsłużonej sprawy. Może nią być przypisane zgłoszenie, odczytana faktura lub odpowiedź z poprawnym cytatem. Jednostkę ustalasz przed porównaniem modeli.

Co trafia do rachunku

Fine-tuning dodaje przygotowanie danych, uczenie oraz ocenę modelu. Koszt treningu rozkładasz na okres, w którym dostrojona wersja rzeczywiście pracuje. Jeżeli kategorie zmieniają się co tydzień, utrzymywanie zbioru może kosztować więcej niż jednorazowe uczenie.

Przykładowy rachunek progu opłacalności

Poniższe liczby są scenariuszem obliczeniowym. Nie stanowią cennika Syntalith ani pomiaru wdrożenia.

Załóżmy miesięczny koszt stały lokalnego wariantu F = 2400 zł. Przyjmijmy koszt zmienny jednej sprawy v = 0,03 zł i koszt tej samej sprawy przez API a = 0,15 zł. Na tym etapie pomijamy różnice jakości, które trzeba dodać później.

koszt lokalny = F + N × v
koszt API = N × a
próg liczby spraw N = F / (a - v)
N = 2400 / (0,15 - 0,03) = 20 000 spraw miesięcznie

Przy 10 000 spraw lokalny wariant kosztuje w tym scenariuszu 2700 zł, a API 1500 zł. Przy 40 000 spraw jest to odpowiednio 3600 zł i 6000 zł. Jeśli a jest mniejsze lub równe v, sam wzrost liczby spraw nie pokryje dodatniego kosztu stałego.

Teraz dodaj poprawki. Dodatkowe 500 spraw miesięcznie wymagających trzech minut pracy daje 25 godzin. Przy przyjętym koszcie 80 zł za godzinę to kolejne 2000 zł. Niewielka różnica jakości może zatem odwrócić wynik porównania.

Sprawdź, kiedy pojawiają się zadania

Średnia miesięczna ukrywa szczyty. Dokumenty trafiające w ciągu godziny przed zamknięciem dnia potrzebują innej wydajności niż ta sama liczba rozłożona na noc. Mierzymy długość wejść, odpowiedzi, kolejkę i czas oczekiwania użytkownika. Metryki vLLM obejmują m.in. żądania oraz czasy obsługi; konkretne wskaźniki trzeba odnieść do używanej wersji.

Kwantyzacja może zmniejszyć pamięć zajętą przez wagi. Dłuższy kontekst i wielu użytkowników zużywają część odzyskanego miejsca. Z kolei mniejszy model po dostrojeniu może wykonywać wąskie zadanie bez kosztu dużego generatora. Oba warianty wymagają tego samego testu jakości.

Dane do wyceny

Przygotuj liczbę spraw, godziny szczytu, przykładową długość dokumentu i informację, ile czasu zajmuje poprawka. Dodaj obecny rachunek za API, jeśli z niego korzystasz, oraz specyfikację posiadanego komputera lub serwera. Na pierwszą rozmowę wystarczą agregaty i opis zadania.

Syntalith może przygotować porównanie modelu lokalnego i API, zmierzyć warianty i wycenić wdrożenie. W kosztorysie oddzielamy pracę wdrożeniową od sprzętu, hostingu i dalszej opieki. Dzięki temu wiadomo, jaka część rachunku zmieni się wraz z ruchem.