Prywatny LLM: dane, hosting w UE i on-premise

Serwer w biurze, logi w chmurze

„Dane zostają u nas” może znaczyć budynek firmy, jej konto chmurowe, region UE albo zakaz udostępniania treści dostawcy modelu. Każda odpowiedź prowadzi do innej architektury i kosztu. On-premise określa lokalizację, a air gap odłączenie od innych sieci, i te właściwości nie są zamienne: serwer w biurze może wysyłać logi do usługi chmurowej, jeśli tak skonfigurowano monitoring.

Dokument przechodzi przez odczyt tekstu, wyszukiwarkę, model i aplikację, a każdy etap może zostawiać pliki tymczasowe i logi. Model tworzący reprezentację dokumentu do wyszukiwania również może działać lokalnie albo jako usługa zewnętrzna. Narzędzia agenta, na przykład odwołanie do CRM albo wyszukiwarki internetowej, to osobne przepływy danych.

Ile to kosztuje i kiedy się zwraca

Rachunek liczy czas szukania, czytania i zestawiania materiału. Zostaje czas na sprawdzenie wyniku przy źródle, w scenariuszu 25% dzisiejszej pracy. Oba czasy mierzymy w próbie na 20 do 100 sprawach, które zespół już obsłużył.

Uprawnienia muszą działać przed odpowiedzią

Pracownik sprzedaży i prawnik mogą korzystać z tego samego modelu, ale widzieć inne dokumenty, więc aplikacja ogranicza wyszukiwanie według uprawnień użytkownika. Instrukcja w prompcie nie zastępuje kontroli dostępu. Testujemy też zmianę roli, odebranie uprawnień i usunięcie dokumentu, bo indeks, pamięć podręczna i zapis rozmowy mogą wymagać osobnej aktualizacji. Model dostrojony na poufnych przykładach też wymaga ochrony: ograniczamy dostęp do zbioru treningowego, adapterów i wag.

Kiedy wystarczy hosting w UE

Jeśli wymaganiem jest region UE i umowa powierzenia, usługa w europejskim regionie chmury bywa tańsza niż własny serwer. Gdy wymaganie zakazuje połączeń z internetem w czasie pracy, potrzebny jest serwer w firmie albo odłączona sieć. RODO wymaga określenia podstawy przetwarzania, ograniczenia danych i czasu przechowywania oraz zabezpieczeń, a przetwarzanie poza EOG podlega regułom transferu. Te zagadnienia ocenia osoba odpowiedzialna za ochronę danych, a Syntalith dostarcza opis techniczny, przepływ danych i konfigurację. Odbiór środowiska bez połączenia opisuje lokalny model w firmie produkcyjnej.

Od czego zacząć

Najbardziej przydatne są konkretne wymagania: dozwolony region, brak połączeń podczas działania, role użytkowników, czas retencji i odtworzenie po awarii. Hasło „najwyższe bezpieczeństwo” nie określa żadnego z tych parametrów. Lokalne modele wdrażamy w ramach prywatnych modeli LLM, a widok pracy ze źródłami budujemy jako aplikację AI. Na bezpłatną analizę wystarczy opis jednej sprawy i miejsc, w których leżą materiały. Poufne pliki zostają w firmie, a plan na piśmie dostajesz w 2 dni robocze.