Zespół może wyszukiwać i zadawać pytania do poufnych dokumentów bez wysyłania ich do zewnętrznego API.
System wyszukuje informacje i przygotowuje odpowiedzi na infrastrukturze klienta. Użytkownik widzi dokument oraz fragment, z którego pochodzi odpowiedź. Dostęp i klasyfikację kontroluje operator. Model nie łączy się z zewnętrzną usługą AI.
Problem, rozwiązanie i wynik
Dlaczego zwykły asystent w chmurze odpada
Poufne dokumenty nie mogą opuszczać sieci firmy. Zespół bezpieczeństwa potrzebuje technicznego sposobu sprawdzenia granicy, a użytkownik musi widzieć, z którego dokumentu pochodzi odpowiedź.
Co robi system
System indeksuje 180 dokumentów wewnątrz środowiska, wyszukuje odpowiednie fragmenty i przygotowuje odpowiedź lokalnie. Każda odpowiedź wskazuje źródło. Uprawnienia i klasyfikacja są sprawdzane przed udostępnieniem treści.
Co sprawdziliśmy
Zapisany test potwierdza, że dokumenty i odpowiedzi pozostają w odizolowanym środowisku, a próby połączenia na zewnątrz są blokowane. Obejmuje 180 dokumentów testowych. Jakość wyszukiwania, poprawność odpowiedzi i wydajność trzeba potwierdzić na dokumentach oraz sprzęcie klienta.
Dla kogo
Ten system pasuje do organizacji, która chce wyszukiwać w poufnych dokumentach, wymaga lokalnego przetwarzania i potrzebuje powtarzalnego testu ruchu wychodzącego.
Dokumenty → wyszukiwanie → lokalny model → źródło
- 01Treść dokumentów pozostaje w sieci firmy
- 02Odpowiedź wskazuje dokument i fragment
- 03Zespół bezpieczeństwa może powtórzyć test wyjścia
- Dla kogo
- Organizacje regulowane, które muszą przetwarzać poufne dokumenty lokalnie
- Dane wejściowe
- Pytania zespołu do lokalnego korpusu dokumentów poufnych
- Decyzja człowieka
- Operator zarządza dostępem i klasyfikacją, a zespół bezpieczeństwa zatwierdza środowisko
- Koszt
- 0 zł opłat zewnętrznego API; 3 odpowiedzi przygotowane lokalnie na GPU, mediana czasu 430 ms, a 95. percentyl 529 ms.
- Zakres testu
- Zapisany test sprawdza brak połączeń wychodzących. Zespół bezpieczeństwa klienta powtarza tę kontrolę we własnym środowisku.
- Możliwość kontroli
- Historia pokazuje każdą zmianę klasyfikacji wraz z operatorem, poprzednią wartością i czasem.
- Budowa podobnego systemu
- od 25 000 zł netto · 4–10 tygodni
Ruch wychodzący i dostęp
Kto odpowiada za dostęp i wynik
Operator nadaje dostęp, zmienia klasyfikację i rozstrzyga sprzeczności. Użytkownik sprawdza odpowiedź w podanym dokumencie. Zespół bezpieczeństwa zatwierdza środowisko oraz powtarza test ruchu wychodzącego.
- Koszt
- 0 zł opłat zewnętrznego API; 3 odpowiedzi przygotowane lokalnie na GPU, mediana czasu 430 ms, a 95. percentyl 529 ms.
Szacowany efekt
Policz efekt na swoim wolumenie
To szacunek oparty na podanym wolumenie. Wpisz własne liczby do formuły, aby ocenić możliwy efekt w swojej firmie. Podczas pilotażu sprawdzamy go na danych procesu.
Dziś
167 h
Po uruchomieniu
58 h
Oszczędność czasu lub kosztu
80-135 h/mies., baza 108 h
- Wolumen
- 1 000 zapytań/mies.
- Formuła
- 1 000 × (10,0 - 3,5) min / 60 = 108 h
- Status wyliczenia
- niska-średnia
Dane na zrzutach. Nazwy, kwoty i dokumenty widoczne na zrzutach są testowe. Dane klientów pozostają prywatne. Wyniki dotyczą opisanego testu; wpływ produkcyjny sprawdzamy na danych klienta.
Ekrany robocze
Operator zarządza dostępem. Użytkownik sprawdza źródło. Zespół bezpieczeństwa kontroluje granicę sieci.
Test korzysta ze 180 dokumentów testowych. Przed wdrożeniem trzeba ocenić jakość wyszukiwania, poprawność odpowiedzi, obsługę formatów i wydajność profilu 11B na docelowym sprzęcie klienta.
Biblioteka dokumentów, odpowiedź ze źródłem i stan granicy.
Biblioteka dokumentów
Dokumenty, klasyfikacje i historia zmian dostępu.
Odpowiedź ze źródłem
Treść wraz z dokumentem i fragmentem użytym do jej przygotowania.
Stan środowiska
Lokalne zależności i wynik testu ruchu wychodzącego.
Ekrany systemu
Zobacz, jak system działa w praktyce
To zrzuty z działającej aplikacji w wersji komputerowej i mobilnej. Pokazują opisany proces oraz miejsca, w których decyzję podejmuje człowiek.
- Ekrany
- 10
- px
- 1440 · 390
- 021440×1353
Odpowiedź ze wskazanym fragmentem źródłowym. - 031440×1100
Wynik testu ruchu wychodzącego.
Otwórz archiwum pozostałych ekranów (7)
- 041440×1100
Czytelnia, odpowiedź ze źródłami - 051440×1100
Czytelnia, materiał poza indeksem - 061440×1100
Czytelnia, brak dopasowania - 071440×1100
Dziennik ewidencyjny - 081440×1100
Oznaczenia do wyjaśnienia - 091440×1100
Strefa ochronna - 101440×1100
Protokoły badań
Technologia
Otwarte komponenty uruchomione na infrastrukturze klienta.
vLLM uruchamia Bielika. Lokalne embeddingi i reranker obsługują wyszukiwanie. PostgreSQL z pgvector przechowuje dokumenty oraz indeks. FastAPI obsługuje dostęp, odpowiedzi i jednoznaczne komunikaty o błędach.
- vLLM + Bielik 11B
- docelowy profil GPU: uruchamia polski model o otwartych wagach z katalogu zamontowanego tylko do odczytu
- Lokalne embeddingi i reranker
- wielojęzyczny MiniLM z cross-encoderem prowadzi wyszukiwanie bez hostowanego API
- PostgreSQL 17 + pgvector
- przechowuje dokumenty, indeks wektorowy i historię zmian w jednej lokalnej bazie
- FastAPI
- obsługuje obieg, kontrolę uprawnień i jawne stany odmowy
- Bielik 4.5B na MLX
- zapisany test na Apple M5 Pro, oddzielony od docelowego profilu vLLM
Klient otrzymuje kod, instrukcje dla modeli, dane testowe i dokumentację. System działa na jego infrastrukturze bez korzystania z zewnętrznej usługi AI.
Szczegóły techniczne i wyniki testów
Jak system pracuje
Pytanie, wyszukiwanie i odpowiedź pozostają w sieci firmy.
Lokalne modele wybierają fragmenty, porządkują wyniki i generują odpowiedź. System pokazuje źródło oraz odróżnia brak dopasowania, odmowę dostępu i błąd pliku.
Poufne dokumenty pozostają w sieci firmy
Lokalne wyszukiwanie wybiera właściwe fragmenty
Bielik przygotowuje odpowiedź ze źródłem
Test sprawdza HTTP, HTTPS, DNS i TCP
Użytkownik weryfikuje odpowiedź w dokumencie
Szczegóły techniczne
Lokalne wyszukiwanie i model w sieci bez ruchu wychodzącego.
Embeddingi, reranker, PostgreSQL z pgvector i Bielik działają na infrastrukturze klienta. Kontrolowany test sprawdza cztery rodzaje połączeń wychodzących z usług obsługujących model.
- 01
Wyszukiwanie
Lokalne modele wybierają fragmenty dokumentów.
Wielojęzyczne embeddingi i cross-encoder działają lokalnie. Indeks pgvector pozostaje w tej samej bazie co dokumenty.
- 02
Odpowiedź
Bielik pracuje w sieci wewnętrznej.
Docelowy profil uruchamia Bielika 11B przez vLLM z katalogu tylko do odczytu. Profil CPU służy wyłącznie do sprawdzenia działania aplikacji.
- 03
Stany
Brak odpowiedzi ma konkretny powód.
Interfejs osobno pokazuje brak dopasowania, odmowę dostępu, niedostępny indeks i nieobsługiwany plik. Użytkownik wie, jaki krok wykonać dalej.
- 04
Punkt kontroli
Test sprawdza cztery protokoły.
Próby HTTP, HTTPS, DNS i surowego TCP są uruchamiane z usług obsługujących model. Wynik jest zapisywany wraz z konfiguracją testu. Test nie zastępuje certyfikacji środowiska klienta.
Jak sprawdzamy deklarację o lokalnym przetwarzaniu
Architektura nie zawiera zewnętrznego klienta API modeli. Dodatkowo zespół może uruchomić próbę ruchu wychodzącego przy audytorze i zachować wynik wraz z konfiguracją środowiska.
- Brak zewnętrznych SDK modelowych
- Modele i indeks w sieci wewnętrznej
- Powtarzalny test czterech protokołów
- Historia zmian dostępu i klasyfikacji
Chcesz sprawdzić podobny proces w swojej firmie?
- 30 minut z inżynierem, który może prowadzić Twoje wdrożenie.
- Przegląd procesów, które kosztują Cię najwięcej czasu i pieniędzy.
- Pisemne podsumowanie: co zautomatyzować, w jakiej kolejności, z widełkami kosztów.
Terminy zobaczysz w swojej strefie czasowej.
W 30 minut wybieramy proces do oceny, a w ciągu 2 dni roboczych dostajesz rekomendację, także gdy lepsza będzie prostsza droga.