Lokalne AI w oddziale bez stabilnego internetu

Pytanie można przetłumaczyć, status trzeba sprawdzić

W oddziale działa sieć wewnętrzna i przygotowany komputer z modelem, ale internet przestał działać. Klient pokazuje pytanie: „Is my order ready for pickup?”. Pracownik wpisuje tekst do lokalnej aplikacji i dostaje: „Czy moje zamówienie jest gotowe do odbioru?”. Rozumie, czego dotyczy wizyta.

System zamówień działa w chmurze i jest niedostępny. Pracownik pisze: „Nie mam teraz dostępu do systemu zamówień, więc nie mogę potwierdzić, czy zamówienie jest gotowe”. Asystent proponuje angielskie brzmienie: „I can't access the order system right now, so I can't confirm whether your order is ready”. Pracownik sprawdza tekst przed pokazaniem go klientowi. Asystent nie zgaduje statusu zamówienia.

Ile to kosztuje i kiedy się zwraca

Rachunek liczy czas szukania, czytania i zestawiania materiału. Zostaje czas na sprawdzenie wyniku przy źródle, w scenariuszu 25% dzisiejszej pracy. Oba czasy mierzymy w próbie na 20 do 100 sprawach, które zespół już obsłużył. Scenariusz zakłada 600 rozmów miesięcznie w sieci 10 oddziałów. Przy mniejszej liczbie rozmów zwrot się wydłuża, a zapisane zwroty mogą wystarczyć.

Co musi zostać dostępne w oddziale

Gdy sieć wewnętrzna działa, stanowiska łączą się ze wspólnym komputerem w oddziale, więc dostęp do modelu zależy od tego połączenia. Ollama opisuje tryb lokalny bez modeli chmurowych i wyszukiwania w sieci oraz udostępnianie modelu w sieci lokalnej. Równoczesna praca kilku stanowisk zależy od pamięci i obsługi kolejki. Aplikacja musi dać się otworzyć po rozpoczęciu zmiany bez internetu, razem z logowaniem i zapisanymi zwrotami. Wybór między wspólnym komputerem a instalacją przy stanowisku opisuje tekst model lokalny na stacji roboczej czy serwerze.

Kiedy zacząć od zapasowego internetu

Jeśli większość pracy przy stanowisku wymaga bieżących danych z centrali, lokalny asystent rozwiąże małą część problemu. Meraki opisuje przełączanie na zapasowe łącze. Zachowanie zależy od trybu pracy i wersji, a przełączeniu mogą towarzyszyć przerwy. Jeśli rozmowy podczas awarii sprowadzają się do kilku komunikatów, zatwierdzone tłumaczenia przy stanowisku albo tłumacz offline są prostszym początkiem. Model warto sprawdzić, gdy pytania klientów są zróżnicowane.

Od czego zacząć

Prace zaczynają się od jednego oddziału i wybranych języków. Kierownik oddziału wnosi przykłady rozmów, a osoba znająca oba języki ocenia, czy propozycje zachowują znaczenie. Lokalne modele wdrażamy w ramach prywatnych modeli LLM, a widok pracy ze źródłami budujemy jako aplikację AI. Na bezpłatną analizę wystarczy opis jednej sprawy i miejsc, w których leżą materiały. Poufne pliki zostają w firmie, a plan na piśmie dostajesz w 2 dni robocze.