Przejdź do treści
← Wróć do bloga
lokalne AIArtykuł

Kto utrzyma lokalne AI, gdy firma ma mały dział IT?

Firma chce korzystać z AI we własnym środowisku, ale jej dział IT zajmuje się już komputerami, dostępami i systemami biznesowymi. Nie ma osoby, która mogłaby dodatkowo prowadzić usługę modelu. Przed zakupem warto więc ustalić, co przejmie zewnętrzny wykonawca, jakie decyzje pozostaną w firmie i czy wymagania dotyczące danych rzeczywiście uzasadniają własną instalację.

Autor

Syntalith

Opublikowano Zaktualizowano 4 min czytania

W Syntalith możemy przygotować propozycję wdrożenia lokalnej lub prywatnej aplikacji AI wraz z uzgodnioną obsługą po uruchomieniu. Rozmowa obejmuje gotowość obecnego środowiska, zadania użytkowników i podział pracy między wykonawcę a zespół klienta. Ustalamy, kto przyjmie zgłoszenie, kto może wprowadzić zmianę i kto po stronie firmy potwierdzi, że narzędzie znów nadaje się do pracy.

Utrzymanie zaczyna się od pracy użytkownika

Załóżmy, że dział ofert korzysta z lokalnego asystenta do przygotowania zestawień wymagań z dokumentów. Pewnego ranka pracownicy otwierają aplikację, lecz długo czekają na odpowiedzi. Dla nich problemem jest opóźnione przygotowanie oferty. Osoba obsługująca zgłoszenie musi ustalić, czy zadania czekają w kolejce, model przestał odpowiadać, czy problem dotyczy odczytu plików.

Jeżeli umowa obejmuje tylko serwer modelu, usterka modułu dokumentów może pozostać poza pomocą wykonawcy. Dlatego przy zamawianiu utrzymania warto opisać usługę tak, jak korzysta z niej pracownik: od otwarcia aplikacji do otrzymania potrzebnego zestawienia. Część elementów może nadal obsługiwać wewnętrzny dział IT, lecz przekazanie sprawy między osobami musi być uzgodnione.

Dokumentacja vLLM opisuje pomiary liczby zadań oczekujących i wykonywanych, czasu odpowiedzi oraz wykorzystania pamięci podręcznej. Takie informacje pomagają osobie utrzymującej usługę zobaczyć jej obciążenie. Sam dostęp do pomiarów nie określa, kto zareaguje ani czy otrzymane zestawienie zachowuje znaczenie dokumentów.

Co można oddać wykonawcy, a co zostaje w firmie

W proponowanym utrzymaniu można uzgodnić obserwowanie działania aplikacji, obsługę usterek i przygotowanie aktualizacji. Przed zmianą osoba po stronie biznesu potrzebuje obejrzeć wyniki na znanych zadaniach. W naszym przykładzie pracownik działu ofert ocenia, czy zestawienie nadal uwzględnia istotne wymagania. Wykonawca może sprawdzić działanie techniczne, ale nie zastąpi właściciela tego sposobu pracy.

Firma zachowuje także decyzje o dostępie do dokumentów i dopuszczalnych miejscach ich przetwarzania. Osoba kontaktowa po stronie IT pomaga uzgodnić dostęp wykonawcy i przekazuje sprawy dotyczące firmowej sieci lub kont. Potrzebne jest zastępstwo na czas jej nieobecności, aby zgłoszenie nie czekało wyłącznie na powrót jednej osoby.

Godziny przyjmowania zgłoszeń, oczekiwany sposób reakcji i granice obsługi wymagają osobnego uzgodnienia. Zespół korzystający z AI powinien wiedzieć, gdzie zgłasza problem i jak pracuje podczas przerwy, na przykład wracając do ręcznego przygotowania zestawienia. Nie każdy firmowy asystent potrzebuje takiego samego poziomu dostępności; zależy on od zadań, które firma mu powierza.

Własna instalacja z obsługą czy środowisko dostawcy

Przy instalacji w firmie zewnętrzny wykonawca może przejąć uzgodnioną część utrzymania. Nadal trzeba jednak określić, kto odpowiada za sprzęt, lokalną sieć i możliwość dostępu serwisowego. Ten wariant warto rozważyć, jeśli materiały mają pozostać w siedzibie, a firma potrafi zapewnić obsługę elementów pozostających po jej stronie.

Prywatne środowisko hostowane u dostawcy może przenieść do niego także opiekę nad infrastrukturą. Jest opcją wtedy, gdy dopuszczają ją wymagania dotyczące danych. W ofercie trzeba przeczytać, czy zarządzanie obejmuje wyłącznie środowisko modelu, czy również używaną aplikację i jej połączenia z firmowymi źródłami. Określenie „usługa zarządzana” samo nie wyjaśnia tego podziału.

Trzecim punktem odniesienia jest istniejąca, zatwierdzona w firmie usługa chmurowa. Jeżeli obsługuje potrzebne zadanie i może przetwarzać dane, warto porównać ją z budową osobnego rozwiązania. Wybór powinien uwzględniać pracę pozostającą po stronie IT i użytkowników, także przy zmianach narzędzia. Porównanie stacji roboczej ze wspólnym serwerem opisuje osobno decyzję o dostępie wielu osób do lokalnego modelu.

Co obejrzeć przed zamówieniem dalszej obsługi

Proponowane prace z Syntalith mogą zacząć się od oceny jednego zastosowania i obecnego środowiska. Klient wskazuje właściciela zadania, dopuszczone materiały oraz możliwości swojego IT. Na tej podstawie można porównać warianty obsługi i ustalić zakres wdrożenia, odbioru oraz późniejszego utrzymania.

Przed udostępnieniem aplikacji zespołowi warto obejrzeć zarówno wykonanie zwykłego zadania, jak i przekazanie problemu do obsługi. Kupujący powinien rozumieć, co zobaczy pracownik po nieudanym przetwarzaniu i jak zgłoszenie dotrze do właściwej osoby. Przy aktualizacji potrzebny jest również uzgodniony sposób powrotu do wcześniej działającego rozwiązania, jeśli zmiana pogorszy pracę.

Opisz zadanie i możliwości swojego IT. Omówimy wymagania dotyczące danych oraz obsługę przerw, zanim zdecydujesz o infrastrukturze. Informacje o wycenie znajdziesz w cenniku.

Oceńmy prywatne AI w warunkach Twojej firmy

Pomagamy firmom i osobom prywatnym dobrać sprzęt, uruchomić model i sprawdzić go na własnych zadaniach. Możesz zacząć od komputera, który już masz, albo od rozmowy przed zakupem.

Prywatne modele LLM i fine-tuning
Porozmawiaj o prywatnym AI