Uprawnienia przed działaniem: jak działa ten proces

Czy agent ma prawo wykonać tę operację

Agent w kilku systemach proponuje działania: odczyt dokumentu, zmianę rekordu klienta, korektę w systemie finansowym. Każde żądanie niesie tożsamość, klasę danych i informację, czy działanie da się cofnąć. Osobna kontrola uprawnień rozstrzyga przed wywołaniem: niedozwolone działanie zatrzymuje się przed systemem, a działanie wysokiego ryzyka czeka na drugą zgodę. Każda decyzja zapisuje regułę, jej wersję, wykonawcę i wymagane zatwierdzenie.

To ważne przy treściach z zewnątrz. OWASP opisuje prompt injection jako ryzyko numer jeden aplikacji z modelami językowymi: instrukcja ukryta w dokumencie albo mailu może skłonić model do próby niedozwolonej operacji. Warstwa polityk działa poza modelem, więc taka próba zatrzymuje się na regule.

Ile to kosztuje i kiedy się zwraca

Rachunek liczy pracę wokół sprawy: szukanie, czytanie, pisanie i przekazywanie. Zostaje czas na sprawdzenie wyniku, w scenariuszu 20% dzisiejszej pracy. Przed wyceną mierzymy oba czasy na 20 do 100 sprawach, które zespół już obsłużył, w teście za 0 zł trwającym 5 dni roboczych.

Scenariusz porównuje dzisiejsze ręczne zatwierdzanie każdego działania agenta z warstwą polityk, po której człowiek zatwierdza tylko działania wysokiego ryzyka. Udział tych działań, 20% dzisiejszej pracy, to założenie do sprawdzenia na regułach klienta.

Kiedy wystarczą uprawnienia w samych systemach

Jeśli agent działa w jednym systemie, a jego konto ma wąskie uprawnienia nadane przez administratora, osobna warstwa polityk może być zbędna. Warstwa ma sens, gdy agent pracuje w kilku systemach, a ta sama operacja jest dozwolona dla jednego działu i zabroniona dla innego, albo gdy część działań wymaga drugiej zgody zależnie od kwoty czy klasy danych. Spisz dozwolone operacje i właścicieli reguł, zacznij od jednego narzędzia i testuj dozwolone i zabronione kombinacje tożsamości i zasobu. Ryzyko instrukcji ukrytych w dokumentach opisuje tekst o prompt injection w agentach AI.

Od czego zacząć

Do przygotowania: lista operacji, które agent ma wykonywać, właściciele reguł w każdym systemie i przykłady dozwolonych i zabronionych żądań. Osoby odpowiedzialne za systemy zatwierdzają role, wyjątki i działania wymagające drugiej zgody. Takie wdrożenie budujemy w ramach agentów AI. Na bezpłatną analizę wystarczy opis jednej sprawy z ostatnich tygodni i narzędzi, w których się toczyła. Nie trzeba przesyłać poufnych dokumentów, a plan na piśmie dostajesz w 2 dni robocze.