Przed wyłączeniem starego narzędzia firma sprawdza, czy nowa automatyzacja podejmuje te same decyzje.
Najpierw spisujemy sytuacje, które obsługuje stary system, oraz oczekiwany wynik każdej z nich. Potem uruchamiamy te same przypadki w nowym środowisku. Każda różnica trafia do właściciela procesu, a możliwość powrotu jest sprawdzana przed przełączeniem.
Co sprawdziliśmy
Publiczny podgląd pokazuje pełny proces migracji: porównanie 336 zachowań, siedem nierozstrzygniętych różnic, test nowego środowiska i próbę powrotu. Nie łączy się z systemem klienta ani ze starym środowiskiem produkcyjnym.
- Test w nowym środowisku
- Co sprawdziliśmy
- Zakres testu
- Migracja automatyzacji do nowego środowiska
- Zweryfikowano
- dane testowe
Problem, rozwiązanie i wynik
Problem
Krytyczna automatyzacja często działa w narzędziu, które ma zostać wyłączone, a jej reguły nie są w pełni opisane. Przepisanie samego przepływu nie daje pewności, że wyjątki i decyzje pozostaną takie same.
Jak to działa
Zespół najpierw zapisuje oczekiwane odpowiedzi dla reprezentatywnych przypadków. Następnie uruchamia ten sam zestaw w nowym środowisku i rejestruje różnice. Przełączenie jest możliwe dopiero po ich zaakceptowaniu lub poprawieniu.
Co obejmował zapisany przebieg
Publiczna wersja pokazuje porównanie 336 zachowań, siedem nierozstrzygniętych różnic, test nowego środowiska i próbę powrotu. Działa na danych testowych i nie łączy się z systemem klienta ani ze starym środowiskiem produkcyjnym.
Dla kogo
Ten sposób migracji ma sens, gdy krytyczny proces działa w wygaszanym narzędziu, a jego reguły i wyjątki nie są w pełni opisane.
Katalog → porównanie → próba → powrót
- 01Nowe środowisko rozlicza się z 336 zachowań starego, przypadek po przypadku
- 02Rozbieżność bez decyzji zatrzymuje przełączenie, a ruch pozostaje w starym środowisku
- 03Powrót jest sprawdzony przed przełączeniem, a o otwartych różnicach rozstrzyga osoba odpowiedzialna za proces
- Typ firmy
- Firmy utrzymujące produkcyjne automatyzacje w starszym środowisku
- Wejście
- Ustalony zestaw zachowań: 336 przypadków z wejściami i oczekiwanymi decyzjami
- Decyzja o przełączeniu
- Rozbieżność bez decyzji zatrzymuje przełączenie. System nadal działa w starym środowisku
- Koszt
- 0,030373 USD za zapisany przebieg 12 przypadków, czyli około 0,002531 USD za przypadek.
- Bezpieczeństwo
- Nierozstrzygnięta różnica zatrzymuje przełączenie. Zespół może pozostawić ruch w dotychczasowym środowisku.
- Tempo
- Czas przełączenia i powrotu mierzymy w próbie na infrastrukturze klienta.
- Historia decyzji
- Historia pokazuje porównane zachowania, zaakceptowane różnice, decyzję o przełączeniu i próbę powrotu.
- Budowa podobnego systemu
- od 25 000 zł netto · 6–16 tygodni
Do przeliczeń przyjęliśmy: 1 USD = 3,72 zł i 1 EUR = 4,30 zł. Kwoty w PLN są zaokrąglone, a waluta źródłowa pozostaje podana w nawiasie.
Decyzja o przełączeniu
Nierozstrzygnięta różnica zatrzymuje migrację
Rozbieżność bez decyzji zatrzymuje przełączenie bez względu na łączny procent zgodności. Siedem otwartych pozycji czeka na decyzję osoby odpowiedzialnej za automatyzację. Do tego czasu ruch pozostaje w starym środowisku. Publiczny test ma jedno narzędzie do odczytu zamówienia i odrzuca odpowiedź, która zakłada wysyłkę lub zmianę danych.
- Koszt
- 0,030373 USD za zapisany przebieg 12 przypadków, czyli około 0,002531 USD za przypadek.
- Bezpieczeństwo
- Nierozstrzygnięta różnica zatrzymuje przełączenie. Zespół może pozostawić ruch w dotychczasowym środowisku.
- Tempo
- Czas przełączenia i powrotu mierzymy w próbie na infrastrukturze klienta.
Siedem różnic, których nie zamknęliśmy
Siedem rozbieżności pozostało bez rozstrzygnięcia i nadal blokuje pełne przełączenie. Pojedynczy powrót do starego środowiska zajął 2,086 ms na lokalnym routerze, ale niezawodność produkcyjną trzeba sprawdzić w wielu próbach. Czas odpowiedzi sprawdziliśmy przy kolejnych, pojedynczych wywołaniach. Test należy powtórzyć pod równoległym ruchem klienta. Nie porównaliśmy kosztów obu środowisk, ponieważ stary zestaw nie zawiera porównywalnych danych o zużyciu.
Szacowany efekt
Policz efekt na swoim wolumenie
To szacunek oparty na podanym wolumenie. Wpisz własne liczby do formuły, aby ocenić możliwy efekt w swojej firmie. Podczas pilotażu sprawdzamy go na danych procesu.
Dziś
Założenie: 120 dni/program (8 × 15 dni)
Po uruchomieniu
Scenariusz: 72 dni/program (8 × 9 dni)
Oszczędność czasu lub kosztu
Wynik modelowany: 36–60 dni, baza 48
- Wolumen
- 8 agentów
- Formuła
- 8 × (15 − 9) = 48 dni/program
- Status wyliczenia
- niska
Dane na zrzutach. Nazwy, kwoty i dokumenty widoczne na zrzutach są testowe. Dane klientów pozostają prywatne. Wyniki dotyczą opisanego testu; wpływ produkcyjny sprawdzamy na danych klienta.
Ekrany
Przegląd po stronie właściciela rozstrzyga otwarte różnice i zatwierdza przełączenie.
Osoba odpowiedzialna za automatyzację widzi zgodne zachowania, każdą otwartą różnicę, przypisaną osobę i wynik próby powrotu. Siedem nierozstrzygniętych pozycji jest wyraźną blokadą przełączenia. Na danych klienta trzeba jeszcze zmierzyć zachowanie pod rzeczywistym ruchem i koszt nowego środowiska.
Stan migracji, raport różnic i warunki przełączenia.
Stan migracji
Zestaw wzorcowy, wynik zapisanego testu, licznik rozbieżności i status powrotu w jednym widoku.
Raport zgodności
Każda różnica z klasyfikacją oraz decyzją przeglądu albo jawnym statusem otwartym.
Warunki przełączenia
Instrukcja od spisu starego środowiska po próbę wycofania, ze stanem każdego warunku przełączenia.
Ekrany systemu
Zobacz, jak system działa w praktyce
To zrzuty z działającej aplikacji w wersji komputerowej i mobilnej. Pokazują opisany proces oraz miejsca, w których decyzję podejmuje człowiek.
- Ekrany
- 13
- px
- 1440 · 390
- 021440×3517
Zapisany test nowego środowiska: 12/12 zgodnych wyników, 36 sprawdzeń i 12/12 kompletnych zapisów przebiegu. - 031440×1100
Mobilny widok stanu migracji.
Otwórz archiwum pozostałych ekranów (10)
- 041440×1100
Pole decyzji i podpis właściciela - 051440×1100
Rejestr 48 rozbieżności - 061440×1100
Katalog 336 zachowań - 071440×1100
Inwentarz źródła - 081440×1100
Zweryfikowany test docelowego środowiska - 091440×1100
Pełny zapis testu, zgodność - 101440×1100
Pełny zapis testu, rozbieżność - 111440×1100
Obserwacja równoległa: stan zerowy - 121440×1100
Karta przełączenia: wstrzymana - 131440×1100
Lokalny test wycofania z zapisanym wynikiem
Technologia
Wspierane SDK i powtarzalne porównanie zachowania
OpenAI Agents SDK jest docelowym środowiskiem, a stałe formaty wejścia i wyjścia pozwalają porównać zachowanie. Baza zapisuje każdą decyzję. Sześć kontenerów oddziela panel, API, bazę, wskaźniki obu środowisk i router przełączenia. Każdy element można sprawdzić osobno, a zestaw wzorcowy zostaje jako test dla kolejnych zmian.
- OpenAI Agents SDK 0.7.0
- nowe środowisko agenta: klasyfikacja intencji, jedno narzędzie odczytowe i sprawdzany wynik
- FastAPI + Pydantic
- określają format inwentarza i decyzji oraz odrzucają odpowiedzi poza zakresem
- PostgreSQL 17 + pgvector
- przechowuje inwentarz, decyzje człowieka i historię każdego przebiegu
- Router przełączenia
- jawny punkt zmiany środowiska z wykonanym i zapisanym powrotem do źródła
- Next.js 16 + React 19
- pokazują stan migracji, raport zgodności i warunki przełączenia
Klient przejmuje kod, instrukcje dla modeli, zestaw wzorcowy i dokumentację. Po migracji ma też testy zachowania na kolejne zmiany. Publiczna wersja działa w Docker Compose na danych testowych, bez połączenia z systemami klienta i starym środowiskiem wykonawczym.
Szczegóły techniczne i wyniki testów
Pętla pracy
Zatwierdzony katalog określa oczekiwane zachowanie
Każdy przypadek ze starego środowiska ma oczekiwany wynik. Porównanie pokazuje zgodności, różnice i decyzje. Nierozstrzygnięte pozycje pozostają widoczne w raporcie.
Ustalony katalog: 336 oczekiwanych zachowań z decyzjami
Porównanie przypadek po przypadku: każda różnica z decyzją albo jawnie otwarta
Próba nowego środowiska → intencja, decyzja człowieka, tylko odczyt
Próba przełączenia → powrót do źródła
System pozostaje w starym środowisku do spełnienia wszystkich warunków
Architektura systemu
Zestaw wzorcowy, raport różnic, test i sprawdzony powrót
Proces ma cztery osobno sprawdzane części: zestaw oczekiwanych wyników, porównanie z decyzjami, test w docelowym SDK oraz mechanizm przełączenia. Próba powrotu do starego środowiska została wykonana i zapisana.
- 01
Ustalony zestaw
Oczekiwane zachowanie tworzy zestaw wzorcowy
336 przygotowanych przypadków testowych z wejściami i oczekiwanymi decyzjami tworzy jawną definicję poprawności. To krok najczęściej pomijany w migracjach, a bez niego zdanie „zachowuje się tak samo” nie znaczy nic.
- 02
Zgodność
Raport pokazuje każdą rozbieżność
48 rozbieżności przeszło przegląd. 41 ma zamkniętą decyzję, a 7 pozostaje otwartych i blokuje pełne przełączenie.
- 03
Zapisany test
Nowe środowisko przechodzi kontrolowaną próbę
Po dwa testowe przypadki na każdą z sześciu intencji przechodzą przez OpenAI Agents SDK. Test sprawdza intencję, skierowanie do człowieka i zakres tylko do odczytu. Wynik oraz przebieg zostają zapisane.
- 04
Router
Próba obejmuje powrót do starego środowiska
Osobna próba przestawia router na nowy zestaw, potwierdza cel i wraca do starego środowiska w 2,086 ms. Powrót został wykonany i zapisany przed właściwym przełączeniem.
Dlaczego proces ma mało elementów
Docelowy agent klasyfikuje intencję, korzysta z jednego narzędzia tylko do odczytu i zwraca wynik w sprawdzanym formacie. Pozostałe elementy służą porównaniu zachowania. Przy mniejszej liczbie komponentów łatwiej wykazać, że po migracji decyzje się nie zmieniły.
- Zestaw wzorcowy definiuje poprawność przed zmianą
- Rozbieżność bez decyzji zatrzymuje przełączenie
- Test obejmuje skierowanie do przeglądu i narzędzie tylko do odczytu
- Powrót do starego środowiska jest wykonany i zapisany
Chcesz sprawdzić podobny proces w swojej firmie?
- 30 minut z inżynierem, który może prowadzić Twoje wdrożenie.
- Przegląd procesów, które kosztują Cię najwięcej czasu i pieniędzy.
- Pisemne podsumowanie: co zautomatyzować, w jakiej kolejności, z widełkami kosztów.
Terminy zobaczysz w swojej strefie czasowej.
W 30 minut wybieramy proces do oceny, a w ciągu 2 dni roboczych dostajesz rekomendację, także gdy lepsza będzie prostsza droga.