Pytanie: "Jaka jest nasza firmowa polityka urlopowa?"

Odpowiedź ChatGPT: "Ogólnie firmy oferują 
20-26 dni urlopu rocznie. Sprawdź 
regulamin pracy lub dział HR po 
konkretną politykę..."

Czego naprawdę potrzebujesz: "Zgodnie z 
Regulaminem Pracy, Rozdział 4.2, pracownicy 
zatrudnieni na pełen etat otrzymują 26 dni 
urlopu rocznie po pierwszym roku pracy. 
Dni są naliczane miesięcznie w wymiarze 
2,17 dnia na miesiąc..."

Tradycyjne AI:
Pytanie użytkownika → Model AI → Generyczna odpowiedź

AI z RAG:
Pytanie użytkownika → Przeszukanie dokumentów → 
Znalezienie odpowiednich informacji → Model AI + kontekst → 
Dokładna odpowiedź ze źródłem

Pytanie: "Jaki jest proces zatwierdzania 
          zakupów powyżej 20 000 zł?"

Proces RAG:
1. Przeszukaj dokumenty firmowe
2. Znajdź: Polityka Zakupowa v3.2, Rozdział 2.4
3. Pobierz odpowiedni tekst
4. Wygeneruj odpowiedź ze źródłem

Odpowiedź: "Dla zakupów powyżej 20 000 zł potrzebujesz:

1. Złożyć formularz ZW-1000 z uzasadnieniem
2. Uzyskać zatwierdzenie kierownika (Poziom 1)
3. Uzyskać weryfikację Finansów (potwierdzenie budżetu)
4. Uzyskać zatwierdzenie Dyrektora dla kwot 20 000-100 000 zł
5. Uzyskać zatwierdzenie Zarządu dla kwot powyżej 100 000 zł

Czas realizacji: 3-5 dni roboczych

Źródło: Polityka Zakupowa v3.2, Rozdział 2.4
Ostatnia aktualizacja: Październik 2025"

┌─────────────────────────────────────────┐
│           ARCHITEKTURA RAG              │
└─────────────────────────────────────────┘

1. INGESTIA DOKUMENTÓW
   ├── Źródłowe dokumenty (PDF, Word, web, DB)
   ├── Ekstrakcja i czyszczenie tekstu
   ├── Dzielenie na segmenty (chunking)
   └── Ekstrakcja metadanych

2. EMBEDDING I INDEKSOWANIE  
   ├── Konwersja tekstu na wektory (embeddings)
   ├── Zapis w bazie wektorowej
   ├── Tworzenie przeszukiwalnego indeksu
   └── Utrzymanie powiązań metadanych

3. PIPELINE WYSZUKIWANIA
   ├── Przetwarzanie zapytania użytkownika
   ├── Generowanie embeddingu zapytania
   ├── Wyszukiwanie podobieństw
   └── Ranking trafności

4. PIPELINE GENEROWANIA
   ├── Złożenie kontekstu
   ├── Konstrukcja promptu
   ├── Generowanie przez LLM
   └── Formatowanie odpowiedzi

5. INTERFEJS UŻYTKOWNIKA
   ├── Interfejs czatu
   ├── Endpointy API
   ├── Punkty integracji
   └── Zbieranie informacji zwrotnej

Dlaczego chunking ma znaczenie:
├── LLM-y mają limity kontekstu (8k-128k tokenów)
├── Lepsze wyszukiwanie z mniejszymi chunkami
├── Zachowuje znaczenie semantyczne
└── Umożliwia precyzyjne cytowanie źródeł

Podejścia do chunkingu:

Chunki o stałym rozmiarze:
├── Podział co N znaków/tokenów
├── Proste do wdrożenia
├── Może przeciąć w środku zdania
└── Dobre dla: Jednorodnych treści

Chunki semantyczne:
├── Podział po akapitach/sekcjach
├── Respektuje strukturę dokumentu
├── Zmienne rozmiary
└── Dobre dla: Ustrukturyzowanych dokumentów

Okno przesuwne:
├── Nakładające się chunki
├── Przechwytuje kontekst na granicach
├── Wyższe wymagania pamięci masowej
└── Dobre dla: Gęstych treści technicznych

Zalecane: Semantyczne z nakładaniem
├── Rozmiar chunka: 500-1000 tokenów
├── Nakładanie: 50-100 tokenów
└── Zachowanie granic akapitów

Tekst → Model embeddingów → Wektor (liczby)

Przykład:
"Firmowa polityka urlopowa" → [0.23, -0.45, 0.12, ...]

Podobne koncepty = podobne wektory:
├── "Polityka dni wolnych" → [0.21, -0.43, 0.14, ...]
├── "Zasady urlopów" → [0.25, -0.44, 0.11, ...]
├── "Struktura wynagrodzeń" → [-0.33, 0.12, 0.67, ...]

Podobieństwo wektorów umożliwia wyszukiwanie semantyczne:
├── Znajduj dokumenty o "urlopach" 
├── Nawet jeśli mówią "dni wolne" lub "PTO"
└── Nie tylko dopasowanie słów kluczowych

OpenAI text-embedding-3-large:
├── Wymiary: 3072
├── Koszt: $0.13/milion tokenów
├── Jakość: Doskonała
└── Najlepszy dla: Ogólnego użytku

Cohere embed-v3:
├── Wymiary: 1024
├── Koszt: $0.10/milion tokenów
├── Jakość: Bardzo dobra
└── Najlepszy dla: Wielu języków

Open source (sentence-transformers):
├── Wymiary: 384-1024
├── Koszt: Darmowy (tylko obliczenia)
├── Jakość: Dobra
└── Najlepszy dla: Wrażliwych na prywatność i dużej objętości

Rola bazy wektorowej:
├── Efektywne przechowywanie embeddingów
├── Szybkie wyszukiwanie podobieństw
├── Skalowanie do milionów wektorów
└── Filtrowanie po metadanych

Popularne opcje:

Pinecone (zarządzane):
├── W pełni zarządzane, łatwe w konfiguracji
├── Dobra wydajność
├── Koszt: Według storage + zapytań
└── Najlepszy dla: Szybkiego wdrożenia

Weaviate (open source):
├── Samodzielny hosting lub chmura
├── Hybrydowe wyszukiwanie (wektor + słowa kluczowe)
├── API GraphQL
└── Najlepszy dla: Złożonych potrzeb wyszukiwania

Qdrant (open source):
├── Wysoka wydajność
├── Dobre filtrowanie
├── Łatwe do wdrożenia
└── Najlepszy dla: Krytycznych wydajnościowo zastosowań

Chroma (lekki):
├── Prosty, wbudowany
├── Dobry do prototypowania
├── Ograniczona skala
└── Najlepszy dla: Małych projektów

PostgreSQL + pgvector:
├── Wykorzystaj istniejący Postgres
├── Połączony z danymi relacyjnymi
├── Umiarkowana wydajność
└── Najlepszy dla: Integracji z istniejącą DB

Zidentyfikuj źródła wiedzy:
├── Dokumenty polityk
├── Dokumentacja produktowa
├── Materiały szkoleniowe
├── Treści FAQ
├── Przewodniki procesów
├── Dane historyczne
└── Zewnętrzne referencje

Pytania oceniające:
├── Format (PDF, Word, HTML, DB)?
├── Objętość (setki czy miliony)?
├── Częstotliwość aktualizacji?
├── Ograniczenia dostępu?
├── Jakość i spójność?
└── Język(i)?

Dla każdego dokumentu:

1. Wyodrębnij tekst
   ├── PDF: Użyj pypdf lub pdfplumber
   ├── Word: Użyj python-docx
   ├── HTML: Użyj Beautiful Soup
   └── Obrazy/skany: Użyj OCR (Tesseract)

2. Wyczyść i znormalizuj
   ├── Usuń nagłówki/stopki
   ├── Napraw problemy z kodowaniem
   ├── Ujednolic formatowanie
   └── Usuń duplikaty

3. Wyodrębnij metadane
   ├── Tytuł dokumentu
   ├── Autor/właściciel
   ├── Data utworzenia/modyfikacji
   ├── Typ dokumentu
   └── Poziom dostępu

4. Podziel na chunki
   ├── Podziel według sekcji
   ├── Zachowaj hierarchię
   ├── Dodaj metadane chunka
   └── Stwórz ID chunków

Dla każdego chunka:

1. Przygotuj tekst
   ├── Wyczyść białe znaki
   ├── Skróć jeśli za długi
   └── Sformatuj spójnie

2. Wygeneruj embedding
   ├── Wywołaj API embeddingów
   ├── Obsłuż limity zapytań
   └── Zaimplementuj ponawianie

3. Zapisz z metadanymi
   ├── Wektor (embedding)
   ├── Oryginalny tekst
   ├── ID dokumentu źródłowego
   ├── Pozycja chunka
   ├── Metadane dokumentu
   └── Timestamp utworzenia

Ustawienia indeksu wektorowego:
├── Metryka: Podobieństwo cosinusowe (najczęstsza)
├── Typ indeksu: HNSW (szybki, przybliżony)
├── Wymiary: Dopasuj do modelu embeddingów
└── Pojemność: Planuj na wzrost

Indeksy metadanych:
├── Typ dokumentu (filtr)
├── Zakres dat (filtr)
├── Dział (filtr)
├── Poziom dostępu (bezpieczeństwo)
└── Pełnotekstowy (hybrydowe wyszukiwanie)

Kiedy użytkownik zadaje pytanie:

1. Przetwórz zapytanie
   ├── Wyczyść i znormalizuj
   ├── Rozwiń skróty
   └── Obsłuż pytania wieloczęściowe

2. Wygeneruj embedding zapytania
   ├── Ten sam model co dokumenty
   └── Pojedyncze wywołanie API

3. Przeszukaj bazę wektorową
   ├── Znajdź top-k podobnych chunków
   ├── Zastosuj filtry metadanych
   └── Zwróć z wynikami

4. Przerankuj wyniki
   ├── Oceniaj po trafności
   ├── Usuń duplikaty podobnych chunków
   ├── Zastosuj reguły biznesowe
   └── Zwróć top N chunków

Kluczowe parametry:
├── k (początkowe wyniki): 10-20
├── Końcowe wyniki: 3-5 chunków
├── Próg podobieństwa: 0,7-0,8
└── Rozmiar chunka dla kontekstu: 500-1000 tokenów

Hybrydowe wyszukiwanie (zalecane):
├── Wyszukiwanie wektorowe (semantyczne)
├── + Wyszukiwanie słów kluczowych (dokładne dopasowania)
├── + Filtry metadanych
└── = Lepsze pokrycie

Prompt systemowy:
"Jesteś pomocnym asystentem, który odpowiada 
na pytania korzystając z dostarczonego kontekstu. 
Zawsze cytuj źródła. Jeśli kontekst nie 
zawiera odpowiedzi, powiedz o tym."

Struktura promptu użytkownika:
────────────────────────────────
Kontekst:
[Pobrany chunk 1]
Źródło: Dokument A, Rozdział 2.1

[Pobrany chunk 2]
Źródło: Dokument B, Strona 15

[Pobrany chunk 3]
Źródło: Dokument C, FAQ #42
────────────────────────────────

Pytanie: [Pytanie użytkownika]

Instrukcje:
- Odpowiadaj tylko na podstawie powyższego kontekstu
- Cytuj źródła dla każdego faktu
- Jeśli nie masz pewności, powiedz "Nie mam informacji na ten temat"
────────────────────────────────

Wybór modelu:
├── GPT-4: Najlepsza jakość, najwyższy koszt
├── GPT-3.5-turbo: Dobry balans
├── Claude: Silne rozumowanie
├── Open source: Llama, Mistral

Parametry:
├── Temperatura: 0,1-0,3 (faktyczne)
├── Maks. tokenów: 500-1000 (odpowiedzi)
├── Top-p: 0,9
└── Kara za powtórzenia: 0 (nie potrzeba kreatywności)

Kategorie testów:

Jakość wyszukiwania:
├── Czy znajduje odpowiednie dokumenty?
├── Czy top wyniki są faktycznie przydatne?
├── Czy pomija ważne źródła?
└── Metryka: Recall@k, MRR

Jakość generowania:
├── Czy odpowiedzi są dokładne?
├── Czy źródła są cytowane prawidłowo?
├── Czy ma halucynacje?
├── Czy ton jest odpowiedni?
└── Metryka: Ocena ludzka, wierność

Testy end-to-end:
├── Częste pytania (powinny odpowiadać dobrze)
├── Przypadki brzegowe (powinny obsłużyć elegancko)
├── Poza zakresem (powinny grzecznie odmówić)
└── Antagonistyczne (nie powinny się zepsuć)

Popraw wyszukiwanie:
├── Lepsza strategia chunkingu
├── Rozszerzanie zapytań
├── Wzbogacanie metadanych
├── Modele re-rankingu
└── Dostrajanie hybrydowego wyszukiwania

Popraw generowanie:
├── Inżynieria promptów
├── Przykłady few-shot
├── Szablony odpowiedzi
├── Formatowanie cytowań
└── Obsługa błędów

Monitoruj i iteruj:
├── Loguj wszystkie zapytania i odpowiedzi
├── Identyfikuj wzorce awarii
├── Dodawaj brakujące treści
├── Dopracuj prompty
└── Rozszerzaj bazę wiedzy

Przygotowanie dokumentów:
├── Usuń nieaktualne treści
├── Napraw problemy z formatowaniem
├── Ujednolic terminologię
├── Dodaj jasne nagłówki
├── Aktualizuj regularnie
└── Kontrola wersji

Higiena metadanych:
├── Spójna kategoryzacja
├── Dokładne daty
├── Jasne właścicielstwo
├── Zdefiniowane poziomy dostępu
└── Regularne audyty

Kontrola dostępu:
├── Uwierzytelnianie użytkowników
├── Uprawnienia na poziomie dokumentów
├── Dostęp oparty na rolach
├── Logowanie audytowe
└── Szyfrowanie danych

Zapobiegaj wyciekom danych:
├── Filtruj wyniki według dostępu użytkownika
├── Nie buforuj wrażliwych treści
├── Anonimizuj logi
├── Regularne przeglądy bezpieczeństwa
└── Monitoring zgodności (RODO)

Cele latencji:
├── Wyszukiwanie: <100ms
├── Generowanie: <2s
├── Łącznie: <3s

Strategie optymalizacji:
├── Wstępnie oblicz embeddingi
├── Buforuj częste zapytania
├── Używaj przetwarzania asynchronicznego
├── Skaluj bazę wektorową
├── Optymalizuj rozmiary chunków
└── Używaj szybszych modeli gdy to odpowiednie

Problem: Pobierane złe dokumenty
Przyczyny:
├── Słaby chunking (utracony kontekst)
├── Złe embeddingi (zły model)
├── Brak filtrów metadanych
├── Nieaktualne treści zindeksowane
Rozwiązanie: Lepsze przetwarzanie, hybrydowe wyszukiwanie

Problem: Nic nie pobrano
Przyczyny:
├── Zapytanie zbyt różne od dokumentów
├── Próg za wysoki
├── Treści niezindeksowane
Rozwiązanie: Rozszerzenie zapytań, niższy próg

Problem: AI ignoruje kontekst
Przyczyny:
├── Kontekst za długi
├── Zła struktura promptu
├── Ograniczenia modelu
Rozwiązanie: Lepsze prompty, krótszy kontekst

Problem: Halucynacje
Przyczyny:
├── Niewystarczający kontekst
├── Temperatura za wysoka
├── Nadmierna pewność modelu
Rozwiązanie: Niższa temperatura, jasne instrukcje

Przed uruchomieniem:
□ Test z 100+ prawdziwymi pytaniami
□ Weryfikacja cytowania źródeł
□ Sprawdzenie przypadków brzegowych
□ Test z różnymi użytkownikami
□ Pomiar latencji
□ Przegląd bezpieczeństwa
□ Plan aktualizacji treści
□ Konfiguracja monitoringu

Po uruchomieniu:
□ Monitoruj logi zapytań
□ Śledź nieudane zapytania
□ Zbieraj informację zwrotną użytkowników
□ Aktualizuj treści regularnie
□ Retrenuj w razie potrzeby
□ Skaluj infrastrukturę
□ Ulepszaj prompty