chunk overlap w pracach FunkyMEDIA
Przygotowujemy korpusy, podział dokumentów, reprezentacje i proces pobierania kontekstu dla odpowiedzi opartych na źródłach.
Ten materiał opisuje zagadnienie „chunk overlap” w ramach powyższego obszaru prac. Poszczególne techniki dobieramy do problemu i zakresu współpracy.
Funkcja techniczna w realizacji
Część tekstu powtarzana w sąsiednich fragmentach, aby ograniczyć utratę kontekstu na granicy podziału.
Punkt kontroli tego elementu
Sprawdź, czy nakładanie pomaga znaleźć odpowiedź, zamiast tylko mnożyć identyczne wyniki.
Koszt powtarzania kontekstu
Jeżeli każdy kolejny fragment powtarza końcówkę poprzedniego, indeks przechowuje część tekstu wielokrotnie. Zmniejsza to ryzyko zgubienia zdania na granicy, lecz może zapełnić wynik podobnymi fragmentami. W pomiarze trzeba sprawdzić zarówno znalezienie dowodu, jak i redundancję.
Relacje w procesie pracy
| Relacja | Element | Znaczenie |
|---|---|---|
| Jest częścią obszaru prac | Projektowanie i kontrola rozwiązań RAG | Przypisanie elementu do zakresu realizacji FunkyMEDIA. |
| Jest parametrem | chunking | Nakładanie określa część powtarzaną między fragmentami. |
Zakres pracy nadrzędnej
Przygotowujemy korpusy, podział dokumentów, reprezentacje i proces pobierania kontekstu dla odpowiedzi opartych na źródłach.
Konkretna konfiguracja i jej wdrożenie zależą od uzgodnionego środowiska i zakresu; nie każdy projekt wymaga RAG.
Ten element dobieramy do problemu w uzgodnionym zakresie; nie stanowi automatycznie osobnego pakietu usług.
Podstawy techniczne
- Microsoft Learn — Text Split skill — odrębne parametry rozmiaru i nakładania fragmentów.