semantic chunking w pracach FunkyMEDIA
Przygotowujemy korpusy, podział dokumentów, reprezentacje i proces pobierania kontekstu dla odpowiedzi opartych na źródłach.
Ten materiał opisuje zagadnienie „semantic chunking” w ramach powyższego obszaru prac. Poszczególne techniki dobieramy do problemu i zakresu współpracy.
Funkcja techniczna w realizacji
Dzielenie tekstu według granic znaczeniowych, np. tematów i sekcji, zamiast wyłącznie stałej liczby znaków.
Punkt kontroli tego elementu
Sprawdź, czy jeden fragment obejmuje pełne objaśnienie; długi rozdział może wymagać dodatkowego podziału.
Relacje w procesie pracy
| Relacja | Element | Znaczenie |
|---|---|---|
| Jest częścią obszaru prac | Projektowanie i kontrola rozwiązań RAG | Przypisanie elementu do zakresu realizacji FunkyMEDIA. |
| Jest wariantem | chunking | Granice fragmentów wynikają ze struktury znaczenia. |
Zakres pracy nadrzędnej
Przygotowujemy korpusy, podział dokumentów, reprezentacje i proces pobierania kontekstu dla odpowiedzi opartych na źródłach.
Konkretna konfiguracja i jej wdrożenie zależą od uzgodnionego środowiska i zakresu; nie każdy projekt wymaga RAG.
Ten element dobieramy do problemu w uzgodnionym zakresie; nie stanowi automatycznie osobnego pakietu usług.
Podstawy techniczne
- Microsoft Learn — Chunk by document layout — podział na podstawie struktury dokumentu.