RAG módszerek implementálásának kihívásai egy célorientált chatbot rendszer kontextusában

Abstract

A Retrieval Augmented Generation (RAG) megoldás fókuszált tartalmú adatok és szövegek bevonásával javítja a nagy nyelvi modellek (LLM) által generált válaszok minőségét, és kiküszöbölheti hibáikat. A RAG egyre népszerűbb alkalmazása azonban felszínre hozott számos technikai kihívást, melyek megoldása nem mindig egyértelmű: a bemeneti adatforrások összetettek lehetnek, a válaszok pontossága felé magasak az elvárások, illetve meg kell tudni mondani hol található a forrásban a legjobb válasz egy kérdésre. Ezekre a feladatokra számos lehetséges alternatív technika közül lehet választani. A kutatás során egy célorientált chatbot fejlesztése keretében vizsgáltuk a RAG folyamat egyes lépéseit, és kipróbáltunk többféle szöveg beviteli (OCR, LLM vision), szöveg feldarabolási (rekurzív, ágensalapú) és válasz keresési módszert (hasonlósági vektor, BM25). Új feldolgozási módszereket vezettünk be a fentiek kombinálásával, melyek javítják az eredmény minőségét. A cikkben rámutatunk, hogy akár nyílt modellekre is támaszkodhatunk, mivel egyes esetekben a szabályalapú, standard feldolgozóknál pontosabb, strukturáltabb eredményt adnak, és zárt társaik a tartalmi szűrések miatt néhány esetben nem végezték el a feladatot.