Zárt és nyílt súlyú LLM-ek teljesítményértékelése RAG-alapú felsőoktatási chatbot alkalmazás példáján

Abstract

A nagy nyelvi modellek (LLM) terjedésével egyre népszerűbbek a célzott saját (custom) chatbotok. Ezek fejlesztése sokszor a Retrieval Augmented Generation (RAG) megoldásra épül. Azonban mind a fejlesztés és tesztelés, mind az alkalmazás szempontjából fontos döntés, melyik LLM-t használjuk a saját chatbot mögött: a választott alternatíva nem közömbös sem teljesítmény, sem költségek tekintetében. A kutatás keretében egy felsőoktatási célú chatbot esetén vizsgáltuk a legnépszerűbb zárt és nyílt súlyú LLM-ek API hívásokkal történő használatának minőségi és költség jellemzőit. A chatbotba az oktatók tölthetik fel tananyagaikat, a hallgatók kérdéseket tehetnek fel a modellnek, végül az oktatók megtekinthetik a tanulók kérdéseit és statisztikáit, így támogatva a személyre szabott tanulást. A vizsgálat rávilágított, hogy a költségek jelentős részét teszik ki a saját tudásbázis kiépítése és tesztelése. A lokális tudásbázis felépítése során az egyes modellek nagyon eltérő minőséget eredményeznek. A teszt és felhasználói kérdésekre adott válaszokban a költségek rövid távon nem jelentősek (a fejlesztéshez képest), ugyanakkor a nyílt súlyú modellek is jó eredményt tudnak biztosítani, megnyitva a költségek csökkentését hosszú távon.