Identifiera förmågan som saknas
Om en assistent inte kan svara om en uppdaterad intern handbok kan problemet vara tillgång till information. Om rätt information finns men svaret återkommande får fel struktur kan problemet gälla uppgiftsbeteendet. Felen behöver olika experiment.
Förstå informationshämtningen
Retrieval-augmented generation kombinerar hämtad information med textgenerering. Den ursprungliga RAG-artikeln beskriver en modell som förenar parametriskt och icke-parametriskt minne. I en applikation bör kvaliteten på hämtningen och det slutliga svaret bedömas separat.
Jämför praktiska alternativ
Börja med en tydlig instruktion och representativa exempel. För dokument som förändras kan ni prova informationshämtning med källhänvisningar och åtkomstkontroll. Överväg finjustering först när lämpliga träningsexempel och ett mätbart beteendemål finns. Metoderna kan kombineras, men då ökar antalet komponenter att förvalta.
Gör jämförelsen rättvis
Använd samma undanhållna frågor för varje metod. Följ svarskvalitet, obestyrkta påståenden, uppdateringsarbete, svarstid och kostnad. Ta med frågor som inte går att besvara med det godkända materialet. En trovärdig demonstration visar även när systemet avstår eller ber om förtydligande.
Prova: Klassificera tio observerade fel som saknad information, bristande hämtning, instruktionsfel eller obestyrkt resonemang innan ni bestämmer er för träning.