Beskriv ett godtagbart beteende
En supportassistent kan behöva hitta en policy, förklara den korrekt och avstå från att hitta på saknade uppgifter. Det är olika förmågor. Skapa bedömningskriterier som skiljer korrekta svar, obestyrkta påståenden, rimlig osäkerhet och frågor som kräver mänsklig granskning.
Bygg ett användbart utvärderingsmaterial
Ta med vanliga frågor, otydliga önskemål, saknad information och exempel på varje språk som stöds. Skilj utvecklingsexempel från slutlig utvärdering. För en tänkt tvåspråkig supporttjänst bör ni kontrollera samma tolkning av policyn på båda språken, inte bara språkligt flyt.
Upprepa och granska
Genererade svar kan variera. Spara modellversion, instruktion, hämtat sammanhang och genereringsinställningar. Kör utvalda svåra fall flera gånger. Automatisk bedömning kan strukturera resultaten, men jämför ett urval med mänskliga bedömningar och undersök skillnader.
Testa applikationens gränser
Kontrollera om assistenten kan avslöja en annan kunds information, följa vilseledande instruktioner i dokument eller utföra handlingar utan bekräftelse. Testa tidsgränser och otillgängliga beroenden tillsammans med svarskvaliteten. Mät svarstid och kostnad per slutförd uppgift.
Prova: Börja med en mindre, granskad samling frågor och tydliga förväntningar. Utöka den med verkliga felmönster efter att privat information tagits bort. Jämför versioner så att förbättringar inom ett område inte döljer försämringar inom ett annat.