Kurumsal RAG mimarisi: doğrulanabilir yanıtlar üretmek
Şirket verisiyle çalışan yapay zekâ asistanlarında halüsinasyonu azaltmak için kullandığımız mimari desenler ve değerlendirme yöntemi.
Kurumsal ortamda bir yapay zekâ asistanının en büyük riski yanlış yanıt vermesi değil, yanlış yanıtı emin bir tonla vermesidir. Bir çalışan bu yanıta güvenip müşteriye ilettiğinde hata sistemden çıkmış olur.
Parçalama stratejisi
RAG kalitesinin ilk belirleyicisi, belgelerin nasıl bölündüğü. Sabit karakter sayısıyla bölmek, cümlenin ortasından kesip anlamı yok ediyor.
- Başlık hiyerarşisine göre bölün; her parça bağlamını taşısın.
- Parçaya üst başlıkları meta veri olarak ekleyin.
- Komşu parçalar arasında bir miktar örtüşme bırakın.
- Tabloları bölmeyin; bölünmüş tablo işe yaramaz.
Hibrit arama
Yalnızca vektör araması, tam eşleşme gereken durumlarda başarısız oluyor. Kullanıcı bir ürün kodu veya madde numarası aradığında anlamsal benzerlik yanlış sonuç getirir.
Anlamsal arama ile anahtar kelime aramasını birlikte çalıştırıp sonuçları birleştirin. İkisinin de üst sıralarında çıkan içerik büyük olasılıkla doğru içeriktir.
Yeniden sıralama
Arama 20 parça getirir; bunların hepsini modele vermek hem maliyetli hem kaliteyi düşürücüdür. Bir yeniden sıralama modeliyle en alakalı 4-5 parçayı seçin. Bu adım, gözlemlediğimiz en yüksek getirili tek iyileştirme.
Kaynak zorunluluğu
Modele açık talimat verin: yalnızca getirilen parçalara dayan, dayanamıyorsan bilgi bulunamadığını söyle. Her yanıtın altında kaynak belgeyi ve bölümü gösterin. Kullanıcı doğrulayabildiği bir sisteme güvenir.
Yetki farkındalığı
Arama sorgusuna kullanıcının erişim yetkileri filtre olarak eklenmeli. Bu, yanıt üretildikten sonra filtrelemekten farklıdır — yetkisiz içerik hiç değerlendirmeye girmemeli.
Değerlendirme hattı
"Bana iyi geldi" bir kalite ölçüsü değil. Gerçek sorulardan oluşan 100-200 soruluk bir değerlendirme kümesi kurun ve her sürüm öncesi koşturun:
- Getirme başarısı: Doğru belge ilk 5'te geldi mi?
- Dayanaklılık: Yanıttaki her iddia kaynakta var mı?
- Kapsam: Sorunun tamamı yanıtlandı mı?
- Reddetme doğruluğu: Bilgi yokken uydurmak yerine reddetti mi?
Son madde en kritiği. Bir asistanın "bilmiyorum" diyebilmesi, doğru yanıt vermesi kadar değerlidir.
Bu mimarinin paketlenmiş hali için Sitemox Insight'a bakabilirsiniz.
