Cevap kalitesi modelde değil, kütüphanede belirlenir

RAG tabanlı bir sistem yanlış cevap verdiğinde ilk refleks modeli suçlamak ya da embedding sağlayıcısını değiştirmek olur. Oysa mekanizma çoğu zaman daha erken bir aşamada bozulur. Retrieval katmanı, soruya en çok benzeyen içeriği havuzdan çeker; model de bulduğunu akıcı biçimde özetler. Havuzda seyahat politikasının çelişen üç versiyonu varsa sistem bunlardan birini kendinden emin şekilde getirecektir ve hiçbir model yükseltmesi bunu düzeltmez. Yanlış kaynağa dayanan yanlış cevap bir zekâ hatası değil, kütüphane hatasıdır.

İşe yarayan disiplin, her kaynağı bir ürün kararı gibi ele almaktır. Platform karşılaştırmasına geçmeden önce her doküman seti için iki soru sorun: Bu içerik, sistemin cevap üretebileceği onaylı bir kaynak mı? Bu kaynaktan üretilen cevap yanlış çıktığında hesabı kim verecek? Bu iki soruya cevabı olmayan içerik, ne kadar zengin görünürse görünsün indekse girmemelidir. Sahibi belli, küçük bir kaynak seti, intranetin tamamını indekslemekten daha güçlü bir zemindir; çünkü her hatalı cevabın izi, düzeltilebilir bir kaynağa kadar sürülebilir. Sahipsiz kaynak havuzu yalnızca sahipsiz cevaplar üretir.

Copilot, soru soranın yetkisini aşmamalı

Klasik hata senaryosunun mekanizması basittir. İndeksleme hattı dokümanları geniş yetkili bir servis hesabıyla okur; sorgu tarafı ise aynı indeksten herkese cevap verir. Bir uzman, henüz duyurulmamış bir organizasyon değişikliğini sorar ve normalde açamayacağı dokümanların özetini alır. RAG nadiren dosya sızdırır; özet sızdırır. Özet ise fark edilmesi daha zor, iletilmesi daha kolay bir sızıntıdır. Bedeli de teknik değil, kurumsaldır: Tek bir vaka bile copilot'un şirket içindeki meşruiyetini sorgulatmaya yeter.

Bu yüzden izinlere duyarlı retrieval, sonradan eklenen bir sıkılaştırma adımı değil, tasarımın çekirdek gereksinimlerinden biridir. İzinler sorgu anında, soru soranın kimliğine göre ve cevap üretilmeden önce değerlendirilmelidir; roller değişir, dokümanlar yeniden sınıflandırılır ve indeksleme sırasında dondurulan izinler eskir. Filtre yalnızca gösterilen bağlantılara değil, çekilen içeriğe uygulanmalıdır; ilgili tüm kaynaklar soranın yetkisinin üzerindeyse sistemin açık bir ‘cevap yok’ yolu olmalıdır. Basit bir kabul testi: Aynı soru, yetkileri farklı iki hesaptan sorulduğunda farklı davranış üretmelidir.

Geçen yılın politikasından üretilen cevap, kendinden emin bir yalandır

Varsayımsal bir örnek düşünün: Bir İK copilot'u, uzaktan çalışma sorusunu politikanın üçüncü versiyonundan cevaplıyor; oysa yürürlükte beşinci versiyon var. Cevap akıcı, kaynak gösteriyor ve yanlış. Bu, sistemin en tehlikeli hâlidir; çünkü hata ancak sonuçları ortaya çıktığında fark edilir. Mekanizmanın adı içerik kayması: Kurumsal dokümanlar silinmekten çok yenisiyle değiştirilir ve benzerlik araması ‘güncel’ kavramını bilmez. Yaşam döngüsü kuralları yoksa indeks, yayımlanmış her versiyonu sessizce biriktirir.

Bu yüzden her kaynağın bir yaşam döngüsü olmalıdır: yürürlük tarihi, hangi dokümanın yerini aldığı, gözden geçirme sahibi ve geçerlilik tarihi. Doküman değiştiğinde yeniden indeksleyin; eski versiyonları varsayılan aramadan çıkarıp denetim için saklayın; dokümanın tarihini cevabın içinde gösterin. ‘Bu bilgi Mart 2025 tarihli prosedüre dayanır’ gibi tek satırlık bir ibare bile kullanıcıya doğru soruyu sordurur. Karar kuralı nettir: Bir dokümanın hangi versiyonunun geçerli olduğunu kimse söyleyemiyorsa o doküman kaynak olmaya hazır değildir.

Kaynak gösterimi dipnot değil, güven arayüzüdür

Kullanıcılar bir sisteme çoğunlukla doğru olduğu için değil, önemli anda doğrulayabildikleri için güvenir. Bu yüzden pasaj düzeyinde kaynak gösterimi süsleme değil, ürünün çekirdeğidir. Kaynağına gidilemeyen bir cevap, kurumsal ortamda iyi biçimlendirilmiş bir söylentiden farksızdır. Kaynak gösterimi aynı zamanda bir ölçüm aracıdır: Yaygınlaştırmanın başında kaynak bağlantılarına yoğun tıklama sağlıklı bir doğrulama davranışına, ilerleyen dönemde oturmuş konularda azalan tıklama ise büyüyen güvene işaret eder. İkisi de memnuniyet anketinden daha fazlasını söyler.

Cevap üretimi tarafındaki karşılığı grounding disiplinidir. Sistem yalnızca çektiği içerikten cevap üretmeli, kanıt zayıfsa bunu açıkça söylemeli ve uydurmak yerine yönlendirmelidir. 'Çelişen iki prosedür buldum; ikisi de burada, içerik sahibi şu kişi' cevabı, iki metnin pürüzsüz bir karışımından daha değerlidir. Doğru kişiye yönlendiren bir ‘cevap veremiyorum’, uydurulmuş bir sentezden her seferinde daha iyidir.

Bazen doğru karar, henüz RAG kurmamaktır

Şu üç koşuldan biri geçerliyse RAG projesini ertelemek en dürüst karardır. Dar kaynak seti: Gerçek bilgi birkaç düzine dokümanda toplanıyorsa iyi yapılandırılmış arama ya da bakımlı bir wiki sayfası, retrieval hattından daha iyi iş görebilir. Kaotik kaynak seti: Kopyalar, çelişen versiyonlar ve sahipsiz içerik varsa RAG bu kaosu sohbet hızında büyütür. Çözülmemiş sahiplik: Kaynak onayını ve düzeltmeleri hiçbir birim üstlenmeyecekse yanlış cevabın düzeltme yolu yoktur ve güven, lansmandan birkaç hafta sonra çöker.

Bunların hiçbiri hedefi terk etme nedeni değildir; asıl ilk projenin ne olduğunu tarif ederler. Kopyaları ayıklamak, sahipleri atamak ve erişim politikasını yazmak Haritala ve Önceliklendir aşamalarının işidir; copilot hiç yayına girmese bile kendini amorti eder. Yönetişimsiz bir kaynak havuzunun üzerine RAG kurmak doküman karmaşasını çözmez; onu daha sevimli bir arayüze sahip bir cevap karmaşasına dönüştürür.

Tek departmanda, sınırlı kaynak setiyle kanıtlayın

Bilgi sistemi için üretim koşullarında kurgulanmış bir pilot bilinçli olarak dar tutulur: tek departman, onaylı ve sınırlı bir kaynak seti, gerçek kullanıcılar ve açık başarı kriterleri. Değerlendirme setini sistem ortada yokken departmanın uzmanlarına yazdırın; kabul edilebilir cevabın ne olduğu baştan tanımlanmış gerçek sorularla kalite, demoya göre değil işe göre değerlendirilir. İzin davranışını farklı rollerden test edin; eskalasyon yolunu da sorunsuz akış kadar bilinçli biçimde prova edin. Internal Knowledge Copilot blueprint'imizin biçimi tam olarak budur: rol izinlerine uyan, kaynak gösteren ve kanıt yetersiz kaldığında yönlendiren bir sistem.

Duyguyu değil davranışı ölçün: cevaba ulaşma süresi, çözülen talep oranı, kaynak açma alışkanlığı, düzeltme bildirimleri ve kritik cevaplarda uzman incelemesi. Sonraki adım da bu yazının kendi argümanını izler: Tek bir platformu bile değerlendirmeden önce aday kaynak setinin envanterini çıkarın, sahiplerini belirleyin ve erişim politikasını yazın. Bunlar hazır olduğunda kontrollü bir pilot, cevapların güveni hak edip etmediğini size hızla ve dürüstçe gösterir.