RAG Nedir? Kurumsal Verilerle LLM'leri Güvenle Kullanma Rehberi

RAG (Retrieval-Augmented Generation), büyük dil modelinin (LLM) yanıt üretmeden önce kurumunuzun kendi doküman ve veri kaynaklarında arama yapması ve yanıtını bulduğu bu içeriklere dayandırması yöntemidir. Böylece model, eğitim verisinde hiç görmediği güncel ve şirkete özel bilgilerle, kaynak göstererek yanıt verebilir. Doğru kurulduğunda RAG, verinizi modele “öğretmeden”, mevcut yetkilendirme kurallarınızı koruyarak LLM’leri kurumsal bilgiyle güvenle kullanmanın en pratik yoludur.

Neden RAG’e ihtiyaç var?

Genel amaçlı dil modelleri etkileyici bir dil yeteneğine sahiptir, ancak kurumsal kullanımda üç temel sınırlamaları vardır:

• Kurumsal bilgiyi bilmezler. İç politikalarınız, ürün dokümanlarınız, sözleşmeleriniz veya süreç talimatlarınız modelin eğitim verisinde yoktur.
• Bilgileri belirli bir tarihte donar. Model, eğitildiği tarihten sonraki değişiklikleri bilmez.
• Halüsinasyon üretebilirler. Bilgi eksik olduğunda model, akıcı ama yanlış bir yanıt uydurabilir.

RAG bu üç sorunu, modele her soruda “ilgili sayfaları açıp önüne koyarak” çözer. Model artık hafızasından değil, önündeki kaynaklardan yanıt verir.

RAG nasıl çalışır?

Bir RAG sistemi iki ana akıştan oluşur: verinin hazırlanması (indeksleme) ve sorgu anında yanıt üretimi.

1. İndeksleme: Verinin aranabilir hâle getirilmesi

1. Kaynakların toplanması: PDF’ler, Word dosyaları, wiki sayfaları, ticket geçmişi, veritabanı kayıtları gibi kaynaklar bağlayıcılarla (connector) alınır.
2. Parçalama (chunking): Dokümanlar anlamlı bölümlere ayrılır. Başlık yapısını koruyan parçalama, rastgele sabit uzunluktaki bölmeden genellikle daha iyi sonuç verir.
3. Gömme (embedding): Her parça, anlamını temsil eden bir vektöre dönüştürülür.
4. Depolama: Vektörler; doküman adı, tarih, departman ve erişim yetkisi gibi meta verilerle birlikte bir vektör veritabanına veya arama motoruna kaydedilir.

2. Sorgu: Yanıtın üretilmesi

1. Kullanıcı soruyu sorar.
2. Sistem, soruyla anlamca en ilgili parçaları bulur. Anlamsal arama ile anahtar kelime aramasını birleştiren hibrit arama, özellikle ürün kodu, yönetmelik adı gibi terimlerde daha isabetlidir.
3. Bulunan parçalar gerekirse yeniden sıralanır (reranking).
4. Soru ve seçilen parçalar, “yalnızca verilen kaynaklara dayanarak yanıtla ve kaynak göster” talimatıyla modele gönderilir.
5. Model, kaynak referanslarıyla birlikte yanıt üretir.

RAG mi, fine-tuning mi, uzun bağlam mı?

Kurumsal verinin LLM ile kullanılmasında tek seçenek RAG değildir. Aşağıdaki tablo hangi yaklaşımın ne zaman uygun olduğunu özetler:

Pratikte bu yaklaşımlar birbirini dışlamaz. Pek çok kurumsal sistem RAG’i temel alır; gerektiğinde üslup için fine-tuning veya belirli görevler için uzun bağlam kullanır.

Kurumsal verilerle RAG’i güvenli kurmak

RAG’in güvenliği, modelden çok etrafındaki mimariye bağlıdır. Dikkat edilmesi gereken başlıklar:

Erişim yetkisini aramaya taşıyın

En kritik kural şudur: Kullanıcı bir dokümanı kaynak sistemde göremiyorsa, RAG asistanı da o dokümandan yanıt üretmemelidir. Bunun için her parçaya erişim bilgisi meta veri olarak eklenmeli ve arama, kullanıcının kimliğine göre filtrelenmelidir. İnsan kaynakları dosyalarının herkesin sorabileceği bir asistana düşmesi, en yaygın tasarım hatalarından biridir.

Kişisel ve hassas veriyi yönetin

• 6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK) kapsamında, indekslenecek kaynaklarda kişisel veri olup olmadığını belirleyin.
• Gerekmeyen kişisel verileri indekslemeden önce maskeleyin veya hariç tutun (veri minimizasyonu).
• Bulut tabanlı model veya embedding servisi kullanıyorsanız verinin hangi bölgede işlendiğini, saklanıp saklanmadığını ve model eğitiminde kullanılıp kullanılmadığını sözleşme düzeyinde netleştirin. Yurt dışına aktarım koşullarını hukuk biriminizle değerlendirin. AB ile bağlantılı faaliyetlerde GDPR ve AB Yapay Zeka Yasası da dikkate alınmalıdır.
• Hassasiyeti yüksek senaryolarda kurum içinde barındırılan açık kaynak modeller ve embedding modelleri seçenek olarak değerlendirilebilir.

Prompt injection’a karşı önlem alın

İndekslenen bir doküman, modele talimat vermeye çalışan metinler içerebilir. Kaynak içeriğini talimat olarak değil veri olarak ele alan sistem talimatları, araç yetkilerinin sınırlandırılması ve çıktı denetimi bu riski azaltır.

Kayıt ve denetim izi tutun

Hangi kullanıcının hangi soruyu sorduğu, hangi kaynakların getirildiği ve hangi yanıtın üretildiği kayıt altına alınmalıdır. Bu hem kalite iyileştirme hem de denetim ve uyum için gereklidir. Kayıtların kendisinin de kişisel veri içerebileceği unutulmamalıdır.

RAG kalitesi nasıl ölçülür?

“Çalışıyor gibi görünüyor” yeterli değildir. Alan uzmanlarıyla gerçek sorulardan bir değerlendirme seti oluşturun ve her değişiklikten sonra şunları ölçün:

• Arama isabeti: Doğru kaynak parçaları getirildi mi?
• Kaynağa sadakat: Yanıt, getirilen kaynaklarla tutarlı mı, dışarıdan bilgi uydurulmuş mu?
• Yanıt doğruluğu ve eksiksizliği: Uzman gözüyle yanıt doğru ve yeterli mi?
• “Bilmiyorum” davranışı: Kaynaklarda bilgi yoksa sistem bunu açıkça söylüyor mu?

Kalite sorunlarının önemli bir kısmı modelden değil, parçalama, meta veri ve arama ayarlarından kaynaklanır; iyileştirmeye genellikle buradan başlanmalıdır.

RAG hangi kurumsal senaryolarda işe yarar?

RAG, yanıtın belirli bir doküman kümesine dayanması gereken her durumda güçlü bir adaydır. Yaygın örnekler şunlardır:

• İç bilgi ve politika asistanı: Çalışanların İK yönetmelikleri, satın alma prosedürleri veya bilgi güvenliği politikaları hakkındaki sorularını kaynak göstererek yanıtlamak.
• Müşteri destek ekiplerine yardımcı: Ürün kılavuzları ve geçmiş çözüm kayıtlarından yanıt taslağı hazırlamak; son kararı temsilciye bırakmak.
• Teknik dokümantasyon araması: Mühendislik ve saha ekiplerinin şartname, bakım talimatı ve standartlar içinde hızlı bilgi bulması.
• Sözleşme ve mevzuat incelemesi: Uzun metinlerde ilgili maddeleri bulup özetlemek; hukuki değerlendirmeyi uzmana bırakmak.

Bu senaryoların ortak noktası, insanın döngüde kalması ve yanıtın doğrulanabilir bir kaynağa bağlanmasıdır.

BrotherhoodIO RAG projelerine nasıl yaklaşıyor?

BrotherhoodIO olarak RAG projelerinde önce veri kaynaklarını, erişim modelini ve KVKK gerekliliklerini haritalandırıyor, ardından değerlendirme setiyle ölçülebilir bir pilot kuruyoruz. Model seçimini; veri yerleşimi, maliyet ve performans ihtiyaçlarına göre bulut veya kurum içi seçenekler arasından yapıyor, çözümü mevcut kurumsal sistemlerinize entegre ediyoruz.

Kurumsal verilerinizle güvenli bir yapay zeka asistanı kurmayı planlıyorsanız, bizimle iletişime geçin; ihtiyacınıza uygun RAG mimarisini birlikte tasarlayalım.