Pazarlama RAG Asistanını Canlıya Almadan Önce: Değerlendirme Seti, Doküman Sahipliği ve Güncellik Takvimi
Pazarlama ekiplerinde yapay zekâ asistanı projeleri genellikle heyecanlı bir demoyla başlar. Birkaç PDF, marka kılavuzu ve ürün sayfası sisteme yüklenir; asistan ilk sorulara akıcı ve kendinden emin yanıtlar verir, toplantı odasında herkes etkilenir. Üç ay sonra ise tablo değişir: Satış ekibi asistanın eski kampanya koşullarını anlattığını fark eder, içerik ekibi hangi dokümanın güncel olduğunu bilmez, kimse de "Bu asistan ne kadar doğru?" sorusuna bir sayıyla yanıt veremez.
Ben Koray Yalçın olarak CRM, lead yönetimi, dijital pazarlama ve yapay zekâ entegrasyonları üzerine çalışırken bu kırılmayı farklı sektörlerde tekrar tekrar görüyorum. Sorun çoğu zaman RAG (Retrieval-Augmented Generation, yani modelin yanıt üretmeden önce şirketin kendi dokümanlarından ilgili pasajları getirdiği mimari) teknolojisinin kendisinde değil; bilgi tabanının bir ürün gibi yönetilmemesinde. Bu yazıda konuyu parçalama ya da vektör veri tabanı seçimi gibi teknik ayrıntılardan değil, işletme tarafından ele alıyorum: Bir pazarlama RAG asistanı canlıya çıkmadan önce nasıl sınanmalı, dokümanları kim sahiplenmeli ve güncellik nasıl korunmalı?
Demo başarısı neden yanıltıcıdır?
Demoda sorulan sorular, sistemi kuran kişinin aklına gelen ve dokümanlarda cevabı açıkça bulunan sorulardır. Gerçek kullanımda ise sorular dağınık, eksik ve bazen dokümanlarda hiç cevabı olmayan sorulardır. Bir satış temsilcisi "Geçen ayki indirim hâlâ geçerli mi?" diye sorduğunda, asistanın doğru yanıtı çoğu zaman "Bu konuda güncel bir doküman bulamadım" olmalıdır. Demo bu davranışı neredeyse hiç sınamaz.
İkinci yanılgı, akıcılığın doğrulukla karıştırılmasıdır. Dil modelleri yanlış bilgiyi de aynı özgüvenle yazar. Bu nedenle bir RAG asistanının kalitesi, okuyanın izlenimiyle değil, önceden hazırlanmış bir soru setine verdiği yanıtların sistematik olarak puanlanmasıyla ölçülmelidir.
Adım 1: 50 soruluk bir değerlendirme seti hazırlamak
Canlıya geçiş kararının temeli, ekibin gerçekten soracağı sorulardan oluşan bir değerlendirme setidir. Elli soru, küçük ve orta ölçekli bir pazarlama ekibi için hem yönetilebilir hem de anlamlı bir başlangıçtır. Setin içeriği dengeli olmalıdır.
Soru türlerinin dağılımı
Doğrudan bilgi soruları: Cevabı tek bir dokümanda açıkça yazan sorular. Örneğin bir hizmet paketinin kapsamı ya da marka kılavuzundaki renk kuralları.
Birleştirme gerektiren sorular: Cevabın iki veya üç farklı dokümandan derlenmesi gereken sorular. Örneğin bir vaka çalışmasındaki sonucun hangi hizmet paketine karşılık geldiği.
Cevabı olmayan sorular: Dokümanlarda bilgisi bulunmayan sorular. Bu grup, asistanın uydurmak yerine "bilmiyorum" diyebilme yeteneğini sınar ve bence setin en kritik bölümüdür.
Güncelliğe duyarlı sorular: Fiyat, kampanya, ekip yapısı veya süreç değişikliği gibi zamanla eskiyen bilgilere dair sorular.
Ton ve marka dili soruları: "Bu metni marka dilimize uygun hale getir" türündeki üretim talepleri.
Soruları sistemi kuran kişi değil, asistanı kullanacak kişiler yazmalıdır: satış temsilcileri, içerik yazarları, müşteri ilişkileri ekibi. Böylece set, gerçek dünyadaki dağınıklığı yansıtır.
Her soru için "altın yanıt" yazmak
Her sorunun yanına, konuyu bilen bir ekip üyesinin kısa bir doğru yanıt ve bu yanıtın dayandığı doküman adını yazması gerekir. Cevabı olmayan sorularda altın yanıt, "Asistan bilginin bulunmadığını söylemeli ve ilgili kişiye yönlendirmeli" şeklinde olabilir. Bu küçük emek, sonraki tüm ölçümleri mümkün kılar.
Adım 2: Yanıtları dört ölçütle puanlamak
Değerlendirme setini çalıştırdıktan sonra her yanıtı basit bir ölçekle puanlamak yeterlidir. Ben genellikle dört ölçütü öneriyorum:
Doğruluk: Yanıt altın yanıtla çelişiyor mu?
Kaynağa dayanma: Yanıt, getirilen pasajlarda gerçekten bulunan bilgiye mi dayanıyor, yoksa model boşluğu kendi tahminiyle mi doldurmuş?
Doğru reddetme: Cevabı olmayan sorularda asistan dürüstçe bilgisizliğini kabul ediyor mu?
Kullanılabilirlik: Yanıt, bir satış temsilcisinin toplantıda doğrudan kullanabileceği netlikte mi?
Her ölçüt için "uygun / kısmen / uygun değil" şeklinde üç seviyeli bir puan, ilk aşamada yeterlidir. Önemli olan, aynı setin her değişiklikten sonra yeniden çalıştırılabilmesi ve sonuçların karşılaştırılabilmesidir.
Canlıya geçiş eşiğini önceden belirlemek
Ekip, değerlendirmeye başlamadan önce kabul eşiğini yazılı olarak belirlemelidir. Örneğin cevabı olmayan sorularda tek bir uydurma yanıtın bile kabul edilmemesi, doğrudan bilgi sorularında ise yanıtların büyük çoğunluğunun tam doğru olması gibi. Eşiği sonuçları gördükten sonra belirlemek, beklentiyi sisteme uydurmak anlamına gelir.
Adım 3: Her dokümanın bir sahibi olmalı
RAG asistanlarının zamanla bozulmasının en yaygın nedeni, bilgi tabanındaki dokümanların sahipsiz kalmasıdır. Bir fiyat listesi güncellenir ama eski sürüm sistemde durmaya devam eder; asistan iki çelişkili pasajı birden getirir ve hangisinin güncel olduğunu bilemez.
Bu nedenle bilgi tabanına giren her doküman için basit bir kayıt tutulmalıdır: doküman adı, sahibi olan kişi veya ekip, son gözden geçirme tarihi, bir sonraki gözden geçirme tarihi ve dokümanın türü. Bu kaydın bir CRM nesnesi, ortak bir tablo ya da proje yönetim aracında tutulması fark etmez; önemli olan herkesin aynı listeye bakmasıdır.
Sahiplik dağılımı için pratik bir örnek
Marka kılavuzu ve ton örnekleri: içerik veya marka yöneticisi.
Hizmet paketleri, kapsam ve fiyatlandırma kuralları: satış operasyonu.
Vaka çalışmaları ve referans hikâyeleri: pazarlama ekibi, müşteri onayı kaydıyla birlikte.
Sık sorulan teknik ve güvenlik soruları: ürün veya teknik ekip.
Kampanya ve dönemsel koşullar: kampanyayı yöneten kişi, bitiş tarihiyle birlikte.
Sahiplik, yalnızca "bu dokümanı kim yazdı" sorusu değildir; "bu doküman yanlışsa kimin telefonu çalar" sorusudur.
Adım 4: Güncellik takvimi ve emeklilik kuralı
Her doküman türü aynı hızda eskimez. Marka kılavuzu yılda bir gözden geçirilebilirken kampanya koşulları haftalık değişebilir. Bu yüzden doküman türüne göre gözden geçirme sıklığı belirlemek ve takvime bağlamak gerekir.
Benim en çok önerdiğim kural ise emeklilik kuralıdır: Süresi dolan bir doküman, güncellenene kadar asistanın erişebildiği havuzdan çıkarılır. Bitiş tarihi geçmiş bir kampanya metninin sistemde "arşiv" etiketiyle durması yetmez; çünkü getirme adımı etiketi her zaman dikkate almayabilir. Eski bilgiyi bulamayan bir asistan, eski bilgiyi bulan bir asistandan çok daha güvenlidir.
Değişiklik sonrası yeniden test
Bilgi tabanına önemli bir doküman eklendiğinde, bir doküman emekliye ayrıldığında veya asistanın talimatları değiştiğinde değerlendirme seti yeniden çalıştırılmalıdır. Bu, yazılım ekiplerindeki regresyon testinin pazarlama dünyasındaki karşılığıdır ve bir öğleden sonradan fazla zaman almaz.
Adım 5: Canlı kullanımdan öğrenmek
Asistan canlıya çıktıktan sonra en değerli veri kaynağı, kullanıcıların gerçekten sorduğu sorulardır. Her yanıtın altına basit bir "işe yaradı / yaramadı" geri bildirimi eklemek ve ayda bir kez "yaramadı" işaretli soruları incelemek, bilgi tabanındaki boşlukları ortaya çıkarır.
Bu inceleme genellikle üç tür sonuç verir: eksik bir doküman (yazılması gerekir), eskimiş bir doküman (sahibine iletilir) veya yanlış getirilen bir pasaj (teknik ekibe iletilir). Sık tekrarlanan yeni sorular ise değerlendirme setine eklenir; böylece set, ekiple birlikte büyür.
Yönetim için tek sayfalık özet
Bir pazarlama yöneticisinin RAG asistanı hakkında her ay görmesi gereken bilgiler aslında azdır: değerlendirme setindeki doğruluk ve doğru reddetme oranlarının trendi, gözden geçirme tarihi geçmiş doküman sayısı, ay içinde emekliye ayrılan ve eklenen dokümanlar ve kullanıcı geri bildirimlerindeki olumsuz yanıt oranı. Bu dört başlık, asistanın kalitesini tartışmayı izlenimden çıkarıp veriye taşır.
Lead yönetimi ve CRM projelerinde de aynı ilkeyi savunuyorum: Bir sistem, ancak düzenli olarak ölçülüp bakımı yapıldığında güvenilir kalır. Yapay zekâ asistanları da bu kuralın istisnası değildir; aksine, kendinden emin dilleri nedeniyle bakımsızlık daha geç fark edilir ve daha pahalıya mal olur.
Sıkça Sorulan Sorular
Değerlendirme seti için 50 soru az mı?
Başlangıç için yeterlidir. Önemli olan sayıdan çok çeşitliliktir; özellikle cevabı olmayan ve güncelliğe duyarlı sorular sette mutlaka yer almalıdır. Set, canlı kullanımdan gelen sorularla zamanla genişletilebilir.
Yanıtları puanlamak için yine yapay zekâ kullanılabilir mi?
Ön eleme için kullanılabilir, ancak canlıya geçiş kararı ve eşik kontrolü gibi kritik aşamalarda insan değerlendirmesi esas alınmalıdır. Özellikle uydurma yanıtların tespitinde konuyu bilen bir ekip üyesinin gözü vazgeçilmezdir.
Küçük bir pazarlama ekibi için doküman sahipliği fazla bürokratik değil mi?
Hayır; küçük ekipte liste de küçük olur. Birkaç düzine doküman için sahip ve tarih bilgisi tutmak, tek bir yanlış fiyat veya eski kampanya bilgisinin müşteriye iletilmesinin yaratacağı sorunun yanında çok küçük bir emektir.
Asistanın "bilmiyorum" demesi kullanıcıları hayal kırıklığına uğratmaz mı?
İlk başta uğratabilir, ama güveni asıl koruyan davranış budur. "Bilmiyorum" yanıtı bir yönlendirmeyle birlikte verildiğinde, örneğin ilgili doküman sahibinin adıyla, kullanıcı hem dürüst bir yanıt hem de bir sonraki adımı almış olur.
Bu yaklaşım CRM ile nasıl birleşir?
Doküman kaydı ve geri bildirimler CRM veya ortak bir operasyon aracında tutulabilir; asistanın satış temsilcilerine verdiği yanıtlar da müşteri kaydıyla ilişkilendirilebilir. Böylece hangi soruların hangi satış aşamasında sorulduğu görülür ve bilgi tabanı satış sürecinin gerçek ihtiyaçlarına göre şekillenir.
Koray Yalçın — lead yönetimi, CRM, dijital pazarlama, yapay zekâ ve gayrimenkul/PropTech alanlarında çalışmalar yürütür.
Comments