← Tüm yazılar
AI

Yapay Zeka Entegrasyonu Sonrası Bakım: Canlı Sistemi Yönetmek

Yapay zeka entegrasyonu canlıya alındıktan sonraki bakım, performans takibini, veri ve bilgi kaynaklarının güncellenmesini, güvenlik denetimlerini, API izlemeyi, maliyet kontrolünü ve hatalara müdahaleyi kapsar. Sistem yayına geçtiğinde proje bitmez. Model, veri, kullanıcı davranışları ve bağlı servisler zaman içinde değişir.

AI bakımının amacı sistemi sürekli “daha akıllı” yapmak değildir. Amaç, sistemin fark edilmeden kötüleşmediğini; doğru işi, doğru yetki sınırlarında ve denetlenebilir maliyetle yaptığını göstermektir.

Bir müşteri destek botunun, iade politikası güncellendikten sonra haftalarca eski şartları anlattığını düşünün. Teknik olarak bot çalışıyor: Yanıt süresi kısa, API hatası yok ve konuşmalar kaydediliyor. Buna rağmen müşterilere yanlış bilgi veriyor. Sorun model değil. Bilgi bankasını güncelleyen kişi ile botu canlı ortamda izleyen kişi aynı süreçte çalışmıyor.

Bu metin, yapay zeka entegrasyonu bakımının neleri kapsadığını, hangi taleplerin yeni geliştirme sayıldığını ve bakım teklifinde hangi maddelerin yer alması gerektiğini anlatır.

Öne Çıkanlar

  • Yapay zeka sistemi “çalışıyor” diye başarılı sayılmaz; çıktı kalitesi ve iş sonucu ayrı izlenmelidir.
  • Prompt, model, bilgi kaynağı veya bağlı API değiştiğinde gerçek kullanıcı senaryolarıyla regresyon testi yapılmalıdır.
  • Para, sözleşme, sipariş, hassas veri ve müşteri ilişkisini etkileyen aksiyonlarda insan onayı zorunlu olmalıdır.
  • Bakım kapsamı; hata düzeltme, izleme ve mevcut akışın sağlığıdır. Yeni entegrasyon, yeni agent veya yeni görev tanımı geliştirme işidir.
  • API anahtarları, loglar, promptlar, akış dokümanları ve kod müşterinin kontrol edebileceği hesaplarda tutulmalıdır.

Yapay Zeka Entegrasyonu Canlıya Çıkınca Neden Bitmez

Geleneksel yazılımlarda kod uzun süre değişmeden kalabilir. Yapay zeka sistemlerinde ise çıktı; modele, prompta, bilgi kaynağına, bağlı araçlara ve kullanıcının girdisine göre değişir.

Bir destek asistanı aynı promptla çalışsa bile her gün farklı sorular alabilir. Form alanındaki bir değişiklik, CRM otomasyonunun lead’leri yanlış satış aşamasında oluşturmasına yol açabilir. Kargo API’sindeki küçük bir sürüm güncellemesi de sipariş durumu botunun boş yanıt vermesine neden olabilir.

Bu nedenle iki ayrı soru sorulmalıdır:

  1. Sistem teknik olarak çalışıyor mu?
  2. Sistem işletme açısından doğru sonucu üretiyor mu?

İlk soru uptime, hata oranı ve API yanıt süresiyle anlaşılabilir. İkinci soru ise yanlış yönlendirmelere, satış ekibinin kabul etmediği lead’lere, güncel olmayan teklif metinlerine ve müşterilere verilen yanlış bilgilere bakılarak yanıtlanır.

Microsoft, canlıdaki model sistemleri için veri kayması, veri kalitesi, performans ve tahmin değişimi gibi ayrı sinyallerin izlenmesini önerir. Bu yaklaşımın işletme dilindeki karşılığı basittir: Tek bir “sistem açık mı?” göstergesi yeterli değildir. Microsoft’un model izleme rehberi bu sinyalleri ayrı ayrı ele alır.

AI bakımının görevi sistemi açık bırakmak değil, sistemin işinize zarar vermeden çalıştığını göstermektir.

Yapay Zeka Entegrasyonu Bakımının Altı Zorunlu Katmanı

Yapay zeka entegrasyonu bakımını tek bir “destek” başlığında toplamak sorumlulukları belirsizleştirir. Canlı sistemi yönetmek için en az altı ayrı katman gerekir.

1. İş sonucunu ve çıktı kalitesini izlemek

Bir AI sisteminin başarısı, kullanım senaryosuna göre ölçülmelidir. Destek botlarında doğru bilgi oranı, temsilciye aktarma oranı ve yanlış yönlendirme önemlidir. Lead toplama akışlarında ise satış ekibinin kabul ettiği lead oranı daha anlamlı olabilir.

Örneğin CRM’de otomatik kayıt oluşturan bir sistem, tüm formları başarılı şekilde işliyor gibi görünebilir. Ancak satış ekibi bu kayıtların yarısını niteliksiz buluyorsa API başarılıdır, işletme başarısızdır.

Her canlı akış için şu üç unsur mutlaka yazılmalıdır:

  • Sistem hangi iş sonucunu iyileştirmek için var?
  • Hangi yanlışlık kabul edilemez?
  • Bu sonucu hangi metriklerle izleyeceksiniz?

Başlangıç düzeyi de kayıt altına alınmalıdır. “Yanlış yönlendirme azalacak” ölçülebilir bir ifade değildir. “Destek botunda insan temsilciye devredilen görüşmelerdeki yanlış politika bilgisini aylık olarak inceleyeceğiz” ifadesi ise ölçülebilir.

2. Prompt, model ve akış değişikliklerini test etmek

Prompta eklenen tek bir paragraf bile sistemin davranışını değiştirebilir. Model sağlayıcısının yeni sürümüne geçmek, yeni bir araç bağlamak veya yanıt biçimini değiştirmek de küçük düzenlemeler değildir.

Teklif hazırlama asistanı kullanan bir ekibin, prompta “daha ikna edici yaz” yönergesini eklediğini düşünün. Sistem daha akıcı taslaklar üretmeye başlar. Ancak bazı taslaklarda güncel fiyat listesinde olmayan indirim ifadeleri yer alır. Süreçte insan onayı varsa satış ekibi bunu gönderimden önce fark eder. Aynı değişiklik doğrudan otomatik e-posta akışına bağlıysa hata müşteriye ulaşır.

Her değişiklikten önce temsilî test senaryoları uygulanmalıdır. Test seti ideal örneklerden değil, gerçek kullanıcıların sorduğu zor sorulardan oluşmalıdır:

  • Belirsiz veya eksik kullanıcı girdileri
  • Güncel politika ve fiyat soruları
  • Yetkisiz erişim denemeleri
  • Birden fazla sistemden veri çeken talepler
  • Sistemden işlem yapmasını isteyen kullanıcılar

OpenAI, üretken AI uygulamalarında değerlendirmelerin üretim kullanımını temsil eden verilerle kurulmasını, değişikliklerde sürekli çalışmasını ve insan geri bildirimiyle geliştirilmesini öneriyor. Değerlendirme rehberi, prompt ve model değişikliklerinin test edilmeden canlıya alınmaması gerektiğini destekler.

3. Veri ve bilgi kaynaklarını güncel tutmak

RAG tabanlı bir sistem, eriştiği dokümanlar kadar doğrudur. Eski bir iade koşulu, geçerliliğini yitirmiş bir sözleşme şablonu, sona ermiş kampanya veya yanlış ürün stoğu; modele ne kadar iyi prompt yazılırsa yazılsın yanlış yanıta yol açar.

Bilgi bankasındaki her kritik kaynak için şu üç soru net olmalıdır:

  • Dokümanın sahibi kim?
  • Son güncelleme tarihi nedir?
  • Yayına alınmadan önce kim onaylar?

Bu konu özellikle e-ticaret akışlarında kritiktir. İade, teslimat, ürün özellikleri veya sipariş durumu hakkında müşteriye bilgi veren bir AI asistanı güncel olmayan veri kullanıyorsa müşteri deneyimini hızlandırmaz. Şikâyeti hızlandırır.

Kaynak envanteri olmadan “botun bilgilerini güncelleriz” demek yeterli değildir. Hangi dokümanın indekslendiği, hangisinin yayından kaldırıldığı ve eski sürümlerin nasıl temizlendiği görünür olmalıdır.

4. API, entegrasyon ve altyapı sağlığını kontrol etmek

Bir AI sisteminin yanıtı çoğu zaman başka bir sistemden gelen veriye dayanır. CRM, stok sistemi, kargo sağlayıcısı, takvim, ödeme altyapısı veya e-posta servisi değiştiğinde AI katmanı da etkilenir.

Takip edilmesi gereken teknik sinyaller şunlardır:

  • API yetkilendirme ve erişim hataları
  • Webhook başarısızlıkları
  • Zaman aşımı ve tekrar deneme oranı
  • Kuyrukta biriken işler
  • Boş, eksik veya beklenmeyen veri yanıtları
  • Bağlı servislerin sürüm değişiklikleri

Ekran otomasyonu kullanılan yapılarda risk daha yüksektir. Üçüncü taraf bir panelde alan adının veya buton konumunun değişmesi akışı bozabilir. Sorun hata uyarısıyla değil de müşterinin “Siparişim görünmüyor” mesajıyla anlaşılıyorsa bakım süreci geç kalmıştır.

Bu yüzden yalnızca hata kaydı tutmak yeterli değildir. Kritik entegrasyonlarda uyarı eşiği, sorumlu kişi ve geri dönüş akışı önceden belirlenmelidir.

5. Güvenlik, yetki ve KVKK kontrolleri

AI entegrasyonunda güvenlik, yalnızca modelin kötü niyetli sorulara verdiği yanıtla sınırlı değildir. API anahtarlarının nerede saklandığı, loglara kimin eriştiği, servis hesaplarının kimin adına açıldığı ve sistemin hangi veriyi hangi amaçla kullandığı da güvenlik kapsamındadır.

AI sistemleri de ihlallerin hedefi olabilir ve bu olaylarda zayıf erişim kontrolü sık görülen bir sorundur. Sonuç veri sızıntısı da olabilir, operasyonel kesinti de. Bu yüzden bakım, sadece yanlış yanıtları düzeltmekten ibaret değildir.

Temel ilkeler açıktır:

  • API anahtarları kaynak kodda, ortak sohbet gruplarında veya kişisel notlarda tutulmamalı.
  • Erişimler rol bazlı verilmeli.
  • İşten ayrılan çalışanların hesapları ve erişimleri kaldırılmalı.
  • Loglarda kişisel veri gereksiz yere saklanmamalı.
  • Hassas veriye erişen akışlar düzenli olarak gözden geçirilmeli.

KVKK’nın üretken yapay zekâ rehberi de kişisel veri işleme faaliyetlerinin sistemin tüm yaşam döngüsü boyunca değerlendirilmesine dikkat çeker. KVKK rehberi, insan merkezli, güvenli ve denetlenebilir bir yaklaşımı işaret eder.

6. Maliyet, gecikme ve kullanılabilirliği takip etmek

AI maliyeti yalnızca model çağrısından ibaret değildir. Token kullanımı, vektör veritabanı, log saklama, otomasyon aracı, yeniden denemeler ve hata ayıklama için harcanan süre birlikte değerlendirilmelidir.

Bir model değişikliği yanıt kalitesini artırırken görev başına maliyeti birkaç kat yükseltebilir. Başarısız isteklerin yeniden denenmesi de fark edilmeyen harcamalar yaratır. Bu nedenle maliyet uyarıları da bakım kapsamına girmelidir.

Her canlı sistem için en az şu eşikler belirlenmelidir:

  • Aylık harcama limiti
  • Görev başına kabul edilebilir maliyet
  • Maksimum yanıt süresi
  • Hata oranı uyarısı
  • Başarısız işlem sonrası geri dönüş yöntemi

Bakım Kapsamı ile Yeni Geliştirme Aynı Şey Değildir

Kapsam tanımlanmadığında “Bakım ve destek dahildir” ifadesi bir şey anlatmaz. Her yeni talebi aylık bakıma dahil etmek belirsiz bir aylık sabit ücret modelidir. Sonunda ya iş yapılmaz ya da iki tarafın beklentisi netleşmez.

Bakım kapsamındadırYeni geliştirmedir
API anahtarı veya mevcut yetki sorununun çözülmesiYeni bir üçüncü taraf sisteme entegrasyon
Mevcut bilgi bankasındaki içeriğin güncellenmesiYeni bilgi bankası veya yeni departman kapsamı
Mevcut akıştaki hata kayıtlarının incelenmesiYeni agent, otomasyon veya ekran geliştirilmesi
Prompt/model değişikliği sonrası regresyon testiBaştan farklı görev ve başarı metriği tanımlanması
Maliyet, gecikme ve hata uyarılarının izlenmesiYeni raporlama paneli veya özel analitik kurulması
Mevcut erişimlerin gözden geçirilmesiYeni rol yapısı veya kurumsal SSO projesi

Ayrımı belirleyen soru şudur: Sistem mevcut görevini güvenli ve doğru biçimde sürdürmeye mi devam ediyor, yoksa yeni bir görev mi üstleniyor?

İlk durum bakımdır. İkinci durumda ise yeni geliştirme için ayrı kapsam, teslim tarihi ve test planı gerekir.

AI entegrasyonunuzdaki bakım sorumluluklarını yazılı hale getirmek istiyorsanız, AI entegrasyon yaklaşımımızı inceleyin. Erişim, test, hata kaydı ve değişiklik sınırları sonradan tartışılacak başlıklar olmamalıdır.

Aylık Yapay Zeka Bakım Kontrol Listesi

KOBİ’lerin kurumsal MLOps terminolojisine ihtiyacı yoktur. Ancak her ay tekrarlanan, sorumluları belli bir kontrol düzenine ihtiyaçları vardır.

  1. Son ayın hata, gecikme, maliyet ve kullanım verilerini inceleyin.
  2. En sık başarısız olan 10 gerçek kullanıcı senaryosunu seçin.
  3. Yanlış, eksik veya riskli çıktıları insan incelemesinden geçirin.
  4. Bilgi bankası, ürün, fiyat, politika ve sözleşme kaynaklarında değişiklik olup olmadığını kontrol edin.
  5. API, webhook ve entegrasyon hata kayıtlarını inceleyin.
  6. Kullanıcı, servis hesabı ve API anahtarı erişimlerini gözden geçirin.
  7. Prompt, model veya araç değişikliği varsa regresyon testini çalıştırın.
  8. Yeni geliştirme taleplerini bakım işlerinden ayrı bir kapsam listesine alın.
  9. Bir sonraki ay için ölçülebilir bir veya iki iyileştirme maddesi belirleyin.

Bu listeyi uygulayan işletme, “Sistem çalışıyor mu?” sorusunun ötesine geçer: “Sistem nerede hata yapıyor, bundan kim sorumlu ve ne zaman düzeltilecek?”

İnsan Onayı Hangi İşlemlerde Zorunludur

AI’ın öneri sunması ile işlem yapması aynı risk düzeyinde değildir. Ürün açıklaması taslağı hazırlayan bir sistem, sipariş iptali yapan sistemle aynı şekilde yönetilemez.

Aşağıdaki durumlarda AI öneri sunar, insan onay verir:

  • Para iadesi, fiyat değişikliği veya ödeme aksiyonu
  • Sipariş iptali ve müşteriye bağlayıcı işlem
  • Teklif, sözleşme veya resmi taahhüt gönderimi
  • Hukuki, sağlık veya finansal sonuç doğuran içerik
  • Hassas kişisel veriye erişim ya da dışarı aktarım
  • CRM’de satış sürecini değiştiren otomatik kararlar

İnsan onayı tek başına yeterli değildir. Hatalı bir işlem gerçekleştiğinde neyin geri alınacağı, müşterinin nasıl bilgilendirileceği ve olayın nerede kayıt altına alınacağı da tasarlanmalıdır.

Bu yöntem otomasyonu yavaşlatmaz. Hatalı otomasyonun işletmeye vereceği zararı sınırlar.

Yapay Zeka Bakım Teklifinde Sorulacak 12 Soru

Bir bakım teklifini değerlendirirken “aylık destek” başlığıyla yetinmeyin. Aşağıdaki soruların yazılı yanıtlarını isteyin:

  1. Hangi teknik ve iş metrikleri izlenecek?
  2. Uyarı geldiğinde kim, ne kadar sürede müdahale edecek?
  3. Hangi hatalar bakım kapsamına giriyor?
  4. Hangi talepler yeni geliştirme sayılıyor?
  5. Prompt veya model değişiklikleri canlıya alınmadan nasıl test edilecek?
  6. Bilgi bankasını kim güncelleyecek, kim onaylayacak?
  7. API anahtarları ve entegrasyon hesapları kimin adına açılacak?
  8. Sistem kayıtları nerede tutulacak ve ne kadar saklanacak?
  9. Maliyet limiti aşıldığında ne olacak?
  10. Yanlış işlem gerçekleşirse geri alma prosedürü nedir?
  11. Yetkiler ve erişimler ne sıklıkla gözden geçirilecek?
  12. Tedarikçi değişirse kod, akış, dokümantasyon ve hesaplar nasıl devredilecek?

İyi hazırlanmış bir teklif bu sorulara açık yanıt verir. Belirsiz bir teklif ise “gerektiğinde destek” ifadesinin arkasına saklanır ve gerçek bir sorun çıktığında kapsam tartışmasına dönüşür.

Sonuç

Yapay zeka entegrasyonu, demo çalıştığı anda başarılı sayılmaz. Değeri; doğru yanıt verdiğinde, yanlış işlem yapmadığında, veri riskini artırmadığında, maliyeti denetim altında tuttuğunda ve değişikliklerden sonra bozulmadığında ortaya çıkar.

Bakım sınırları baştan yazıldığında AI sistemi belirsiz bir gider kalemi olmaktan çıkar ve yönetilebilir bir işletim sürecine dönüşür. Erişimler sizde kalır. Hangi hatadan kimin sorumlu olduğu görünür olur. Yeni ihtiyaçlar da bakım adı altında kaybolmaz.

Sık Sorulan Sorular

Yapay zeka entegrasyonu sonrası bakım gerekli mi?

Evet. Canlıdaki AI sistemi; veri kaynakları, model davranışı, API bağlantıları, kullanıcı girdileri ve güvenlik koşulları değiştikçe izlenmeli ve güncellenmelidir.

Yapay zeka bakımında hangi metrikler izlenir?

Kullanım senaryosuna göre doğruluk, görev tamamlama oranı, yanlış yönlendirme, hata oranı, gecikme, API maliyeti, insan temsilciye devir oranı ve kullanıcı geri bildirimi izlenir.

Prompt değişikliği bakım işi midir?

Mevcut görevi koruyan küçük prompt düzenlemeleri bakım kapsamında olabilir. Ancak sistemin görevini, kullanıcı kitlesini, araçlarını veya karar yetkisini değiştiren çalışma yeni geliştirme sayılmalıdır.

AI sistemi yanlış bilgi verirse ne yapılır?

Yanlış yanıtın kaynağı bulunmalıdır: Eski bilgi bankası, yetersiz prompt, model davranışı, entegrasyon hatası veya kullanıcı girdisi. Ardından düzeltme, aynı hata senaryosuyla test edilmelidir.

Yapay zeka bakımında insan onayı gerekir mi?

Para, sözleşme, sağlık, hukuk, kişisel veri veya müşteri ilişkisini doğrudan etkileyen aksiyonlarda insan onayı gerekir.

AI bakımında API maliyeti nasıl kontrol edilir?

Model kullanımı için harcama limiti ve uyarı eşiği belirlenmelidir. İstek sayısı, giriş ve çıkış tokenları, başarısız çağrılar, yeniden denemeler ve görev başına maliyet düzenli olarak izlenmelidir.

Yapay zeka entegrasyonunuz canlı ortamda gerçekten denetim altında mı?

Designodin, AI akışlarını yalnızca birbirine bağlamaz. Erişimleri, testleri, hata kayıtlarını, maliyet takibini ve değişiklik kapsamını en baştan görünür hale getirir.

AI entegrasyonu kapsamını netleştirin Projenizi anlatın, yazılı teklif alın.