AI gateway nedir? Kurumlar model erişimini ve veri kurallarını nasıl yönetir

AI gateway (yapay zekâ ağ geçidi), kurum içindeki uygulamalarla yerel veya bulut dil modelleri arasında duran ve bütün model isteklerinin geçtiği ortak katmandır. Uygulamalar tek bir adrese bağlanır; isteğin hangi modele gideceğine, hassas verinin maskelenmesine, isteğin yerel modelde tutulmasına ya da engellenmesine gateway’deki kurallar karar verir. Böylece model değişiklikleri ve veri kuralları her uygulamanın kodunda ayrı ayrı değil, tek bir yerde yönetilir.

AI gateway ne işe yarar?

Kurumlarda yapay zekâ kullanımı genellikle dağınık başlar. Bir ekip bulut modeline doğrudan bağlanır, başka bir ekip kendi sunucusunda bir yerel model çalıştırır, her uygulama kendi API anahtarını ve kendi kurallarını taşır. Bu durumda üç soru cevapsız kalır: Hangi veri kurum dışına çıkıyor? Model değiştiğinde kaç uygulamanın kodu değişecek? Bir isteğe ne olduğunu kim, nereden görecek?

AI gateway bu soruları tek bir katmanda toplar. Aynı kavram için "LLM gateway" veya "model gateway" adları da kullanılır. Temel işlevleri dörttür:

• Tek uç nokta: Uygulamalar her model sağlayıcısına ayrı ayrı bağlanmak yerine tek bir API’ye bağlanır. Birçok gateway OpenAI uyumlu bir API sunar; böylece mevcut istemci kütüphaneleri değişmeden kullanılabilir.
• Model yönlendirme: Hangi isteğin hangi modele gideceğini uygulama değil, gateway’deki kural belirler. Örneğin müşteri verisi içeren istekler yerel modelde kalır, genel metin işleri bulut modeline gider.
• Veri kuralları: Gateway, istemdeki (prompt) kişisel verileri ve sırları tespit eder; kurala göre isteğe izin verir, ilgili alanı maskeler, isteği yerel modele yönlendirir veya engeller.
• Karar kaydı: Her isteğe hangi kuralın uygulandığı, hangi modelin seçildiği ve taramanın ne bulduğu kaydedilir. Ham istemin saklanıp saklanmayacağı ayrı bir karardır.

Gateway, kurumsal yapay zekâ altyapısının bir parçasıdır; modelleri, uygulamaları ve veri kurallarını birbirinden ayırır.

AI gateway nasıl çalışır?

Bir istek gateway’den kabaca şu sırayla geçer:

1. Uygulama isteği model sağlayıcısına değil, gateway’in adresine gönderir.
2. Gateway istemi tarar: TC kimlik numarası, IBAN, telefon gibi kişisel veriler, API anahtarları, şifreler ve kuruma özgü gizli alanlar aranır.
3. Kurallar bir karar üretir. Karar; tespit edilen veri türüne, isteği gönderen uygulamaya ve hedef modele göre değişebilir.
4. İzin verilen istek, kuralın seçtiği modele iletilir. Maskelenen alanların yerine model yalnızca bir yer tutucu görür.
5. Yanıt uygulamaya döner ve karar kaydı yazılır.

Kuralların üretebileceği kararlar genellikle dört türdür:

Maskelenen istekte, yanıtta geçen yer tutucuların uygulama tarafında asıl değerlere geri çevrilip çevrilmeyeceği de bir tasarım kararıdır.

Ne zaman gerekir, ne zaman gerekmez?

AI gateway şu durumlarda işinizi kolaylaştırır:

• Birden fazla uygulama veya ekip dil modeli kullanıyorsa.
• Hem yerel hem bulut modelleri kullanılıyor ve hangi verinin kurum dışına çıkabileceğini kurala bağlamak istiyorsanız.
• Model değiştirmeyi uygulama kodundan ayırmak istiyorsanız.
• Bilgi güvenliği ekibi her isteğe hangi kuralın uygulandığını görmek istiyorsa.
• Yapay zekâ ajanları çok sayıda model çağrısı yapıyorsa.

Tek bir uygulamanın tek bir modeli kullandığı ve hassas veri işlenmeyen bir deneme aşamasında gateway gereksiz bir katman olabilir; her katman biraz gecikme ve bakım yükü ekler. Yine de uygulamayı OpenAI uyumlu bir arayüzle yazmak, gateway’i ileride eklemeyi kolaylaştırır.

Adım adım AI gateway kurulumu

1. Envanter çıkarın. Hangi uygulamanın hangi modeli, hangi anahtarla ve hangi veriyle kullandığını listeleyin.
2. Veri sınıflarını tanımlayın. Kişisel veriler (kimlik numarası, telefon, IBAN), sırlar (API anahtarı, şifre) ve kuruma özgü gizli alanlar (müşteri listesi, proje kodları) ayrı sınıflar olarak yazılmalı.
3. Her sınıf için işlemi belirleyin. İzin, maskeleme, yerel model veya engelleme. Bulut modellerine hangi koşulda izin verildiğini açıkça yazın.
4. Model listesini ve yönlendirme kurallarını yazın. Hangi model hangi iş için kullanılacak, bir model yanıt vermezse ne olacak?
5. Uygulamaları tek uç noktaya taşıyın. OpenAI uyumlu istemcilerde çoğunlukla yalnızca temel adres ve model adı değişir.
6. Gerçek örneklerle test edin. Test istekleriyle hangi verinin dışarı gittiğini ve hangi kuralın uygulandığını kontrol edin. Kaçırılan alanları ve yanlış alarmları ayrı ayrı sayın.
7. Ölçün. İsteklerin doğru modele gidip gitmediğini, başarılı istek oranını ve gateway’in eklediği süreyi izleyin.
8. Kayıt politikasını belirleyin. Karar kayıtlarının ne kadar süre tutulacağını ve kimin görebileceğini yazın.

Dikkat edilmesi gerekenler

• Tespit hiçbir zaman kusursuz değildir. Belirli bir biçimi olan alanlar (kimlik numarası, IBAN) ile bağlama bağlı bilgiler (bir projenin adı) aynı kolaylıkta yakalanmaz. Kuruma özgü tespit kuralları ekleyebilmeli ve bunları kendi örneklerinizle test etmelisiniz.
• Arıza davranışını önceden seçin. Tarama servisi çalışmazsa istek ne olacak? İsteğin taranmadan buluta gitmesi (fail-open) en riskli seçenektir.
• Kayıtlar da veridir. Ham istemleri kaydetmek hata ayıklamayı kolaylaştırır ama gateway’i hassas verinin biriktiği bir yere dönüştürür. Daha güvenli varsayılan, yalnızca karar bilgisini saklamaktır.
• Gateway yalnızca model çağrılarını görür. Bir ajanın araçlarla eriştiği veritabanları ve dosyalar ayrıca yetkilendirilmelidir.
• Gecikmeyi ölçün. Tarama ve yönlendirme her isteğe süre ekler; bunu gerçek iş yüküyle ölçün.
• Açık kaynak seçenekler de vardır. LiteLLM gibi OpenAI uyumlu proxy projeleri model yönlendirme için yaygın olarak kullanılır; veri kurallarını ne ölçüde desteklediklerini kendi senaryolarınızla değerlendirin.

Gateway, KVKK kapsamında aldığınız kararları teknik olarak uygulamanıza yardım eder; hangi verinin hangi koşulda işlenebileceği ise hukuki bir değerlendirmedir. Ayrıntılar için KVKK ve yapay zekâ rehberine bakabilirsiniz. Bu metin hukuki danışmanlık değildir; kendi durumunuz için bir hukukçuya danışın.

ALTAI’de nasıl yapıyoruz

ALTAI’nin AI gateway’i Yada. Yada’yı model bağlantılarını ve veri kurallarını uygulama kodundan ayrı yönetmek için geliştiriyoruz; müşteri projelerinde de aynı yazılımı kullanıyor, kuruma özgü kuralları ve model bağlantılarını ekliyoruz.

• Bağlantı: Uygulamalar OpenAI uyumlu API’ye tek bir model adıyla bağlanır; modeli Yada’daki kural seçer.
• Modeller: Yerel tarafta Ollama ve OpenAI uyumlu sunucular, bulut tarafında Gemini, OpenAI ve Anthropic.
• Veri kuralları: Tespit edilen kişisel bilgiler ve sırlar (TCKN, anahtar, şifre) için izin verme, maskeleme, yerel modele gönderme veya engelleme kuralları tanımlanır. Kuruma özgü alanlar için tespit kuralları eklenebilir. Maskelenen alanın yerine model yalnızca yer tutucuyu görür; kurala uymayan istek modele hiç ulaşmaz.
• Kayıt: İsteğe hangi kuralın uygulandığı, hangi modelin seçildiği ve taramanın sonucu görülebilir. Ham istemler varsayılan olarak kaydedilmez.
• Arıza durumu: Tarama çalışmazsa istek yerel modelde kalır.

Yada sayfasındaki örnekte iki istek gelir. İlki, Ayşe Demir’in sözleşmesinin TC kimlik numarasıyla birlikte özetlenmesini ister; ad ve numara maskelenir, istek geçer. İkincisi müşteri listesini dış bir API’ye göndermek ister ve engellenir. İki karar da kaydedilir.

Projelerde kullandığınız modelleri Yada’ya bağlıyor, veri kurallarınızı ekliyor ve mevcut uygulamalarınızla bağlantısını kuruyoruz. isanagent ile geliştirilen bir ajanın model çağrıları da Yada üzerinden yönlendirilebilir; araçların veri erişimini ayrıca kontrol ediyoruz. Birlikte ölçtüklerimiz: isteğin doğru modele yönlendirilmesi, hassas alanların tespiti ve uygulanan işlem, başarılı istek oranı ve yönlendirmeden kaynaklanan ek süre. Kurulumu konuşmak için bize yazın.

Sık sorulan sorular

AI gateway ile API gateway arasındaki fark nedir?

API gateway, genel HTTP trafiğinde kimlik doğrulama, hız sınırlama ve yönlendirme gibi işleri yapar; isteğin içeriğiyle genellikle ilgilenmez. AI gateway ise model isteğinin içeriğini okur ve hangi modelin seçileceğine, hassas verinin maskelenmesine veya isteğin engellenmesine bu içeriğe göre karar verir. İkisi aynı mimaride birlikte kullanılabilir.

AI gateway kullanmak için uygulamaları yeniden yazmak gerekir mi?

Gateway OpenAI uyumlu bir API sunuyorsa çoğunlukla gerekmez; uygulamanın bağlandığı temel adres ve model adı değişir. Yada da OpenAI uyumlu API ve tek model adıyla çalışır. Farklı bir istemci kütüphanesi kullanan uygulamalarda küçük bir uyarlama gerekebilir.

Maskeleme yanıtın kalitesini düşürür mü?

Model maskelenen değeri görmez, yalnızca yer tutucuyu görür. Görev asıl değere ihtiyaç duymuyorsa (örneğin bir sözleşmeyi özetlemek) yer tutucu çoğu zaman yeterlidir. Değerin kendisi gerekiyorsa istek maskelenmek yerine yerel modelde işlenmelidir; etkisini kendi örneklerinizle ölçün.

AI gateway KVKK uyumunu tek başına sağlar mı?

Hayır. Gateway, hangi verinin hangi modele gidebileceğine dair kuralları teknik olarak uygular ve kararları kaydeder. Aydınlatma, açık rıza veya yurt dışına aktarım gibi konular hukuki değerlendirme gerektirir; bunlar için bir hukukçuya danışın.

Yerel ve bulut modelleri aynı gateway üzerinden kullanılabilir mi?

Evet, gateway’in temel işlevlerinden biri budur. Yada’da yerel tarafta Ollama ve OpenAI uyumlu sunucular, bulut tarafında Gemini, OpenAI ve Anthropic kullanılabilir; hangi isteğin nereye gideceğini kural belirler. Yerel model kurulumu için yerel LLM kurulumu rehberine bakabilirsiniz.

Gateway ham istemleri kaydetmeli mi?

Ham istem kaydı hata ayıklamayı kolaylaştırır, fakat kayıt sistemini hassas verinin biriktiği bir yere dönüştürür. Daha güvenli varsayılan, kuralı, modeli ve tarama sonucunu kaydedip ham istemi saklamamaktır. Yada’da ham istemler varsayılan olarak kaydedilmez.