Azure AI'da Maliyet Optimizasyonu: PTU ile Sürdürülebilir Yapay Zeka

SaaS Summit '25'te sahne alan Logosoft Partner Manager'ı Emir Hardal, Türkiye'nin en büyük Azure dağıtıcısı olarak girişimci ekosistemine teknik detaylar yerine doğrudan cüzdana dokunan bir konu getirdi: Azure AI servislerini nasıl daha tasarruflu ve sürdürülebilir kullanırsınız? Kendi yüksek lisans döneminde 67 parametreli bir modeli iki çekirdekli bir makinede eğitmeye çalıştığını hatırlatan Hardal, bugün 42-64 milyar parametreli modellerin konuşulduğu bir dünyada maliyet optimizasyonunun artık bir lüks değil, büyüme stratejisinin parçası olduğunu vurguladı.

11.000'den fazla model, tek katalog: Azure AI Foundry

Hardal'ın paylaştığı rakamlara göre dünyada 53.000'den fazla kuruluş Azure AI ekosistemini kullanıyor ve Azure AI Foundry kataloğunda son sayımda 11.308 model bulunuyor. Bu modellerin çoğu açık kaynak; yani başka yerden indirip de kullanılabilir. Peki Azure'da kullanmanın farkı ne? Hardal'a göre en kritik nokta güvenlik: katalogdaki her model güvenlik testlerinden geçirilerek yayınlanıyor. Yıllardır SQL injection konuşulurken artık kapıda yeni bir saldırı türü var — prompt injection. Saldırganların kötü amaçla ya da kaynaklarınızı sömürmek için yapabileceği bu saldırılara karşı Foundry, hem iç hem dış tehditlere karşı korumalı bir ortam sunuyor.

Doğru model seçimi: küçük model, cache ve Batch API

Konuşmanın en pratik bölümü model seçimiydi. Hardal'ın formülü net: "Bir işi daha küçük bir modelle yapabiliyorsam neden daha fazla para ödeyeceğim bir modelle yapayım?" Her zaman geniş dil modelleriyle çalışmak zorunda değilsiniz; hedefe yönelik küçük dil modelleri ciddi maliyet avantajı sağlıyor. Bunun üzerine iki somut taktik ekledi: input'ları önbelleğe alıp cache'lenmiş halde göndermek daha ucuza geliyor, istekleri tek tek göndermek yerine Batch API ile yığın halinde toplamak ise maliyeti yarı yarıya indirebiliyor. GPT-5 gibi yeni modellerin bile mini ve global sürümleri arasında ciddi fiyat farkları olduğunu, Azure'un cost management ekranıyla istek, çıktı ve kullanım hacminin anlık izlenebildiğini gösterdi.

PTU: 730 dolardan 260 dolara inen fatura

Sunumun asıl odağı, önceden belirlenmiş işlem kapasitesi anlamına gelen PTU (Provisioned Throughput Unit) rezervasyonlarıydı. Hardal'ın verdiği örnekte tükettiğin kadar öde (pay-as-you-go) modelinde 730 dolar tutan bir aylık iş yükü, rezervasyonla bir anda 260 dolara düşüyor. PTU'da satın aldığınız kapasite, kullansanız da kullanmasanız da Azure'da tamamen size ayrılıyor. Bu, Black Friday gibi trafiğin zirve yaptığı dönemlerde kritik: ortak buluttan pay-as-you-go ile giderseniz request timeout'lar ve geçici servis kesintileriyle kötü bir kullanıcı deneyimi yaşatma riskiniz var. Üstelik kapasite esnek — 500 PTU aldınız, deploy ettiğiniz model 300'ünü kullanıyorsa boştaki 200'e ikinci bir model dağıtabilirsiniz; sınırı aşan kullanım ise otomatik olarak pay-as-you-go'dan faturalanıyor. Modellerin böyle hizmet olarak sunulduğu bu yapıda rezervasyon ekranları son kullanıcıya açık olmadığı için Logosoft gibi bir dağıtıcıyla çalışmak gerekiyor.

Sürdürülebilirlik ve sahadan başarı hikayeleri

Hardal, PTU'nun yalnızca maliyet değil sürdürülebilirlik meselesi olduğunun da altını çizdi: atıl kapasite azalıyor, kararlı performans elde ediliyor — ama canlıya geçmeden rezervasyon yapmayı önermiyor. Kapanışta iki halka açık başarı hikayesi paylaştı. AI dönüşümünü ilk sağlayan startup'lardan VavaCars, müşteri taleplerinin %100'ünü yapay zeka botlarıyla karşılıyor, karmaşık problemleri insan temsilciye yükseltiyor ve tüm bu yükü PTU'larla çalıştırıyor. Pegasus Hava Yolları ise FlyBot asistanının yanı sıra 56 farklı yapay zeka uygulamasının tamamını Azure'da barındırıyor ve net promoter skorlarını yükseltiyor. Mesaj net: doğru model, doğru kapasite planlaması ve rezervasyonla yapay zeka hem ucuzluyor hem güvenilirleşiyor.