Ölçeklenebilir, Uygun Maliyetli Yapay Zeka Çıkarımı için RunPod'dan Yararlanmak

RunPod'u GPU hesaplama katmanı olarak benimsedik, talep üzerine ve spot GPU örneklerini kullanarak AI çıkarım iş yüklerini geleneksel bulut GPU maliyetlerinin çok altında çalıştırdık ve soğuk başlatmaları en aza indirmek için sıcak örnek (warm-instance) mimarisi kullandık.

Mimari

• Hesaplama: Çıkarım iş yükleri için RunPod GPU pod'ları, iş yüküne göre seçilen GPU katmanı ile
• Orkestrasyon: Birincil buluttaki FastAPI orkestratörü RunPod pod'larını yönetiyor
• Ağ İletişimi: Birincil altyapı ile RunPod örnekleri arasında güvenli tüneller
• Model Depolama: Hızlı başlatma için modellerin içine yerleştirildiği önceden oluşturulmuş Docker imajları
• İzleme: Pod kullanılabilirliği için sağlık kontrolleri ve otomatik yeniden başlatma

Altyapı Tasarımı

Pod Yapılandırması

• GPU Seçimi: İş yüküne göre seçilen uygun maliyetli GPU katmanları, eşdeğer büyük bulut sağlayıcısı GPU örneklerine kıyasla %85-90 civarında maliyet tasarrufu sağlandı
• Docker Şablonları: Çıkarım için önceden yüklenmiş AI modelleri içeren özel konteynerler
• Kalıcı Depolama: Model ağırlıkları ve yapılandırma dosyaları için ağ birimleri
• Ortam Değişkenleri: Akış uç noktaları, API anahtarları ve özellik işaretleri için dinamik yapılandırma

Sıcak Örnek Stratejisi

İstek başına pod'ları soğuk başlatmak yerine, operasyonel saatlerde sıcak örnekleri koruduk:

1. Zamanlanmış Ölçeklendirme — Yoğun saatlerden önce başlatılan, mesai dışı saatlerde durdurulan pod'lar
2. Önceden Yüklenmiş Modeller — Konteyner başlatıldığında yüklenen, anında hazır çıkarım motorları
3. Sağlık Yoklamaları — Orkestratör, hazır olup olmadıklarını doğrulamak için RunPod pod'larını düzenli olarak izler
4. Otomatik Kurtarma — Sağlıksız pod'lar RunPod API aracılığıyla otomatik olarak değiştirilir

Çapraz Bulut İletişimi

• Birincil Bulut: API sunucuları, veritabanları, kayıt çalışanları
• GPU Bulutu (RunPod): AI çıkarımı, nesne tespiti, takip
• Veri Akışı: Video kareleri çıkarım için birincil buluttan RunPod'a gönderilir; tespit sonuçları WebSocket aracılığıyla geri döndürülür
• Zaman Damgası Senkronizasyonu: Bulutlar arasındaki saat kaymasını gidermek için PTS tabanlı senkronizasyon

Maliyet Optimizasyonu

RunPod'un fiyatlandırma modeli, büyük bulut sağlayıcılarının eşdeğer GPU örneklerine kıyasla önemli tasarruflar sağladı:

• Talep Üzerine (On-Demand): Saatlik GPU hesaplama maliyetinde yaklaşık %85-90 azalma
• Spot Fiyatlandırma: Topluluk bulutunda kritik olmayan toplu işlemler için ek %50 tasarruf
• Zamanlanmış Kapatma: Operasyonel saatlere dayalı otomatik durdurma/başlatma maliyetleri daha da düşürür
• Doğru Boyutlandırma: Aşırı kaynak ayırmak yerine, gerçek VRAM ihtiyaçlarına uygun GPU katmanı seçimi
• Çoklu Pod Dağıtımı: Tek bir büyük örnek yerine akışları daha küçük, daha ucuz GPU'lar arasında dağıtma

Dağıtım İş Akışı

1. Oluşturma (Build) — Tüm modeller, bağımlılıklar ve uygulama kodu ile Docker imajı
2. Yükleme (Push) — İmaj, konteyner kayıt defterine yüklenir
3. Dağıtma (Deploy) — RunPod API, belirtilen GPU, imaj ve birim bağlamaları ile pod oluşturur
4. Yapılandırma (Configure) — Belirli dağıtım için ortam değişkenleri ayarlanır
5. İzleme (Monitor) — Orkestratör, pod sağlığını doğrular ve çıkarım isteklerini yönlendirmeye başlar
6. Ölçeklendirme (Scale) — Yük arttığında API aracılığıyla ek pod'lar başlatılır

Temel Özellikler

1. Önemli Maliyet Azaltma — Eşdeğer büyük bulut GPU örneklerine kıyasla %85-90 tasarruf
2. Önceden Oluşturulmuş Konteynerler — 30 saniyenin altında başlatma için Docker imajlarına yerleştirilmiş modeller
3. API Destekli Ölçeklendirme — Talebe dayalı programatik pod oluşturma/yok etme
4. Çoklu GPU Desteği — İş yükü gereksinimlerine bağlı olarak birden fazla GPU katmanı mevcut
5. Spot Örnek Geri Dönüşü — Kritik olmayan iş yükleri indirimli topluluk bulutunda çalışır
6. Çapraz Bulut Mimari — GPU hesaplama birincil altyapıdan ayrılmıştır