RunPod Kullanarak Ölçeklenebilir, Maliyet Etkin AI Çıkarımı

Geleneksel bulut GPU maliyetlerinin bir kısmına AI çıkarım iş yüklerini çalıştırmak için GPU hesaplama katmanı olarak RunPod'u benimsedik ve soğuk başlatmaları en aza indirmek için sıcak örnek mimarisi kullandık.

Mimari

• Hesaplama: Çıkarım iş yükleri için RunPod GPU podları, iş yüküne göre GPU seviyesi seçildi
• Orkestrasyon: RunPod podlarını yöneten birincil bulutta FastAPI orkestratörü
• Ağ: Birincil altyapı ile RunPod örnekleri arasında güvenli tüneller
• Model Depolama: Hızlı başlatma için modellerin yerleşik olduğu önceden oluşturulmuş Docker görüntüleri
• İzleme: Pod kullanılabilirliği için sağlık kontrolleri ve otomatik yeniden başlatma

Altyapı Tasarımı

Pod Yapılandırması

• GPU Seçimi: İş yüküne göre seçilen maliyet etkin GPU seviyeleri, büyük bulut sağlayıcılarının eşdeğer GPU örneklerine göre %85-90 maliyet tasarrufu sağladı
• Docker Şablonları: Çıkarım için önceden yüklenmiş AI modellerine sahip özel konteynerler
• Kalıcı Depolama: Model ağırlıkları ve yapılandırma dosyaları için ağ hacimleri
• Ortam Değişkenleri: Akış uç noktaları, API anahtarları ve özellik bayrakları için dinamik yapılandırma

Sıcak Örnek Stratejisi

Her istek için podları soğuk başlatmak yerine, operasyonel saatlerde sıcak örnekler koruyoruz:

1. Zamanlanmış Ölçekleme — Yoğun saatlerden önce podlar başlatılır, yoğun olmayan saatlerde durdurulur
2. Önceden Yüklenmiş Modeller — Konteyner başlatıldığında çıkarım motorları yüklenir, hemen hazır
3. Sağlık Probları — Orkestratör, RunPod podlarını düzenli olarak izleyerek hazır olup olmadığını doğrular
4. Otomatik Kurtarma — Sağlıksız podlar RunPod API aracılığıyla otomatik olarak değiştirilir

Bulutlar Arası İletişim

• Birincil Bulut: API sunucuları, veritabanları, kayıt çalışanları
• GPU Bulutu (RunPod): AI çıkarımı, nesne algılama, izleme
• Veri Akışı: Video kareleri, çıkarım için birincil buluttan RunPod'a gönderilir; algılama sonuçları WebSocket üzerinden geri döner
• Zaman Damgası Senkronizasyonu: Bulutlar arasındaki saat kaymasını yönetmek için PTS tabanlı senkronizasyon

Maliyet Optimizasyonu

RunPod'un fiyatlandırma modeli, büyük bulut sağlayıcılarının eşdeğer GPU örneklerine kıyasla önemli tasarruflar sağladı:

• Talep Üzerine: Saatlik GPU hesaplama maliyetinde %85-90 azalma
• Spot Fiyatlandırma: Topluluk bulutunda kritik olmayan toplu işlem için ek %50 tasarruf
• Zamanlanmış Kapatma: Operasyonel saatlere göre otomatik durdurma/başlatma, maliyetleri daha da azaltır
• Doğru Boyutlandırma: Aşırı tahsis yerine gerçek VRAM ihtiyaçlarına uygun GPU seviyesi seçimi
• Çoklu Pod Dağılımı: Akışlar, tek bir büyük örnek yerine daha küçük, daha ucuz GPU'lar arasında dağıtılır

Dağıtım İş Akışı

1. Oluştur — Tüm modeller, bağımlılıklar ve uygulama kodu ile Docker görüntüsü
2. Gönder — Görüntü, konteyner kaydına gönderilir
3. Dağıt — RunPod API, belirtilen GPU, görüntü ve hacim montajları ile pod oluşturur
4. Yapılandır — Belirli dağıtım için ortam değişkenleri ayarlanır
5. İzle — Orkestratör, pod sağlığını doğrular ve çıkarım isteklerini yönlendirmeye başlar
6. Ölçekle — Yük arttığında API aracılığıyla ek podlar başlatılır

Anahtar Özellikler

1. Önemli Maliyet Azaltımı — Büyük bulut sağlayıcılarının eşdeğer GPU örneklerine kıyasla %85-90 tasarruf
2. Önceden Oluşturulmuş Konteynerler — Modeller, 30 saniyenin altında başlatma için Docker görüntülerine yerleştirilmiştir
3. API Tabanlı Ölçekleme — Talebe göre programatik pod oluşturma/yıkım
4. Çoklu GPU Desteği — İş yükü gereksinimlerine bağlı olarak birden fazla GPU seviyesi mevcut
5. Spot Örnek Yedekleme — Kritik olmayan iş yükleri, indirimli topluluk bulutunda çalışır
6. Bulutlar Arası Mimari — GPU hesaplama, birincil altyapıdan ayrılmıştır