Utiliser RunPod pour une inférence d'AI évolutive et rentable

Nous avons adopté RunPod comme couche de calcul GPU, en utilisant leurs instances GPU à la demande et spot pour exécuter les charges de travail d'inférence d'AI à une fraction des coûts traditionnels des GPU cloud, avec une architecture d'instances "chaudes" pour minimiser les démarrages à froid.

Architecture

• Calcul : Pods GPU RunPod pour les charges de travail d'inférence, avec un niveau de GPU sélectionné par charge de travail
• Orchestration : Orchestrateur FastAPI sur le cloud principal gérant les pods RunPod
• Réseautage : Tunnels sécurisés entre l'infrastructure principale et les instances RunPod
• Stockage de Modèles : Images Docker pré-construites avec modèles intégrés pour un démarrage rapide
• Surveillance : Vérifications de l'état de santé et redémarrage automatique pour la disponibilité des pods

Conception de l'Infrastructure

Configuration des Pods

• Sélection de GPU : Niveaux de GPU rentables sélectionnés par charge de travail, réalisant ~85-90% d'économies par rapport aux instances GPU équivalentes des principaux fournisseurs de cloud
• Modèles Docker : Conteneurs personnalisés avec des modèles d'AI préchargés pour l'inférence
• Stockage Persistant : Volumes réseau pour les poids des modèles et les fichiers de configuration
• Variables d'Environnement : Configuration dynamique pour les points d'accès des flux, les clés API et les indicateurs de fonctionnalités

Stratégie d'Instance Chaude

Au lieu de démarrer à froid des pods par requête, nous maintenons des instances "chaudes" pendant les heures d'exploitation :

1. Mise à l'échelle Planifiée — Les pods sont démarrés avant les heures de pointe, arrêtés pendant les heures creuses
2. Modèles Préchargés — Les moteurs d'inférence sont chargés au démarrage du conteneur, prêts immédiatement
3. Sondes de Santé — L'orchestrateur surveille régulièrement les pods RunPod pour vérifier leur état de préparation
4. Récupération Automatique — Les pods non sains sont automatiquement remplacés via l'API RunPod

Communication Inter-Cloud

• Cloud Principal : Serveurs API, bases de données, processus d'enregistrement
• Cloud GPU (RunPod) : Inférence d'AI, détection d'objets, suivi
• Flux de Données : Les images vidéo sont envoyées du cloud principal à RunPod pour l'inférence ; les résultats de détection sont renvoyés via WebSocket
• Synchronisation des Horodatages : Synchronisation basée sur PTS pour gérer le décalage horaire entre les clouds

Optimisation des Coûts

Le modèle de tarification de RunPod a permis des économies significatives par rapport aux instances GPU équivalentes des principaux fournisseurs de cloud :

• À la Demande : Réduction de ~85-90% du coût horaire de calcul GPU
• Tarification Spot : 50% d'économies supplémentaires pour le traitement par lots non critique sur le cloud communautaire
• Arrêt Planifié : L'arrêt/démarrage automatisé basé sur les heures d'exploitation réduit davantage les coûts
• Dimensionnement Optimal : Sélectionner le niveau de GPU correspondant aux besoins réels en VRAM plutôt que le sur-provisionnement
• Distribution Multi-Pod : Répartir les flux sur des GPU plus petits et moins chers au lieu d'une seule grande instance

Flux de Travail de Déploiement

1. Construction — Image Docker avec tous les modèles, dépendances et code applicatif
2. Envoyer — L'image est envoyée vers un registre de conteneurs
3. Déploiement — L'API RunPod crée un pod avec le GPU, l'image et les montages de volume spécifiés
4. Configuration — Les variables d'environnement sont définies pour le déploiement spécifique
5. Surveillance — L'orchestrateur vérifie l'état de santé du pod et commence à router les requêtes d'inférence
6. Mise à l'échelle — Des pods supplémentaires sont lancés via l'API lorsque la charge augmente

Caractéristiques Clés

1. Réduction Significative des Coûts — 85-90% d'économies par rapport aux instances GPU équivalentes des principaux clouds
2. Conteneurs Pré-Construits — Modèles intégrés dans les images Docker pour un démarrage en moins de 30 secondes
3. Mise à l'échelle via API — Création/destruction de pods programmatique basée sur la demande
4. Prise en Charge Multi-GPU — Plusieurs niveaux de GPU disponibles en fonction des exigences de la charge de travail
5. Repli sur Instances Spot — Les charges de travail non critiques s'exécutent sur un cloud communautaire à prix réduit
6. Architecture Inter-Cloud — Le calcul GPU est découplé de l'infrastructure principale