Використання RunPod для масштабованого, економічно ефективного висновку AI

Ми застосували RunPod як шар GPU обчислень, використовуючи їхні GPU екземпляри за запитом та спотові для виконання робочих навантажень висновку AI за частку від традиційних витрат на хмарні GPU, з архітектурою "теплих" екземплярів для мінімізації холодних стартів.

Архітектура

• Обчислення: GPU поди RunPod для робочих навантажень висновку, з вибором рівня GPU для кожного навантаження
• Оркестрація: Оркестратор FastAPI у основній хмарі, що керує подами RunPod
• Мережа: Безпечні тунелі між основною інфраструктурою та екземплярами RunPod
• Зберігання моделей: Попередньо зібрані образи Docker з моделями, інтегрованими для швидкого запуску
• Моніторинг: Перевірки стану та автоперезапуск для доступності подів

Проектування інфраструктури

Конфігурація подів

• Вибір GPU: Економічно ефективні рівні GPU, вибрані для кожного робочого навантаження, що забезпечує економію коштів приблизно 85-90% порівняно з еквівалентними GPU екземплярами від великих хмарних провайдерів
• Шаблони Docker: Користувацькі контейнери з попередньо завантаженими моделями AI для висновку
• Постійне сховище: Мережеві томи для ваг моделей та файлів конфігурації
• Змінні середовища: Динамічна конфігурація для кінцевих точок потоків, ключів API та прапорців функцій

Стратегія "теплих" екземплярів

Замість холодного запуску подів за запитом, ми підтримуємо "теплі" екземпляри протягом робочих годин:

1. Заплановане масштабування — Поди запускаються перед піковими годинами, зупиняються в неробочий час
2. Попередньо завантажені моделі — Механізми висновку завантажуються під час запуску контейнера, готові негайно
3. Перевірки стану — Оркестратор регулярно моніторить поди RunPod для перевірки готовності
4. Автоматичне відновлення — Несправні поди автоматично замінюються через RunPod API

Міжхмарна комунікація

• Основна хмара: API сервери, бази даних, робітники запису
• GPU хмара (RunPod): Висновок AI, виявлення об'єктів, відстеження
• Потік даних: Відеокадри надсилаються з основної хмари до RunPod для висновку; результати виявлення повертаються через WebSocket
• Синхронізація міток часу: Синхронізація на основі PTS для обробки розбіжності часу між хмарами

Оптимізація витрат

Модель ціноутворення RunPod забезпечила значну економію порівняно з еквівалентними GPU екземплярами від великих хмарних провайдерів:

• За запитом: Зниження погодинної вартості GPU обчислень на ~85-90%
• Спотові ціни: Додаткова 50% економія для некритичної пакетної обробки у спільнотній хмарі
• Заплановане вимкнення: Автоматичне зупинення/запуск на основі робочих годин додатково знижує витрати
• Оптимальний розмір: Вибір рівня GPU, що відповідає фактичним потребам VRAM, а не надмірне забезпечення
• Розподіл між кількома подами: Розподіл потоків між меншими, дешевшими GPU замість одного великого екземпляра

Робочий процес розгортання

1. Збірка — Образ Docker з усіма моделями, залежностями та кодом програми
2. Відправка — Образ завантажується до реєстру контейнерів
3. Розгортання — RunPod API створює под із зазначеним GPU, образом та монтуваннями томів
4. Конфігурація — Змінні середовища встановлюються для конкретного розгортання
5. Моніторинг — Оркестратор перевіряє стан пода та починає маршрутизацію запитів висновку
6. Масштабування — Додаткові поди запускаються через API при збільшенні навантаження

Ключові особливості

1. Значне зниження витрат — Економія 85-90% порівняно з еквівалентними GPU екземплярами великих хмарних провайдерів
2. Попередньо зібрані контейнери — Моделі інтегровані в образи Docker для запуску менш ніж за 30 секунд
3. Масштабування на основі API — Програмне створення/знищення подів залежно від попиту
4. Підтримка кількох GPU — Доступні кілька рівнів GPU залежно від вимог до робочого навантаження
5. Відкат до спотових екземплярів — Некритичні робочі навантаження виконуються у дисконтній спільнотній хмарі
6. Міжхмарна архітектура — GPU обчислення відокремлені від основної інфраструктури