Архітектура конвеєра AI/ML

MicrocosmWorks реалізує шаблон реєстру моделей, використовуючи інструменти, такі як MLflow або Weights & Biases, який відстежує кожну версію моделі разом із знімком її навчальних даних, гіперпараметрами та метриками оцінки. Наші пайплайни розгортання підтримують канарейкові релізи, де нова модель обслуговує невеликий відсоток трафіку, поки ми відстежуємо ключові показники ефективності, з автоматичними тригерами відкату, якщо точність або затримка знижується нижче визначених порогів. Це гарантує, що модель з низькою продуктивністю ніколи не вплине на більше ніж контрольовану частину ваших користувачів.

MicrocosmWorks розробляє ML пайплайни з окремою інфраструктурою для навчання та обслуговування, з'єднаною через сховище артефактів, тому завдання перенавчання виконуються на тимчасових GPU кластерах, не конкуруючи за ресурси з виробничими кінцевими точками висновків. Ми використовуємо інструменти оркестрації, такі як Kubeflow Pipelines або Apache Airflow, для запуску перенавчання при виявленні дрейфу даних або за фіксованим графіком, з автоматизованими валідаційними шлюзами, які переводять перенавчену модель у виробництво лише, якщо вона перевершує поточну версію. Ця архітектура гарантує безперервне покращення ваших моделей без будь-якого простою в обслуговуванні.

MicrocosmWorks інтегрує виявлення дрейфу в кожен виробничий конвеєр ML, використовуючи статистичні тести, такі як Kolmogorov-Smirnov test для розподілу ознак, та інформаційні панелі моніторингу продуктивності, які відстежують точність прогнозів порівняно з еталонними мітками, щойно вони стають доступними. Коли дрейф перевищує налаштовані пороги, наш конвеєр автоматично запускає перенавчання з використанням найновіших даних або сповіщає команду про необхідність ручного перегляду, якщо шаблон дрейфу є несподіваним. Цей проактивний підхід виявляє деградацію моделі за тижні до того, як її можна було б помітити за допомогою бізнес-метрик наступних етапів.

MicrocosmWorks створює наскрізні ML pipeline з командами, що тарифікуються за ставкою $15-$45/год, а типовий production pipeline, що охоплює прийом даних (data ingestion), розробку ознак (feature engineering), оркестрацію навчання (training orchestration), реєстр моделей (model registry) та інфраструктуру обслуговування (serving infrastructure), займає 10-20 тижнів залежно від складності даних та вимог відповідності. Ми зменшуємо витрати, використовуючи spot instances для робочих навантажень навчання (training workloads) та оптимізуючи розмір інфраструктури обслуговування (serving infrastructure) з auto-scaling на основі фактичного попиту на висновки (inference demand). Кожна співпраця починається з 2-тижневого discovery sprint, який створює детальний архітектурний план та прогноз витрат, перш ніж розпочнеться повне розгортання.

MicrocosmWorks налаштовує інфраструктуру відстеження експериментів, яка автоматично фіксує версії коду, хеші наборів даних, конфігурації середовища, random seeds та гіперпараметри для кожного тренувального запуску, роблячи будь-який минулий експеримент повністю відтворюваним навіть через місяці. Ми контейнеризуємо тренувальні середовища з фіксованими версіями залежностей і використовуємо DVC (Data Version Control) разом з Git для версіонування наборів даних у тандемі зі змінами коду. Це усуває поширену проблему результатів, які працюють на машині одного з data scientists, але не можуть бути відтворені командою.