AI/ML 파이프라인 아키텍처

MicrocosmWorks는 MLflow 또는 Weights & Biases와 같은 도구를 사용하여 모든 모델 버전을 학습 데이터 스냅샷, 하이퍼파라미터 및 평가 지표와 함께 추적하는 모델 레지스트리 패턴을 구현합니다. 당사의 배포 파이프라인은 새로운 모델이 적은 비율의 트래픽에 서비스를 제공하는 동안 핵심 성과 지표를 모니터링하며, 정확도나 지연 시간이 정의된 임계값을 초과하여 저하될 경우 자동 롤백 트리거가 작동하는 카나리 릴리스를 지원합니다. 이는 성능이 저조한 모델이 통제된 비율의 사용자 이상에게는 영향을 미치지 않도록 보장합니다.

MicrocosmWorks는 아티팩트 스토어를 통해 연결된 별도의 훈련 및 서빙 인프라를 갖춘 ML 파이프라인을 설계하여, 재훈련 작업이 프로덕션 추론 엔드포인트와 리소스 경쟁 없이 임시 GPU 클러스터에서 실행되도록 합니다. 저희는 데이터 드리프트 감지 또는 고정된 스케줄에 따라 재훈련을 트리거하기 위해 Kubeflow Pipelines 또는 Apache Airflow와 같은 오케스트레이션 도구를 사용하며, 재훈련된 모델이 현재 버전보다 성능이 좋을 경우에만 프로덕션으로 승격시키는 자동화된 유효성 검사 게이트를 활용합니다. 이 아키텍처는 서빙 중단 없이 모델이 지속적으로 개선되도록 보장합니다.

MicrocosmWorks는 특성 분포에 대한 Kolmogorov-Smirnov test와 같은 통계적 테스트 및 실제(ground truth) 레이블이 이용 가능해질 때마다 예측 정확도를 추적하는 성능 모니터링 대시보드를 사용하여 모든 프로덕션 ML 파이프라인에 드리프트 감지 기능을 구축합니다. 드리프트가 구성된 임계값을 초과하면, 저희 파이프라인은 최신 데이터로 재학습을 자동으로 트리거하거나, 드리프트 패턴이 예상치 못한 경우 수동 검토를 위해 팀에 알림을 보냅니다. 이러한 사전 예방적 접근 방식은 하위 비즈니스 지표를 통해 모델 성능 저하가 감지되기 몇 주 전에 이를 포착합니다.

MicrocosmWorks는 시간당 $15~$45로 청구되는 팀과 함께 엔드투엔드 ML 파이프라인을 구축하며, 데이터 복잡성 및 규정 준수 요구사항에 따라 데이터 수집, 피처 엔지니어링, 훈련 오케스트레이션, 모델 레지스트리 및 서빙 인프라를 포함하는 일반적인 프로덕션 파이프라인은 10~20주가 소요됩니다. 저희는 훈련 워크로드에 스팟 인스턴스를 사용하고 실제 추론 수요에 기반한 오토 스케일링으로 서빙 인프라를 적정 규모로 조정하여 비용을 절감합니다. 모든 프로젝트는 전체 구축이 시작되기 전에 상세한 아키텍처 계획과 비용 예측을 산출하는 2주간의 디스커버리 스프린트로 시작됩니다.

MicrocosmWorks는 모든 training run에 대한 code versions, dataset hashes, environment configurations, random seeds, 그리고 hyperparameters를 자동으로 캡처하는 experiment tracking infrastructure를 구축하여, 몇 달 후에도 모든 과거 실험을 완벽하게 reproducible하게 만듭니다. 우리는 pinned dependency versions를 가진 training environments를 containerize하고, DVC (Data Version Control)를 Git과 함께 사용하여 code changes와 동시에 datasets를 version 관리합니다. 이는 한 data scientist의 머신에서는 작동하지만 팀에서는 replicate할 수 없는 결과라는 흔한 문제를 제거합니다.