Auto-Scaling RTSP Streaming-Architektur mit Dual-Orchestratoren & Null Paketverlust

Wir entwarfen eine Dual-Orchestrator Auto-Scaling Streaming-Architektur mit separaten Aufnahme- und Verteilungsclustern, einem 5-Phasen-Gleitenden Herunterfahren für Null Paketverlust, stabilen DNS-basierten URLs und automatisierter AI-Arbeiter-Wiederverbindung.

Architektur

• Streaming-Server: MediaMTX für RTSP/WebRTC/HLS-Protokollunterstützung
• Aufnahme-Cluster: 1-10 Server, die Kamera-RTSP-Streams empfangen
• Verteilungs-Cluster: 2-20 Server, die Zuschauer (WebRTC/HLS) und AI-Arbeiter (RTSP) bedienen
• Dual-Orchestratoren: Unabhängige Skalierungscontroller für Aufnahme und Verteilung
• Load Balancer: Separate Load Balancer pro Cluster mit protokollgerechten Algorithmen
• Service-Registry: Redis für Serverstatus, Stream-Zuordnungen und Koordination
• Gesundheitsüberwachung: Aktive Gesundheitsprüfungen mit automatisierter Wiederherstellung
• DNS-Schicht: Stabile Domain-Namen, die auf Load Balancer verweisen (URLs ändern sich nie)

Dual-Orchestrator-Design

Warum zwei Orchestratoren

Aufnahme und Verteilung haben grundlegend unterschiedliche Skalierungscharakteristika:

• Aufnahme skaliert mit der Anzahl der Kameras und der eingehenden Bandbreite (vorhersehbar, wächst stetig)
• Verteilung skaliert mit der Anzahl der Zuschauer und der Nachfrage der AI-Arbeiter (stoßweise, unvorhersehbar)

Separate Orchestratoren ermöglichen es jedem, unabhängig mit spezialisierten Richtlinien, Metriken und Schwellenwerten zu skalieren — ohne dass die Skalierungsentscheidungen eines Clusters den anderen beeinflussen.

Aufnahme-Orchestrator

• Primäre Metrik: Kameraverbindungen pro Server
• Sekundäre Metrik: Nutzung der eingehenden Bandbreite
• Skalierung nach oben: Wenn die CPU den Schwellenwert überschreitet oder die Kameras pro Server die Kapazität überschreiten
• Skalierung nach unten: Wenn die Nutzung unter den Schwellenwert für eine anhaltende Stabilisierungsperiode fällt
• Serverbereich: 1 bis 10 Server

Verteilungs-Orchestrator

• Primäre Metrik: Zuschauer- und AI-Arbeiter-Verbindungen pro Server
• Sekundäre Metrik: Nutzung der ausgehenden Bandbreite
• Skalierung nach oben: Wenn die CPU den Schwellenwert überschreitet oder die Verbindungen pro Server die Kapazität überschreiten
• Skalierung nach unten: Wenn die Nutzung unter den Schwellenwert für eine anhaltende Periode fällt (längere Stabilisierung als bei der Aufnahme)
• Serverbereich: 2 bis 20 Server (mindestens 2 für hohe Verfügbarkeit)

Null Paketverlust: 5-Phasen-Gleitendes Herunterfahren

Wenn ein Verteilungsserver zur Entfernung geplant ist, stellt ein 5-Phasen-Prozess sicher, dass keine Frames verloren gehen:

Phase 1: Vorankündigung

Server wird als "DRAINING" in der Service-Registry markiert. Load Balancer-Gewicht wird reduziert, damit neue Verbindungen anderswohin geleitet werden. Redis Pub/Sub-Benachrichtigungen und Webhooks alarmieren AI-Arbeiter, sich auf die Migration vorzubereiten.

Phase 2: Load Balancer-Update

Server wird aus dem Load Balancer-Backend-Pool entfernt. Keine neuen Verbindungen können den drainenden Server erreichen. Bestehende Verbindungen bleiben ununterbrochen.

Phase 3: AI-Arbeiter-Migration

AI-Arbeiter trennen sich vom drainenden Server und verbinden sich mit gesunden Verteilungsservern. Checkpoint-basierte Zustandserhaltung stellt sicher, dass die Verarbeitung genau von dem Frame fortgesetzt wird, an dem sie aufgehört hat. Gesamtlücke: ungefähr 3 Sekunden mit null verlorenen Frames.

Phase 4: Zuschauer-Entleerung

Verbleibende Zuschauerverbindungen entleeren sich natürlich über ein konfigurierbares Fenster. Moderne Videoplayer verbinden sich automatisch mit derselben stabilen URL, die zu gesunden Servern führt. Die meisten Zuschauer erleben keine Unterbrechung.

Phase 5: Bereinigung

Überprüfen, dass alle Verbindungen geschlossen sind. Server aus der Service-Registry entfernen. Cloud-Instanz zerstören. Skalierungsmesswerte aufzeichnen.

Stabile URLs

Die URL-Architektur stellt sicher, dass Kameras und Clients nie neu konfiguriert werden müssen:

• Kamera-Veröffentlichungsziel: Ein stabiler Aufnahme-Domain-Name
• Zuschauer/AI-Zugriffs-Ziel: Ein stabiler Verteilungs-Domain-Name
• DNS-Einträge verweisen auf Load Balancer-IPs (die dauerhaft sind)
• Load Balancer übernehmen die transparente Weiterleitung zu Backend-Servern
• Backend-Server können hinzugefügt, entfernt oder ersetzt werden, ohne dass sich die URLs ändern

Service-Registry (Redis)

Eine zentrale Redis-Instanz koordiniert das gesamte System:

• Serverstatus-Tracking (aktiv, drainend, offline)
• Stream-zu-Server-Zuordnung (welche Kamera auf welchem Aufnahme-Server ist)
• AI-Arbeiter-Zustand und Checkpoint-Daten
• Lastmetriken pro Server für Skalierungsentscheidungen
• Pub/Sub-Kanäle für Echtzeit-Koordinationsereignisse

AI-Client-Wiederverbindung

Eine AI-Client-Bibliothek bietet nahtlose Wiederverbindung:

• Hört auf Serverentfernungsbenachrichtigungen über Redis Pub/Sub
• Automatische Frame-Checkpoint-Erstellung in regelmäßigen Abständen
• Wiederverbindung zu einem gesunden Verteilungsserver bei Benachrichtigung
• Fortsetzung der Verarbeitung vom Checkpoint mit minimaler Lücke
• Metrikberichterstattung für Wiederverbindungsereignisse

Gesundheitsüberwachung

• Aktive Gesundheitsprüfungen auf jedem Server in regelmäßigen Abständen
• Automatische Load Balancer-Updates bei Serverausfällen
• Auto-Wiederherstellungsauslöser für nicht reagierende Server
• Betriebszeit-Tracking und Verfügbarkeitsberichte

Hauptmerkmale

1. Dual-Orchestratoren — Unabhängige Skalierung für Aufnahme- und Verteilungscluster
2. Null Paketverlust — 5-Phasen-Gleitendes Herunterfahren mit AI-Arbeiter-Migration
3. Stabile URLs — DNS-basierte Weiterleitung stellt sicher, dass sich URLs während der Skalierung nie ändern
4. AI-Arbeiter-Wiederverbindung — Checkpoint-basierte Migration mit ~3 Sekunden Lücke und null Frameverlust
5. Unabhängige Skalierung — Aufnahme und Verteilung skalieren basierend auf ihren eigenen Metriken
6. Service-Registry — Redis-basierte Koordination für Serverstatus und Stream-Zuordnungen
7. Gesundheitsüberwachung — Aktive Prüfungen mit automatischer Wiederherstellung
8. Kostenoptimierung — Automatische Skalierung nach unten während Zeiten geringer Nachfrage