AI-stemmeassistent i realtid med funktionskald & tovejs lydstreaming

Vi byggede en AI-stemmeassistent i realtid drevet af Googles Gemini Live API med native lydfunktioner, brugerdefinerede funktionskald til domænespecifikke beregninger og et React frontend med WebSocket-baseret lydstreaming.

Arkitektur

• AI Model: Gemini med native lydinput/output og funktionskald
• Backend: Python/FastAPI med WebSocket-endpoint til tovejs lyd
• Lydpipeline: PyAudio til mikrofon-/højttaler-I/O med realtidsstreaming
• Frontend: React med Vite og Tailwind CSS til brugergrænseflade for sessionskontrol
• Kommunikation: WebSocket til JSON-beskeder med lav latency og binær lydtransport
• Multimodal: Valgfri kamera- og skærmoptagelse for visuel kontekst

Realtids-lydpipeline

Tovejs streaming

Systemet opretholder kontinuerlige lydstreams i begge retninger:

• Input: Mikrofonlyd optaget ved 16kHz mono, opdelt i små rammer og streamet til AI-modellen i realtid
• Output: AI-genereret tale modtaget ved 24kHz og afspillet øjeblikkeligt via højttalere
• Ingen batching: Lydklumper sendes, som de optages — ingen akkumuleringsforsinkelser
• Afbrydelseshåndtering: Brugeren kan afbryde assistenten midt i svaret på en naturlig måde

Lydbehandling

• 16-bit PCM-format for både input og output
• Separate samplingsfrekvenser optimeret til tale (16kHz optagelse, 24kHz afspilning)
• Små bufferstørrelser for minimal latency
• Kontinuerlig streaming uden start-/stop-huller mellem ture

Funktionskaldsintegration

Sådan fungerer det

AI-modellen kan kalde lokale Python-funktioner midt i samtalen, når der er brug for domænespecifikke beregninger:

1. Brugeren fremsætter en anmodning (f.eks. "Jeg har misset frokost i dag")
2. AI-modellen transskriberer og forstår intentionen
3. Modellen bestemmer, at et funktionskald er nødvendigt, og sender en struktureret anmodning
4. Backend udtrækker funktionsnavn, argumenter og kalds-ID
5. Lokal funktion udfører domæneberegningen
6. Resultatet sendes tilbage til modellen som et struktureret svar
7. Modellen genererer et naturligt sprogligt stemmesvar, der inkorporerer resultatet

Domænefunktioner

Systemet understøtter ernæringsfokuserede funktionskald til scenarier som:

• Glemte måltider — Omfordeler glemte makronæringsstoffer over de resterende måltider
• Uplanlagt mad — Justerer kommende måltider for at kompensere for uventet indtag
• Måltidsudskiftninger — Udveksler ingredienser, mens makromål bevares
• Aktivitetssporing — Anslår kalorieforbrænding og justerer ernæringsbufferen

Hver funktion bruger en makrodatabase med ernæringsprofiler pr. fødevare og udfører dynamiske beregninger med en smule stokastisk variation for naturligt følende svar.

Udførelsessikkerhed

• Mikrofoninput pauses under funktionsudførelse for at forhindre overlap
• Afventende lydrammer droppes for at undgå forældet kontekst
• Fejlsvar sendes pænt tilbage, hvis funktionsudførelsen mislykkes
• Normal streaming genoptages umiddelbart efter funktionsfuldførelse

Backend-arkitektur

FastAPI WebSocket-server

• Enkelt WebSocket-endpoint for al klientkommunikation
• Sessionslivscyklusstyring (start, stop, ping/pong sundhedstjek)
• Én aktiv session ad gangen med sessionslåsning
• CORS middleware til udviklingsmiljøer
• Health check-endpoint til overvågning

Sessionsstyring

• Sessioner oprettes ved klientforbindelse med valg af tilstand (kun lyd, kamera eller skærm)
• Asynkrone baggrundsopgaver håndterer lydoptagelse, -behandling og -afspilning samtidigt
• Elegant frakobling med ressourceoprydning
• API-nøglevalidering og fejludbredelse

Multimodal input (valgfrit)

Udover stemme understøtter systemet valgfri visuel kontekst:

• Kameratilstand — Streamer webcam-rammer (1fps) for visuel kontekst i samtaler
• Skærmtilstand — Optager skærmindhold til diskussion af information på skærmen
• Billeder ændres størrelse og komprimeres før transmission
• Visuel kontekst forbedrer AI's evne til at give relevante svar

Frontend-grænseflade

• Sessionskontrol — Start/stop lytning med tydelige statusindikatorer
• Statusvisning — Realtidsforbindelse og sessionsstatus (inaktiv, forbinder, aktiv, fejl)
• Temasupport — Lys/mørk tilstand med persistens
• Guidet gennemgang — Trin-for-trin demo for førstegangsbrugere
• WebSocket-styring — Automatisk genforbindelseslogik

AI-modelkonfiguration

• Native lydmodalitet (ingen separat STT/TTS pipeline)
• Konfigurerbart stemmevalg fra flere forudindstillede stemmer
• Systeminstruktioner, der definerer assistentens personlighed, svarstil og sproghåndtering
• Værktøjsdefinitioner for alle tilgængelige funktioner med parametreskemaer
• Automatisk sprogdetektion med svar på samme sprog

Nøglefunktioner

1. Forsinkelse på under ét sekund — Native lydmodel eliminerer STT/TTS pipeline-overhead
2. Realtids tovejs lyd — Kontinuerlig streaming med < 50 ms latency pr. lydklump
3. Funktionskald — Domænespecifikke beregninger udført midt i samtalen
4. Naturlig afbrydelse — Brugere kan afbryde assistenten naturligt uden særlige kommandoer
5. Multi-sprog — Automatisk sprogdetektion med svar på samme sprog
6. Multimodal input — Valgfri kamera- og skærmkontekst for visuel forståelse
7. Sessionsstyring — Sessionslivscykluskontrol med låsning og ressourceoprydning
8. Makroberegninger — Dynamiske ernæringsjusteringer med makroprofiler pr. fødevare
9. Fejlhåndtering — Elegant håndtering af funktionsfejl og netværksafbrydelser
10. Udvidelsesbar — Nye funktioner tilføjes ved at definere skema og handler — ingen arkitekturændringer