Asisten AI Suara Real-Time dengan Panggilan Fungsi & Streaming Audio Dua Arah

Kami membangun asisten AI suara real-time yang ditenagai oleh Gemini Live API Google dengan kapabilitas audio asli, panggilan fungsi kustom untuk perhitungan spesifik domain, dan frontend React dengan streaming audio berbasis WebSocket.

Arsitektur

• Model AI: Gemini dengan input/output audio asli dan function calling
• Backend: Python/FastAPI dengan endpoint WebSocket untuk audio dua arah
• Pipeline Audio: PyAudio untuk I/O mikrofon/speaker dengan streaming real-time
• Frontend: React dengan Vite dan Tailwind CSS untuk UI kontrol sesi
• Komunikasi: WebSocket untuk pesan JSON latensi rendah dan transport audio biner
• Multimodal: Penangkapan kamera dan layar opsional untuk konteks visual

Pipeline Audio Real-Time

Streaming Dua Arah

Sistem menjaga aliran audio berkelanjutan di kedua arah:

• Input: Audio mikrofon ditangkap pada 16kHz mono, dipecah menjadi frame kecil, dan di-streaming ke model AI secara real-time
• Output: Ucapan yang dihasilkan AI diterima pada 24kHz dan diputar melalui speaker segera
• Tanpa Batching: Potongan audio dikirim sebagaimana ditangkap — tanpa penundaan akumulasi
• Penanganan Interupsi: Pengguna dapat menginterupsi asisten di tengah respons secara alami

Pemrosesan Audio

• Format PCM 16-bit untuk input dan output
• Laju sampel terpisah yang dioptimalkan untuk ucapan (penangkapan 16kHz, pemutaran 24kHz)
• Ukuran buffer kecil untuk latensi minimal
• Streaming berkelanjutan tanpa celah mulai/berhenti antar giliran

Integrasi Panggilan Fungsi

Cara Kerja

Model AI dapat memanggil fungsi Python lokal di tengah percakapan saat perhitungan spesifik domain diperlukan:

1. Pengguna mengucapkan permintaan (misalnya, "Saya tidak makan siang hari ini")
2. Model AI menyalin dan memahami maksud
3. Model menentukan bahwa panggilan fungsi diperlukan dan mengirimkan permintaan terstruktur
4. Backend mengekstrak nama fungsi, argumen, dan ID panggilan
5. Fungsi lokal mengeksekusi perhitungan domain
6. Hasil dikirim kembali ke model sebagai respons terstruktur
7. Model menghasilkan respons suara bahasa alami yang menggabungkan hasil

Fungsi Domain

Sistem mendukung panggilan fungsi yang berfokus pada nutrisi untuk skenario seperti:

• Melewatkan Makanan — Mendistribusikan ulang makronutrien yang terlewat ke makanan yang tersisa
• Makanan Tak Terencana — Menyesuaikan makanan mendatang untuk mengkompensasi asupan yang tidak terduga
• Substitusi Makanan — Menukar bahan sambil mempertahankan target makro
• Pelacakan Aktivitas — Memperkirakan pembakaran kalori dan menyesuaikan buffer nutrisi

Setiap fungsi menggunakan database makro dengan profil nutrisi per makanan dan melakukan perhitungan dinamis dengan sedikit variasi stokastik untuk respons yang terasa alami.

Keamanan Eksekusi

• Input mikrofon dijeda selama eksekusi fungsi untuk mencegah tumpang tindih
• Frame audio yang tertunda diabaikan untuk menghindari konteks yang kedaluwarsa
• Respons kesalahan dikirim kembali dengan elegan jika eksekusi fungsi gagal
• Streaming normal dilanjutkan segera setelah fungsi selesai

Arsitektur Backend

Server WebSocket FastAPI

• Satu endpoint WebSocket tunggal untuk semua komunikasi klien
• Manajemen siklus hidup sesi (mulai, berhenti, pemeriksaan kesehatan ping/pong)
• Satu sesi aktif pada satu waktu dengan penguncian sesi
• Middleware CORS untuk lingkungan pengembangan
• Endpoint pemeriksaan kesehatan untuk pemantauan

Manajemen Sesi

• Sesi dibuat saat klien terhubung dengan pemilihan mode (hanya audio, kamera, atau layar)
• Tugas async latar belakang menangani penangkapan, pemrosesan, dan pemutaran audio secara bersamaan
• Pemutusan koneksi yang anggun dengan pembersihan sumber daya
• Validasi kunci API dan propagasi kesalahan

Input Multimodal (Opsional)

Selain suara, sistem mendukung konteks visual opsional:

• Mode Kamera — Mengalirkan frame webcam (1fps) untuk konteks visual dalam percakapan
• Mode Layar — Menangkap konten layar untuk mendiskusikan informasi di layar
• Gambar diubah ukurannya dan dikompresi sebelum transmisi
• Konteks visual meningkatkan kemampuan AI untuk memberikan respons yang relevan

Antarmuka Frontend

• Kontrol Sesi — Memulai/menghentikan mendengarkan dengan indikator status yang jelas
• Tampilan Status — Koneksi real-time dan status sesi (idle, connecting, active, error)
• Dukungan Tema — Mode terang/gelap dengan persistensi
• Panduan Terpandu — Demo langkah demi langkah untuk pengguna pertama kali
• Manajemen WebSocket — Logika koneksi ulang otomatis

Konfigurasi Model AI

• Modalitas audio asli (tanpa pipeline STT/TTS terpisah)
• Pemilihan suara yang dapat dikonfigurasi dari beberapa suara prasetel
• Instruksi sistem yang mendefinisikan kepribadian asisten, gaya respons, dan penanganan bahasa
• Definisi alat untuk semua fungsi yang tersedia dengan skema parameter
• Deteksi bahasa otomatis dengan respons dalam bahasa yang sama

Fitur Utama

1. Latensi di Bawah Satu Detik — Model audio asli menghilangkan overhead pipeline STT/TTS
2. Audio Dua Arah Real-Time — Streaming berkelanjutan dengan < 50ms per potongan
3. Function Calling — Perhitungan spesifik domain dieksekusi di tengah percakapan
4. Interupsi Alami — Pengguna dapat menginterupsi asisten secara alami tanpa perintah khusus
5. Multi-Bahasa — Deteksi bahasa otomatis dengan respons dalam bahasa yang sama
6. Input Multimodal — Konteks kamera dan layar opsional untuk pemahaman visual
7. Manajemen Sesi — Kontrol siklus hidup sesi dengan penguncian dan pembersihan sumber daya
8. Perhitungan Makro — Penyesuaian nutrisi dinamis dengan profil makro per makanan
9. Pemulihan Kesalahan — Penanganan kegagalan fungsi dan interupsi jaringan yang anggun
10. Ekstensibel — Fungsi baru ditambahkan dengan mendefinisikan skema dan penangan — tanpa perubahan arsitektur