Pembantu AI Suara Masa Nyata dengan Panggilan Fungsi & Penstriman Audio Dua Arah

Kami membina pembantu AI suara masa nyata yang dikuasakan oleh Gemini Live API Google dengan keupayaan audio asli, panggilan fungsi tersuai untuk pengiraan khusus domain, dan React frontend dengan penstriman audio berasaskan WebSocket.

Seni Bina

• Model AI: Gemini dengan input/output audio asli dan panggilan fungsi
• Backend: Python/FastAPI dengan WebSocket endpoint untuk audio dua arah
• Saluran Paip Audio: PyAudio untuk I/O mikrofon/pembesar suara dengan penstriman masa nyata
• Frontend: React dengan Vite dan Tailwind CSS untuk UI kawalan sesi
• Komunikasi: WebSocket untuk pemesejan JSON kependaman rendah dan pengangkutan audio binari
• Multimodal: Tangkapan kamera dan skrin pilihan untuk konteks visual

Saluran Paip Audio Masa Nyata

Penstriman Dua Arah

Sistem mengekalkan aliran audio berterusan dalam kedua-dua arah:

• Input: Audio mikrofon ditangkap pada 16kHz mono, dipecahkan kepada bingkai kecil, dan distrim ke model AI secara masa nyata
• Output: Ucapan yang dijana AI diterima pada 24kHz dan dimainkan melalui pembesar suara dengan serta-merta
• Tiada Pemprosesan Kelompok: Pecahan audio dihantar seperti yang ditangkap — tiada kelewatan pengumpulan
• Pengendalian Gangguan: Pengguna boleh mengganggu pembantu di tengah respons secara semula jadi

Pemprosesan Audio

• Format PCM 16-bit untuk input dan output
• Kadar sampel berasingan yang dioptimumkan untuk ucapan (penangkapan 16kHz, main balik 24kHz)
• Saiz penimbal kecil untuk kependaman minimum
• Penstriman berterusan tanpa jurang mula/henti antara giliran

Integrasi Panggilan Fungsi

Cara Ia Berfungsi

Model AI boleh memanggil fungsi Python tempatan di tengah perbualan apabila pengiraan khusus domain diperlukan:

1. Pengguna menyuarakan permintaan (cth., "Saya terlepas makan tengah hari hari ini")
2. Model AI menyalin dan memahami niat
3. Model menentukan panggilan fungsi diperlukan dan menghantar permintaan berstruktur
4. Backend mengekstrak nama fungsi, argumen, dan ID panggilan
5. Fungsi tempatan melaksanakan pengiraan domain
6. Hasil dihantar kembali ke model sebagai respons berstruktur
7. Model menjana respons suara bahasa semula jadi yang menggabungkan hasil

Fungsi Domain

Sistem ini menyokong panggilan fungsi yang berfokuskan pemakanan untuk senario seperti:

• Hidangan Terlepas — Mengagihkan semula makronutrien yang terlepas merentas hidangan yang tinggal
• Makanan Tidak Dirancang — Melaraskan hidangan akan datang untuk mengimbangi pengambilan yang tidak dijangka
• Penggantian Hidangan — Menukar bahan sambil mengekalkan sasaran makro
• Penjejakan Aktiviti — Menganggarkan pembakaran kalori dan melaraskan penimbal nutrisi

Setiap fungsi menggunakan pangkalan data makro dengan profil nutrisi setiap makanan dan melakukan pengiraan dinamik dengan sedikit variasi stokastik untuk respons yang terasa semula jadi.

Keselamatan Pelaksanaan

• Input mikrofon dijeda semasa pelaksanaan fungsi untuk mengelakkan pertindihan
• Bingkai audio yang belum selesai digugurkan untuk mengelakkan konteks lapuk
• Respons ralat dihantar kembali dengan lancar jika pelaksanaan fungsi gagal
• Penstriman normal disambung semula serta-merta selepas fungsi selesai

Seni Bina Backend

Pelayan WebSocket FastAPI

• Endpoint WebSocket tunggal untuk semua komunikasi klien
• Pengurusan kitaran hayat sesi (mula, henti, pemeriksaan kesihatan ping/pong)
• Satu sesi aktif pada satu masa dengan penguncian sesi
• CORS middleware untuk persekitaran pembangunan
• Endpoint pemeriksaan kesihatan untuk pemantauan

Pengurusan Sesi

• Sesi dicipta pada sambungan klien dengan pemilihan mod (audio sahaja, kamera, atau skrin)
• Tugas async latar belakang mengendalikan penangkapan, pemprosesan, dan main balik audio secara serentak
• Pemutusan sambungan yang lancar dengan pembersihan sumber
• Pengesahan kunci API dan penyebaran ralat

Input Multimodal (Pilihan)

Selain suara, sistem ini menyokong konteks visual pilihan:

• Mod Kamera — Menstrim bingkai webcam (1fps) untuk konteks visual dalam perbualan
• Mod Skrin — Menangkap kandungan skrin untuk membincangkan maklumat pada skrin
• Imej diubah saiz dan dimampatkan sebelum penghantaran
• Konteks visual meningkatkan keupayaan AI untuk memberikan respons yang relevan

Antaramuka Frontend

• Kawalan Sesi — Mula/henti mendengar dengan penunjuk status yang jelas
• Paparan Status — Sambungan masa nyata dan keadaan sesi (terbiar, menyambung, aktif, ralat)
• Sokongan Tema — Mod terang/gelap dengan ketekalan
• Panduan Berpandu — Demo langkah demi langkah untuk pengguna kali pertama
• Pengurusan WebSocket — Logik penyambungan semula automatik

Konfigurasi Model AI

• Modaliti audio asli (tiada saluran paip STT/TTS berasingan)
• Pemilihan suara yang boleh dikonfigurasi daripada pelbagai suara pratetap
• Arahan sistem yang menentukan personaliti pembantu, gaya respons, dan pengendalian bahasa
• Definisi alat untuk semua fungsi yang tersedia dengan skema parameter
• Pengesanan bahasa automatik dengan respons bahasa yang sama

Ciri-ciri Utama

1. Kependaman Bawah Satu Saat — Model audio asli menghapuskan overhed saluran paip STT/TTS
2. Audio Dua Arah Masa Nyata — Penstriman berterusan dengan < 50ms setiap pecahan
3. Panggilan Fungsi — Pengiraan khusus domain dilaksanakan di tengah perbualan
4. Gangguan Semula Jadi — Pengguna boleh mengganggu pembantu secara semula jadi tanpa arahan khas
5. Pelbagai Bahasa — Pengesanan bahasa automatik dengan respons bahasa yang sama
6. Input Multimodal — Konteks kamera dan skrin pilihan untuk pemahaman visual
7. Pengurusan Sesi — Kawalan kitaran hayat sesi dengan penguncian dan pembersihan sumber
8. Pengiraan Makro — Pelarasan nutrisi dinamik dengan profil makro setiap makanan
9. Pemulihan Ralat — Pengendalian kegagalan fungsi dan gangguan rangkaian yang lancar
10. Boleh Diperluaskan — Fungsi baharu ditambah dengan mentakrifkan skema dan pengendali — tiada perubahan seni bina