Analisis Spreadsheet & Dokumen Didukung AI dengan Orkestrasi Multi-Agen dan Referensi Lintas-Dokumen

Kami membangun platform intelijen dokumen AI multi-agen dengan retrieval yang didukung database vektor untuk dokumen berukuran besar, agen khusus untuk berbagai jenis dokumen, orkestrator untuk penalaran lintas-dokumen, dan kemampuan write-back untuk pengeditan spreadsheet.

Arsitektur

• Orkestrator: Agen orkestrator AI yang mengoordinasikan alur kerja multi-langkah di seluruh agen khusus
• Agen Spreadsheet: Menangani analisis Excel/CSV/Google Sheets, pembuatan rumus, dan pengeditan sel
• Agen Dokumen: Menangani pembacaan, ekstraksi, dan ringkasan dokumen PDF/Word
• Agen Referensi Lintas-Dokumen: Melakukan penggabungan (joins), perbandingan, dan rekonsiliasi antar jenis dokumen
• Vector Database: Milvus untuk pengindeksan semantik potongan dokumen (document chunks) dan baris spreadsheet
• LLM Layer: Pendekatan multi-model dengan pemanggilan fungsi (function calling)
• Backend: Python/FastAPI untuk pemrosesan dokumen dan orkestrasi agen
• Frontend: Dasbor React dengan unggah file, antarmuka obrolan, dan pratinjau spreadsheet langsung
• Penyimpanan (Storage): S3 untuk file asli, PostgreSQL untuk metadata dan pelacakan pekerjaan

Arsitektur Multi-Agen

Peran Agen

1. Agen Orkestrator

Koordinator pusat yang menerima kueri pengguna, memecahnya menjadi sub-tugas, dan mendelegasikannya kepada agen khusus. Ia menganalisis niat pengguna, membuat rencana eksekusi, mengelola aliran data antar agen, mengagregasi hasil, dan menangani pemulihan kesalahan.

2. Agen Spreadsheet

Khusus untuk operasi data tabular termasuk pemahaman skema, terjemahan bahasa alami ke kueri, agregasi dan pemfilteran, pembuatan rumus, pengeditan sel dan pengisian kolom, saran bagan, serta validasi data/deteksi anomali.

3. Agen Dokumen

Khusus untuk dokumen tidak terstruktur dan semi-terstruktur termasuk OCR dan ekstraksi teks sadar tata letak (layout-aware), identifikasi bagian, ekstraksi nilai kunci dari kontrak, ringkasan, pencarian klausa semantik, dan ekstraksi tabel dari PDF/Word docs.

4. Agen Referensi Lintas-Dokumen

Khusus untuk penalaran multi-dokumen termasuk pencocokan entitas antar dokumen, rekonsiliasi data dan identifikasi perbedaan, analisis linimasa, resolusi ketergantungan untuk data yang bertentangan, dan operasi join mirip SQL di seluruh jenis dokumen.

Lapisan Database Vektor

Mengapa Vector DB untuk Dokumen

Dokumen dan spreadsheet besar tidak dapat muat dalam satu jendela konteks LLM. Database vektor memungkinkan pencarian semantik di jutaan baris dan potongan dokumen (document chunks), pengambilan hanya bagian yang relevan per kueri, penghubungan entitas lintas-dokumen melalui kesamaan embedding, dan pengindeksan persisten yang tidak memerlukan pemrosesan ulang pada setiap kueri.

Strategi Pengindeksan

Pengindeksan Spreadsheet:

Setiap baris diubah menjadi representasi bahasa alami dengan menggabungkan nilai kolom kunci, lalu di-embed dan disimpan dengan referensi kembali ke file, sheet, dan indeks baris asli untuk operasi write-back.

Pengindeksan Dokumen:

Dokumen diekstraksi dengan kesadaran tata letak (layout awareness), dipecah menjadi segmen semantik dengan tumpang tindih, di-embed, dan disimpan dengan referensi ke file sumber, bagian, dan nomor halaman.

Indeks Entitas Lintas-Dokumen:

Indeks terpisah menghubungkan entitas (vendor, produk, orang, nomor faktur) di seluruh dokumen, memungkinkan kueri referensi silang (cross-reference queries) untuk dengan cepat menemukan semua penyebutan entitas terlepas dari file sumber.

Alur Retrieval

Ketika pengguna mengajukan pertanyaan lintas-dokumen, orkestrator mengidentifikasi dokumen dan agen mana yang dibutuhkan, melakukan pencarian vektor (vector searches) untuk menemukan data yang relevan di semua sumber, mendelegasikan ke agen khusus untuk pemrosesan, dan mengagregasi hasil menjadi respons yang koheren.

Mesin Orkestrasi

Dekomposisi Kueri

Orkestrator memecah kueri kompleks menjadi rencana eksekusi multi-langkah. Misalnya, pertanyaan seperti "Temukan vendor dengan pengiriman terlambat, periksa klausul penalti kontrak, dan hitung penalti yang dapat diklaim" akan dipecah menjadi langkah-langkah sekuensial: mengkueri data pengiriman melalui Spreadsheet Agent, mencari kontrak melalui Document Agent, dan menggabungkan hasil melalui Cross-Reference Agent.

Komunikasi Agen

• Agen berkomunikasi melalui pesan terstruktur dengan payload bertipe
• Orkestrator mempertahankan konteks eksekusi dengan hasil perantara
• Langkah yang gagal memicu strategi coba ulang atau fallback
• Hasil parsial dikembalikan jika beberapa langkah selesai tetapi yang lain gagal

Pengeditan & Write-Back Spreadsheet

Kemampuan Pengeditan

Platform ini mendukung pembaruan sel, pengisian kolom, penyisipan baris, pemformatan kondisional, pembuatan sheet baru, dan injeksi rumus — semuanya diajukan oleh agen AI dan diterapkan dengan persetujuan pengguna.

Alur Write-Back

1. Agen menentukan operasi pengeditan (sel mana, nilai apa)
2. Pratinjau pengeditan ditampilkan kepada pengguna dengan penyorotan diff (nilai lama vs. baru)
3. Pengguna menyetujui atau memodifikasi perubahan yang diusulkan
4. Backend menerapkan perubahan pada file menggunakan library yang sesuai per format
5. File yang dimodifikasi disimpan sebagai versi baru dengan jejak audit pengeditan
6. Indeks vektor diperbarui untuk baris yang berubah

Kontrol Versi

• Setiap pengeditan membuat versi file baru (asli tetap dipertahankan)
• Log diff menunjukkan dengan tepat apa yang berubah, kapan, dan mengapa
• Rollback ke versi sebelumnya dengan satu klik
• Atribusi pengeditan: agen atau pengguna mana yang membuat setiap perubahan

Alur Pemrosesan untuk Dokumen Baru

Alur Unggah File

1. Pengguna mengunggah file (drag-and-drop atau API)
2. Jenis file terdeteksi dan diarahkan ke prosesor yang sesuai
3. Spreadsheet: Diparsing, skema disimpulkan, baris di-embed dan diindeks
4. PDF: OCR (jika dipindai) → ekstraksi tata letak → chunking → embedding → pengindeksan
5. Dokumen Word: Ekstraksi teks → penguraian bagian → chunking → embedding → pengindeksan
6. Ekstraksi Entitas: NER mengidentifikasi orang, organisasi, tanggal, jumlah di semua dokumen
7. Penghubungan Lintas-Dokumen: Indeks entitas diperbarui dengan penyebutan baru
8. Metadata file disimpan di PostgreSQL, embedding di database vektor, file asli di S3

Format yang Didukung

Platform ini mendukung Excel, CSV, dan Google Sheets (dengan write-back penuh), PDF asli dan hasil pindai (hanya baca), serta dokumen Word dan Google Docs (write-back terbatas).

Fitur Utama

1. Arsitektur Multi-Agen — Agen khusus untuk spreadsheet, dokumen, dan referensi silang
2. Orkestrator AI — Mendekomposisi kueri kompleks menjadi rencana eksekusi multi-langkah
3. Referensi Lintas-Dokumen — Penghubungan entitas dan rekonsiliasi data di seluruh jenis file
4. Retrieval Didukung Vektor — Pencarian semantik menangani dataset di luar batas konteks LLM
5. Write-Back Spreadsheet — AI mengedit sel, mengisi kolom, dan menyuntikkan rumus dengan persetujuan pengguna
6. Dukungan Dataset Besar — Spreadsheet berisi 50.000+ baris diindeks dan dapat dikueri melalui pencarian vektor
7. Kontrol Versi — Setiap pengeditan diberi versi dengan log diff dan kemampuan rollback
8. Kueri Bahasa Alami — Ajukan pertanyaan analitis kompleks dalam bahasa Inggris biasa
9. Dukungan Multi-Format — Excel, CSV, Google Sheets, PDF, Word, Google Docs
10. Pratinjau Pengeditan — Pratinjau yang disorot perbedaan (diff-highlighted) sebelum perubahan diterapkan