Prism ML resmi mengumumkan Bonsai 27B pada 14 Juli 2026, model AI berukuran 27 miliar parameter pertama yang mampu berjalan langsung di smartphone. Model multimodal ini merupakan pengembangan dari Qwen3.6 27B dan membawa kemampuan multi-step reasoning, structured tool calls, serta computer-use agentic loops ke perangkat mobile untuk pertama kalinya.
Problem Ukuran Model AI
Model AI berukuran 27 miliar parameter secara tradisional membutuhkan memori yang sangat besar untuk beroperasi. Dalam presisi 16-bit, model seperti ini memakan ruang sekitar 54 GB. Bahkan versi kompresi 4-bit yang bagus sekalipun masih membutuhkan 18 GB, jauh melampaui kapasitas memori smartphone rata-rata dan kebanyakan laptop konsumen.
Keterbatasan ini membuat deployment model sekelas 27B secara lokal menjadi tidak praktis selama bertahun-tahun. Pengguna terpaksa bergantung pada cloud API dengan segala konsekuensinya: latensi jaringan, biaya berlangganan, dan kekhawatiran privasi data.
Dua Varian untuk Kebutuhan Berbeda
Bonsai 27B hadir dalam dua varian yang dirancang untuk skenario penggunaan berbeda. Keduanya menggunakan pendekatan low-bit weight yang berjalan end-to-end melintasi seluruh arsitektur model, termasuk embeddings, attention layers, MLPs, dan LM head, tanpa escape hatch presisi lebih tinggi.
Ternary Bonsai 27B menggunakan bobot ternary {-1, 0, +1} dengan FP16 group-wise scaling, menghasilkan 1.71 effective bits per weight. Dengan ukuran file 5.9 GB, varian ini merupakan pilihan quality-oriented yang mampu berjalan di laptop biasa. Semua kemampuan reasoning, tool-calling, dan agentic tetap utuh dalam varian ini.
1-bit Bonsai 27B menggunakan bobot binary {-1, +1} dengan mekanisme scaling yang sama, mencapai 1.125 effective bits per weight. Ukurannya hanya 3.9 GB, cukup untuk masuk dalam memory budget iPhone 17 Pro. Ini menjadikannya model sekelas 27B pertama yang benar-benar bisa dijalankan di smartphone.
Kemampuan Multimodal Lengkap
Kedua varian Bonsai 27B mendukung multimodalitas penuh. Vision tower dikompresi dalam format 4-bit yang compact, memungkinkan workflow on-device untuk memproses screenshot, dokumen, dan input kamera, bukan hanya teks. Model ini juga membawa context window penuh 262K token dan mendukung speculative decoding untuk akselerasi kecepatan melalui draft-and-verify tanpa loss.
Prism ML merilis kedua varian di bawah lisensi Apache 2.0, menjadikannya terbuka untuk penggunaan komersial dan modifikasi oleh siapa saja.
Performa Benchmark: Retensi Inteligensi
Pertanyaan kritis untuk setiap model kompresi adalah seberapa banyak inteligensi yang hilang. Prism ML menguji Bonsai 27B menggunakan 15 benchmark yang mencakup knowledge, reasoning, math, coding, instruction following, tool calling, dan vision. Pengujian dilakukan dalam thinking mode untuk memastikan full reasoning capacity terekspos.
Hasilnya menunjukkan retensi yang impresif. Ternary Bonsai 27B mempertahankan 95% dari baseline full-precision Qwen 3.6 27B, sementara 1-bit Bonsai 27B mempertahankan 90%.
Rincian performa per kategori menunjukkan pola yang jelas. Untuk kemampuan matematika (GSM8K, MATH-500, AIME25, AIME26), Qwen 3.6 27B full-precision mencetak skor 95.3, turun menjadi 93.4 untuk varian ternary dan 91.7 untuk varian 1-bit.
Kategori coding (HumanEval+, MBPP+, LiveCodeBench) menunjukkan tren serupa: 88.7 untuk baseline, 86.0 untuk ternary, dan 81.9 untuk 1-bit. Kemampuan matematis dan coding ini nyaris tidak terpengaruh oleh kompresi, yang menjadi fondasi krusial untuk agentic workloads.
Untuk agentic dan tool-calling (BFCL v3, TauBench), skor baseline 80.0 turun ke 74.0 (ternary) dan 66.0 (1-bit). Instruction following (IFEval, IFBench) mencatat 78.4 untuk baseline, 71.8 untuk ternary, dan 65.8 untuk 1-bit.
Knowledge dan STEM (MMLU-Redux, MuSR) menghasilkan 83.1 untuk baseline, 77.0 untuk ternary, dan 73.4 untuk 1-bit. Kemampuan vision (MMMU Pro, OCRBench) mencatat 72.6 untuk baseline, 65.2 untuk ternary, dan 59.6 untuk 1-bit.
Skor keseluruhan dari 15 benchmark adalah 85.0 untuk baseline, 80.5 untuk ternary, dan 76.1 untuk 1-bit. Penurunan terjadi, tetapi tetap dalam batas yang dapat diterima untuk penggunaan praktis, terutama mengingat pengurangan ukuran file yang drastis.
Keunggulan atas Alternatif Konvensional
Data perbandingan menunjukkan keunggulan Bonsai 27B atas pendekatan kompresi konvensional. Varian 1-bit Bonsai 27B yang hanya memakan 3.9 GB mampu mencetak skor lebih tinggi dibandingkan build low-bit konvensional paling agresif dari model basis yang sama, yang membutuhkan 2.5 kali lebih banyak memori.
Efisiensi ini berasal dari pendekatan ternary dan binary weight yang berjalan penuh melintasi seluruh arsitektur jaringan, bukan sekadar quantization parsial yang meninggalkan komponen tertentu dalam presisi lebih tinggi.
Implikasi untuk Edge Computing
Kemampuan menjalankan model 27B di smartphone membuka pintu bagi aplikasi AI yang sebelumnya tidak mungkin dijalankan secara lokal. Penggunaan kasus seperti real-time document analysis, autonomous device control, dan offline reasoning menjadi feasible tanpa ketergantungan pada koneksi internet atau cloud infrastructure.
Untuk developer, lisensi Apache 2.0 memberikan kebebasan penuh untuk mengintegrasikan, memodifikasi, dan mengkomersialkan model ini. Kombinasi ukuran kecil, kemampuan multimodal, dan lisensi terbuka menjadikan Bonsai 27B sebagai foundation model yang menarik untuk aplikasi mobile next-generation.
Industri AI telah lama mencari keseimbangan antara model size dan capability. Bonsai 27B membuktikan bahwa kompresi ekstrem tidak harus mengorbankan fungsionalitas inti, setidaknya untuk use case tertentu. Langkah selanjutnya adalah melihat bagaimana developer mengadopsi teknologi ini dan use case apa yang muncul dari kemampuan AI kelas 27B di genggaman tangan.
