Bonsai 27B

स्मार्टफोन पर लोकल चलने वाला पहला 27B-श्रेणी का मल्टीमोडल बड़ा मॉडल, Alibaba के Qwen3.6 27B को चरम क्वांटाइज़ेशन से 3.9GB तक संपीड़ित किया गया

बड़ा भाषा मॉडल LLM

https://prismml.com/

आधिकारिक वेबसाइट देखें

विस्तृत रिपोर्ट

14 जुलाई, 2026 को, Caltech की पृष्ठभूमि वाले AI स्टार्टअप, प्रिज्मएमएल ने बोनसाई 27B जारी किया, जो दुनिया का पहला 27B-स्तरीय मल्टी-मोडल बड़ा मॉडल है जो स्मार्टफोन पर स्थानीय रूप से चल सकता है। अलीबाबा Qwen3.6 27B बेस पर आधारित, मॉडल को अत्यधिक निम्न-बिट परिमाणीकरण के माध्यम से 3.9GB (1-बिट संस्करण) और 5.9GB (तीन-मूल्य संस्करण) तक संपीड़ित किया गया है। लगभग 90-95% बेंचमार्क प्रदर्शन को बरकरार रखते हुए, 27 बिलियन पैरामीटर-स्तरीय तर्क क्षमता अपाचे 2.0 ओपन सोर्स प्रोटोकॉल के तहत पहली बार उपभोक्ता हार्डवेयर पर मुफ्त में उपलब्ध है।
प्रिज्मएमएल की सह-स्थापना कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी (कैलटेक) में इलेक्ट्रिकल इंजीनियरिंग और कम्प्यूटेशनल गणित के प्रोफेसर बाबाक हसिबी द्वारा की गई थी, और कोर टीम में कैलटेक से साहिन लाले, ओमेद पूलदज़ांडी और रेजा सदरी भी शामिल हैं। कंपनी की मुख्य तकनीक स्कूल के कई वर्षों के गणितीय सैद्धांतिक अनुसंधान से उत्पन्न हुई है, जो तंत्रिका नेटवर्क संपीड़न पर केंद्रित है। प्रोफेसर हसिबी ने 1990 के दशक की शुरुआत में न्यूरल नेटवर्क प्रूनिंग विधि ऑप्टिमल ब्रेन सर्जन के प्रस्ताव में भाग लिया था और उन्हें मॉडल सरलीकरण में गहरा अनुभव है। प्रिज्मएमएल ने सेर्बेरस कैपिटल और कैलिफोर्निया इंस्टीट्यूट ऑफ टेक्नोलॉजी की भागीदारी के साथ, प्रसिद्ध सिलिकॉन वैली वेंचर कैपिटल फर्म खोसला वेंचर्स के नेतृत्व में सेफ और सीड राउंड में कुल 16.25 मिलियन अमेरिकी डॉलर जुटाए। Google और Samsung ने कंप्यूटिंग शक्ति और उद्योग सहायता भी प्रदान की। निवेशक विनोद खोसला ने इस तकनीक को "एक गणितीय सफलता, कोई अन्य छोटा मॉडल नहीं" बताया और माना कि एआई का भविष्य डेटा सेंटर के आकार से नहीं, बल्कि प्रति यूनिट ऊर्जा खपत और लागत की बुद्धिमत्ता के घनत्व से परिभाषित होता है। कंपनी ने मार्च 2026 में स्टील्थ मोड को समाप्त कर दिया और अपना पहला उत्पाद, 1-बिट बोनसाई 8बी जारी किया, इसके बाद मई में बोनसाई इमेज 4बी जारी किया। बोनसाई 27बी बोनसाई श्रृंखला का प्रमुख मॉडल है, जो इसके संपीड़न मार्ग की क्षमता के उच्च स्तर तक प्रगति को दर्शाता है। कथित तौर पर ऐप्पल प्रारंभिक प्रौद्योगिकी मूल्यांकन के लिए प्रिज्मएमएल के साथ बातचीत कर रहा है।
बोन्साई 27बी शुरू से प्रशिक्षित एक बुनियादी मॉडल नहीं है, बल्कि अलीबाबा क्वेन3.6 27बी पर आधारित एक भारी मात्रा में संस्करण है। पूर्ण फीचर सेट को बरकरार रखते हुए यह बेहद संपीड़ित है: 262K टोकन अल्ट्रा-लॉन्ग कॉन्टेक्स्ट विंडो, मल्टी-मोडल विज़ुअल अंडरस्टैंडिंग (4-बिट HQQ विज़न टॉवर), संरचित टूल कॉल, कंप्यूटर-संचालित एजेंट लूप और अनुमान में तेजी लाने के लिए सट्टा डिकोडिंग। मॉडल दो परिमाणीकरण वेरिएंट प्रदान करता है: टर्नरी संस्करण तीन-मूल्य वाले वजन {-1, 0, +1} प्लस एफपी 16 समूह स्केलिंग का उपयोग करता है, जिसका प्रभावी बिट 1.71 और वॉल्यूम 5.9 जीबी है। यह नोटबुक परिदृश्यों की ओर उन्मुख है और पहले गुणवत्ता का अनुसरण करता है; 1-बिट संस्करण बाइनरी वेट {-1, +1}, प्रभावी बिट्स 1.125 और 3.9GB की मात्रा का उपयोग करता है। यह मोबाइल फोन परिदृश्यों पर केंद्रित है और सबसे पहले वॉल्यूम पर ध्यान देता है। दोनों के बीच मुख्य अंतर यह है: 1-बिट संस्करण चुनने का अर्थ है एजेंटिक टूल कॉल, दृश्य समझ और जटिल गणितीय तर्क में सटीकता के अधिक महत्वपूर्ण नुकसान को स्वीकार करना। मोबाइल फ़ोन अनुकूलन के संदर्भ में, 12GB मेमोरी iPhone 17 Pro की वास्तविक उपलब्ध एकल-एप्लिकेशन मेमोरी लगभग 6GB है। 3.9 जीबी प्लस केवी कैश और सक्रियण मूल्य का 1-बिट संस्करण इस बजट में फिट हो सकता है। आधिकारिक मापा डेटा से पता चलता है कि iPhone 17 प्रो मैक्स पर 1-बिट संस्करण लगभग 11 टोकन/सेकेंड है, और लगभग 672 टोकन 1% बैटरी की खपत करते हैं। डेस्कटॉप पर, 1-बिट संस्करण आरटीएक्स 5090 पर 163 टोकन/एस तक पहुंच सकता है, और टर्नरी संस्करण 134 टोकन/एस तक पहुंच सकता है; एम5 मैक्स मैक पर, 1-बिट संस्करण 87 टोकन/सेकेंड तक पहुंच सकता है, और टर्नरी संस्करण 58 टोकन/सेकेंड तक पहुंच सकता है। स्वतंत्र डेवलपर्स (Q4_K_M GGUF संस्करण चलाने वाले RTX 3090 पर आधारित) की वास्तविक प्रतिक्रिया से पता चलता है कि उपभोक्ता-ग्रेड ग्राफिक्स कार्ड पर इस परिमाण की गति संतोषजनक है: 4K संदर्भ में लगभग 28 टोकन/एस, और 16K संदर्भ में अभी भी 19 टोकन/सेकेंड। संरचित JSON निष्कर्षण और एकल-राउंड RAG प्रदर्शन "स्थिर और मतिभ्रम के बिना" हैं, लेकिन मल्टी-स्टेप रीजनिंग (3-स्टेप टूल कॉल चेन से अधिक) में स्पष्ट कमियां हैं। चीनी समुदाय में वास्तविक परीक्षण भी इसकी पुष्टि करता है: बोनसाई 27बी पुराने 8 जीबी ग्राफिक्स कार्ड (केवल 3.8 जीबी की आवश्यकता है) पर अच्छी गति और सटीकता के साथ चल सकता है, लेकिन आउटपुट गुणवत्ता सुनिश्चित करने के लिए थिंकिंग मोड चालू होना चाहिए।
अपाचे 2.0 प्रोटोकॉल के तहत बोनसाई 27बी पूरी तरह से खुला स्रोत है। वेट हगिंग फेस से डाउनलोड करने के लिए स्वतंत्र हैं, और प्राधिकरण के बिना व्यावसायिक उपयोग की अनुमति है। प्रिज्मएमएल डेवलपर्स को वजन खींचने से पहले प्रोटोटाइप सत्यापन करने की सुविधा प्रदान करने के लिए एक सीमित समय का मुफ्त डेवलपर पूर्वावलोकन एपीआई (टुगेदर.एआई के माध्यम से) भी प्रदान करता है। यह व्यवसाय रणनीति Apple की प्रारंभिक डेवलपर पारिस्थितिकी तंत्र रणनीति के समान है: खुले स्रोत के माध्यम से, मॉडल को अधिक उत्पादों और पारिस्थितिकी प्रणालियों में प्रवेश किया जा सकता है, और उद्योग मानकों और डेवलपर चिपचिपाहट को स्थापित करने के लिए एक खुले दृष्टिकोण का उपयोग किया जा सकता है। डिवाइस-साइड मॉडल का मुख्य मूल्य यह है कि अनुमान निःशुल्क है और डेटा डिवाइस को नहीं छोड़ता है, जो गोपनीयता-संवेदनशील क्षेत्रों और ऑफ़लाइन परिदृश्यों के लिए बहुत आकर्षक है।
समुदाय की वास्तविक प्रतिक्रिया से पता चलता है कि डेवलपर्स का बोनसाई 27बी का समग्र मूल्यांकन सकारात्मक है, विशेष रूप से यह "वह करता है जो अन्य मॉडल नहीं कर सकते" - 27बी श्रेणी के मॉडल को मोबाइल फोन पर चलने की इजाजत देता है। आरटीएक्स 3090 पर परीक्षण करने वाले एक डेवलपर ने फायदे और नुकसान का विस्तृत विश्लेषण दिया: वर्गीकरण पाइपलाइन, संरचित निष्कर्षण और एकल-राउंड आरएजी परिदृश्य "पूरी तरह से उत्पादन के लिए तैयार" हैं, और लाइसेंस अपाचे 2.0 है, जिसका अर्थ है "इसे कानूनी समीक्षा के बिना तैनात किया जा सकता है, जो बेंचमार्क पर कुछ बिंदुओं से कहीं अधिक महत्वपूर्ण है।" लेकिन उन्होंने यह भी बताया कि जटिल एजेंट लूप परिदृश्यों में, MoE की विरलता के कारण, मॉडल को तर्क श्रृंखला के 3 से अधिक चरणों में सुराग खोने और आगे बढ़ने के बजाय पिछले चरण को दोहराने का खतरा है। नगेट्स चीनी समुदाय पर एक विस्तृत परीक्षण लेख में यह भी बताया गया है कि एजेंटिक टूल कॉल आयाम में सबसे बड़ी गिरावट (1-बिट संस्करण में 17.5% की गिरावट) है, और वास्तविक परीक्षण में प्रयोज्य गिरावट संख्याओं की तुलना में अधिक महत्वपूर्ण हो सकती है। RTX 2070 8GB पर आधारित टुटियाओ का परीक्षण एक सहज "आईक्यू रैंकिंग" देता है: जेम्मा-4-26B-A4B > Qwen3.6-35B-A3B > बोनसाई-27B > Qwythos-9B। मुख्य मूल्यांकन "बेहद सरल तैनाती, अच्छी गति, ईमानदार और कोई बकवास नहीं" है, लेकिन सोच मोड चालू होना चाहिए।
बोनसाई 27बी का उद्योग मीडिया का कवरेज "मील का पत्थर" स्तर पर केंद्रित है। मुख्य धारा का दृष्टिकोण यह है कि इस मॉडल का वास्तविक महत्व एकल बेंचमार्क स्कोर में नहीं है, बल्कि इसे "सामान्यीकृत" करने में निहित है: एक 27B-स्तरीय मल्टी-मोडल मॉडल जो ढीले लाइसेंस के साथ उपभोक्ता-ग्रेड हार्डवेयर पर रहता है और ऑफ़लाइन उपलब्ध है। कॉइनडेस्क ने क्रिप्टो फाइनेंस के परिप्रेक्ष्य से बताया कि एंड-साइड एआई एन्क्रिप्शन उद्योग के क्लाउड इंफ्रास्ट्रक्चर पर भरोसा करने के दर्द बिंदु को समाप्त करता है: उपयोगकर्ता डेटा को डिवाइस को छोड़ना नहीं पड़ता है, जो क्रिप्टो वॉलेट, डेफी इंटरफेस और ट्रेडिंग टूल के लिए एक सार्थक गोपनीयता अपग्रेड है। हैकर न्यूज़ समुदाय चर्चाएँ अधिक व्यावहारिक हैं: तकनीकी सफलताओं को स्वीकार करते हुए बार-बार याद दिलाया जाता है कि वास्तविक इंजीनियरिंग परिदृश्यों में अत्यधिक मात्रा निर्धारण की कमियों को नजरअंदाज नहीं किया जा सकता है। स्वतंत्र विश्लेषण ब्लॉग सीन किम ने सबसे सीधा निर्णय दिया: "मोबाइल फोन पर चलना" और "पूर्ण-सटीक मॉडल से मेल खाना" एक ही प्रस्ताव नहीं हैं। एक उचित मॉडल एक हाइब्रिड परिनियोजन है: स्थानीय डिवाइस-साइड मॉडल हल्के, गोपनीयता-संवेदनशील कार्यों को संभालता है, और जटिल तर्क को क्लाउड पर छोड़ दिया जाता है। प्रतिस्पर्धी परिदृश्य से, Apple, Google और क्वालकॉम सभी एंड-साइड AI को बढ़ावा दे रहे हैं, लेकिन मुख्यधारा 3-7B पैरामीटर स्केल मॉडल पर बनी हुई है। बोनसाई 27बी सीधे पैरामीटर स्केल को लगभग 4 गुना बढ़ा देता है, जिससे "बुद्धिमान घनत्व" का प्रतिस्पर्धी आयाम खुल जाता है। प्रिज्मएमएल द्वारा प्रस्तावित इंटेलिजेंस घनत्व संकेतक (प्रति जीबी क्षमता मूल्य) से पता चलता है कि 1-बिट बोनसाई 27बी 0.53/जीबी है, जो पूर्ण परिशुद्धता बेसलाइन से 10 गुना से अधिक है।
बोनसाई 27बी को लेकर मुख्य विवाद इस बात पर केन्द्रित है कि अत्यधिक परिमाणीकरण किस हद तक एजेंटिक क्षमताओं को नष्ट कर देता है। आधिकारिक बेंचमार्क से पता चलता है कि 1-बिट संस्करण में टूल कॉल आयाम में 17.5% की गिरावट आई है, लेकिन सामुदायिक परीक्षण का मानना है कि वास्तविक गिरावट अधिक महत्वपूर्ण हो सकती है। कुछ डेवलपर्स ने बताया कि मॉडल में अनुमान की तीसरी परत के बाद "श्रृंखला को छोड़ने" की प्रवृत्ति होती है, जो गंभीर एजेंटिक परिदृश्यों में पूरी प्रक्रिया को अनुपयोगी बनाने के लिए पर्याप्त है। चर्चा का दूसरा मुद्दा यह है कि "बोन्साई 27बी कोई नया मॉडल नहीं है, बल्कि एक पैकेज है"। आलोचकों का मानना है कि प्रिज्मएमएल ने अपने स्वयं के बुनियादी मॉडल को प्रशिक्षित नहीं किया, बल्कि Qwen3.6 के आधार पर मात्रात्मक पैकेजिंग की। हालाँकि संपीड़न तकनीक अपने आप में अभूतपूर्व है, यह देखना बाकी है कि तकनीकी बाधाएँ कितनी ऊँची हैं और क्या अन्य टीमें समान प्रभावों को जल्दी से पुन: उत्पन्न कर सकती हैं। दृश्य क्षमता के बारे में प्रश्नों को नजरअंदाज नहीं किया जा सकता है: एमएमएमयू प्रो/ओसीआरबेंच के 1-बिट संस्करण ने केवल 59.6 स्कोर किया, जो कि 72.6 की बेसलाइन से एक महत्वपूर्ण गिरावट है, यह दर्शाता है कि चरम परिमाणीकरण का पाठ कार्यों की तुलना में दृश्य समझ पर अधिक प्रभाव पड़ता है।
बोनसाई 27बी निम्नलिखित डेवलपर्स के लिए उपयुक्त है: मोबाइल एप्लिकेशन डेवलपर्स जिन्हें ऑफ़लाइन स्थानीय एआई क्षमताओं की आवश्यकता है; गोपनीयता-संवेदनशील परिदृश्य (चिकित्सा, कानूनी, वित्तीय दस्तावेज़ प्रसंस्करण); शोधकर्ता जिन्हें उपभोक्ता-ग्रेड ग्राफिक्स कार्ड (8-12 जीबी वीआरएएम) पर 27बी-स्तरीय मॉडल चलाने की आवश्यकता है; और टेक्स्ट प्रोसेसिंग पाइपलाइन जिन्हें उच्च टूल कॉल सटीकता की आवश्यकता नहीं होती है। इसे निम्नलिखित परिदृश्यों में उपयोग करने की अनुशंसा नहीं की जाती है: उत्पादन प्रणालियाँ जिन्हें स्थिर मल्टी-स्टेप एजेंटिक क्षमताओं, उच्च-सटीक दृश्य समझ पाइपलाइनों और जटिल गणितीय तर्क कार्यों की आवश्यकता होती है। वर्तमान में सबसे उचित परिनियोजन रणनीति एक हाइब्रिड आर्किटेक्चर है: बोनसाई 27बी (टर्नरी संस्करण) स्थानीय क्लाइंट पक्ष पर मुख्य बल के रूप में कार्य करता है और गोपनीयता-संवेदनशील और कम-विलंबता आवश्यकताओं वाले कार्यों के लिए उपयोग किया जाता है; क्लाउड का बड़ा मॉडल जटिल तर्क और उच्च सटीकता की आवश्यकता वाले परिदृश्यों को संभालता है। यह स्टैक वास्तव में केवल 2026 में ही संभव होगा - क्योंकि स्थानीय स्तर पर आखिरकार एक मजबूत मॉडल तैयार हो गया है।
बोनसाई 27बी डिवाइस-साइड एआई के विकास में एक प्रतिष्ठित नोड है: यह सैद्धांतिक रूप से चर्चा करने योग्य से लेकर वास्तव में डाउनलोड करने योग्य और चलाने योग्य होने तक "27बी-स्तरीय मॉडल को मोबाइल फोन पर स्थापित करने" की अनुमति देता है। गणित और प्रोग्रामिंग जैसे संरचित वर्कपीस पर सटीकता बनाए रखना स्वीकार्य है, लेकिन एजेंटिक और दृश्य कार्यों पर कमियां भी काफी स्पष्ट हैं। Apache 2.0 के ओपन सोर्स क्लाइंट-साइड मॉडल के रूप में, यह डेवलपर्स को एक नया स्टैक स्तर प्रदान करता है - एक व्यापक प्रतिस्थापन नहीं, बल्कि एक नया विकल्प जो पहले मौजूद नहीं था। जुलाई 2026 तक, यह डिवाइस-साइड एआई की दिशा में सबसे बड़ा कदम है, लेकिन आखिरी नहीं।

उपयोगकर्ता समीक्षाएं

Richard112

—

终于有个 27B 模型能在手机上跑了，下载完试了下，3.8GB 确实小得离谱。日常写写文案、做做总结完全够用，但别指望它像云端模型那样聪明，开 thinking 模式才稳，这个要注意。

SMartinez_66

—

部署是真的很简单，LM Studio 下搜一下就能用，门槛低到离谱，这点做得比很多开源模型好。我 8G 老卡也能跑，虽然必须开 thinking 模式。

TMorgan_20248

—

用 RTX 3090 跑了一下，Q4_K_M 版本 16GB 单卡就能跑，28 tok/s 的生成速度对于日常聊天完全够了。做结构化 JSON 提取贼稳，没有幻觉，这点好评。

BettyLopez007

—

我在 iPhone 17 Pro 上试了 1-bit 版本，速度确实只有 11 tok/s 左右，但考虑到是本地跑 27B 的模型，这个表现已经超出预期了。电池消耗还行，不会明显发热。

BAndersonK

—

实测发现它做工具调用的时候不太行，多步 agent 流程到了第三步就开始掉链子，格式也飘了。当聊天模型用可以，做自动化 agent 还差点意思。

月光_17

—

Apache 2.0 开源协议是真香，部署不需要法务审查，直接下载就能用。这一点比 benchmark 上的分数重要多了，商用省心。

Jesse_Foster_66

—

说它是 DeepSeek 时刻有点过了，毕竟它只是 Qwen 3.6 的量化打包，没有训练自己的基础模型。但压缩技术本身确实有两把刷子。

GEbel

—

用 M5 Max 跑 ternary 版本，58 tok/s 的速度已经能当日常主力了。262K 上下文窗口是真的大，加载一整本技术书进去做问答，记忆没丢。

StephanieFoster369

—

和 Gemma-4-26B 对比了一下，智商确实不如人家，但 Bonsai 的代价最小，3.8GB 就能跑，生成速度还快一倍，就看你在意什么了。

Ryan_RussellQ

—

苹果在和 PrismML 谈评估我觉得是好事，如果未来 iPhone 能本地跑 27B 的模型，Siri 应该能支棱起来吧。现在手机上的端侧模型才 3B，差距太大了。

云烟_6

—

弱智吧测试翻车了哈哈，问它洗车店离 30 米是开车去还是走路去，它真在那分析油耗。不过这种脑筋急转弯本来也不是大模型的强项。

Billy.Green

—

运行在手机上和匹配全精度模型不是一回事，这个清醒的认识很重要。用之前先想清楚你的场景是哪一类，需要 agent 能力就选 ternary 5.9GB 版。

海浪_21

—

最让我惊讶的是它的智慧密度概念。54GB 压到 3.9GB，保留 90% 的能力，这在数学和编程任务上确实做到了。视觉能力掉得有点多，MMMU 才 59.6，看图还是差点。

Mason.TorresSr

—

说实话我对这个模型最大的期待是离线翻译和文档处理，出差坐飞机也能用。试了下把一份 30 页的 PDF 丢进去做总结，效果还行，就是加载慢了点。

Michelle_RussellQ

—

在 Together.ai 上试了 preview API，不用下载就能测，这点很友好。回复质量的确定位在「够用」级别，和 GPT 4.5 肯定比不了，但看在免费的份上，很香了。

Jonathan196

—

Hacker News 上讨论挺热烈的，大家最担心的还是极端量化对 agentic 能力的侵蚀。数学掉 2% 无所谓，但 tool calling 掉 17.5% 在真实场景里影响太大了。

Karen.Rodriguez007

—

我看到的观点是混合部署才合理，本地模型处理隐私敏感和轻量任务，复杂推理留到云端。Bonsai 让本地这端终于有足够强的模型了，不用所有事都上云。

Jennifer.Kelly_99

—

视觉塔需要额外下载 900MB，而且不开 thinking 模式图片识别不准。但日常看图读文档识别验证码还是挺快的，0.5 秒就出结果。

Lydia.MendozaX

—

对于搞本地 AI 的开发者来说，这是今年夏天最有意思的发布。它把手机端侧的门槛从 3-8B 的小模型推进到了 27B 级别，质的飞跃。

Arthur90

—

最大的亮点是真正离线可用，数据不出设备。对于处理敏感信息的场景，比如律师看合同、医生看病例，这个价值比 benchmark 分数重要得多。

Matthew.MurphyK

—

用 Locally AI 这个 App 直接就能在 iPhone 上跑，不需要折腾环境配置。不过下载模型最好用 WiFi，13GB 的数据量用流量扛不住。

KathleenRoberts_Plus1

—

刚下载就翻车了，没有 Hugging Face 的 token 认证的话 27B 的仓库下载不了，要先申请访问权限。还好小的模型可以直接下，建议先试试 8B 版本。

GregoryNelson_66

—

好奇它和常规 4-bit 量化的本质区别，看了技术文档才发现是贯穿到所有层的低比特设计，不留高精度逃生舱。这也是它能压到 3.9GB 的原因。

DPrice007

—

从 54GB 到 3.9GB，14 倍的压缩比，还能保持 90% 的智力保留，不管怎么说都是技术奇迹。微软苹果谷歌都该紧张一下了。

NWrightIII

—

17.5% 的工具调用精度损失在多步场景里会被指数放大，每一步 95% 成功率，跑 10 步就剩 60% 了。生产环境用的话还是得配云端兜底。

Bonsai 27B

विस्तृत रिपोर्ट

उपयोगकर्ता समीक्षाएं

समान उत्पाद