深度報告
-
紫東太初是中國科學院自動化研究所與武漢人工智慧研究院聯合研發的國產多模態大模型。作為全球首個千億引數三模態預訓練模型,紫東太初實現了圖文音的跨模態理解與生成,最新4.0版本實現了從「被動分析」到「主動思考」的重大突破,支援180分鐘長影片理解、多模態深度推理等創新功能。在智慧製造、智慧醫療、具身智慧等領域有深度應用。
-
紫東太初由中國科學院自動化研究所研發,2021年7月釋出1.0版本,是全球首個千億引數圖文音三模態預訓練模型。2023年6月釋出2.0版本,新增影片、3D點雲等模態支援。2024年11月釋出3.0版本,增強混合理解能力。2025年9月釋出4.0版本,實現「主動思考」跨越,引入類人的交叉注意力機制。平臺基於自動化所「紫東太初」大模型豐富的知識沉澱和經驗推出,面向行業AI應用。
-
紫東太初提供豐富的多模態AI能力。在多模態深度推理方面,支援邊看、邊識、邊思的認知能力,實現從被動分析到主動思考的跨越。帶圖思考能力支援對影象進行平移、放大、旋轉、定位、增強與重建等細粒度操作。複雜推理能力可處理數學推理計算等專業問題。長影片理解首次實現180分鐘長影片深度理解與秒級精準作答。 在全模態支援方面,實現圖文音三模態的「以圖生音」「以圖生文」「以音生圖」等跨模態內容生成,融入3D點雲、影片、訊號等更多模態資料。支援文件解析(最大10MB)、多輪問答對話、音訊真偽鑑別等功能。
-
紫東太初的技術特點包括:統一語義表示技術,將影象、文字、語音、影片、3D點雲、訊號等多模態資料對映到同一語義空間;4.0版本引入類人的交叉注意力機制,實現主動思考;全模態開放式接入實現結構化和非結構化資料的全模態接入;分組認知編解碼實現多種資料資訊的充分理解和靈活生成;認知增強多模態關聯技術有效融合多工的認知增強多模態關聯。 在訓練效率方面,基於5%-10%的資料標註即可實現100%的有監督學習效果,支援無監督情況下多工聯合學習及不同領域資料快速遷移,模型支援輕量化部署與推理加速,適合不同硬體環境。
-
紫東太初已在多個行業落地應用。在智慧製造領域,與華工科技合作的智慧焊接精度達0.02毫米,超越十年老師傅,整車焊接只需43秒,實時捕捉焊縫間隙、錯邊量等,毫秒級生成最優路徑,支援25種工藝智慧化焊接。 在智慧醫療領域,幫助九州通管理數萬種醫療器械與耗材,庫存檔點時間從3天壓縮至4小時,效率提升30倍。手術輔助方面部署於神經外科機器人MicroNeuro,術中實時融合視覺、觸覺等多模態資訊。 在具身智慧與低空經濟領域,在武漢、佛山、青島等地建設5家機器人職業技能培訓學校,賦能無人機等低空飛行器的智慧決策與路徑規劃。
-
作為國產多模態大模型的代表,紫東太初填補了國內在通用多模態領域的空白。與國外模型相比,紫東太初的核心優勢在於全棧國產化和產業應用深度。平臺已在智慧製造、智慧醫療等垂直領域形成成熟應用案例,證明了模型的實用價值。4.0版本的「主動思考」能力是其差異化競爭優勢。
-
紫東太初適合以下使用者群體:企業使用者,需要多模態AI能力賦能的行業客戶;開發者,基於大模型進行應用開發的技術人員;研究人員,從事多模態AI研究的學者;普通使用者,體驗多模態互動的個人使用者。
-
紫東太初作為全棧國產化多模態大模型,在多模態深度推理、主動思考、180分鐘長影片理解等方面具有創新優勢。在智慧製造、智慧醫療等產業領域有深度積累,是國產大模型發展的重要代表。對於需要多模態AI能力的使用者和企業,紫東太初是值得關注的選項。
使用者評論
-
Aaron_Kim_Max—紫東太初的長影片理解能力很強,180分鐘影片也能精準回答問題。 -
PaulRoberts—作為國產大模型,能做到這個水平已經很不容易了,繼續加油! -
JeffreyWerner—在智慧製造領域的應用案例很驚豔,焊接精度0.02毫米超越老師傅。 -
Sam_anthaWood—多模態能力很全面,圖文音影片都能處理。 -
cegevmxp—4.0版本的主動思考能力是一大亮點,和國外模型有一戰之力。 -
Laura_Gonzales2—醫療領域的庫存管理效率提升30倍是真的強! -
TuckerKin_g—全棧國產化很重要,資訊保安問題不用擔心的。 -
Shirley.Perez330—智慧醫療應用案例很實際,不是概念產品。 -
SamuelKujala—具身智慧的機器人培訓很有前景,支援! -
CArey—期待更多行業應用落地,繼續最佳化模型。 -
mrqsc0—和華為昇騰適配進展怎麼樣了? -
de5pgb—有API可以申請試用嗎? -
Jacqueline47—開源程度怎麼樣?個人開發者能使用嗎? -
Denise.Stephens_2020580—和GPT-4V對比哪個更強? -
海浪_27—中科院出品必屬精品! -
DiamondHands493—3D點雲理解的準確度怎麼樣? -
Sophia.Williams_2020—輕量化部署支不支援消費級顯示卡? -
MargaretMendozaII—語音生成能力有待提升。 -
潘博星—文件解析最大支援10MB很實用。 -
夏風936—期待5.0版本的表現!