紫东太初

中国科学院自动化研究所研发的全栈国产化多模态大模型

大语言模型

https://taichu.ia.ac.cn/

前往官网

深度报告

紫东太初是中国科学院自动化研究所与武汉人工智能研究院联合研发的国产多模态大模型。作为全球首个千亿参数三模态预训练模型，紫东太初实现了图文音的跨模态理解与生成，最新4.0版本实现了从「被动分析」到「主动思考」的重大突破，支持180分钟长视频理解、多模态深度推理等创新功能。在智能制造、智慧医疗、具身智能等领域有深度应用。
紫东太初由中国科学院自动化研究所研发，2021年7月发布1.0版本，是全球首个千亿参数图文音三模态预训练模型。2023年6月发布2.0版本，新增视频、3D点云等模态支持。2024年11月发布3.0版本，增强混合理解能力。2025年9月发布4.0版本，实现「主动思考」跨越，引入类人的交叉注意力机制。平台基于自动化所「紫东太初」大模型丰富的知识沉淀和经验推出，面向行业AI应用。
紫东太初提供丰富的多模态AI能力。在多模态深度推理方面，支持边看、边识、边思的认知能力，实现从被动分析到主动思考的跨越。带图思考能力支持对图像进行平移、放大、旋转、定位、增强与重建等细粒度操作。复杂推理能力可处理数学推理计算等专业问题。长视频理解首次实现180分钟长视频深度理解与秒级精准作答。在全模态支持方面，实现图文音三模态的「以图生音」「以图生文」「以音生图」等跨模态内容生成，融入3D点云、视频、信号等更多模态数据。支持文档解析（最大10MB）、多轮问答对话、音频真伪鉴别等功能。
紫东太初的技术特点包括：统一语义表示技术，将图像、文本、语音、视频、3D点云、信号等多模态数据映射到同一语义空间；4.0版本引入类人的交叉注意力机制，实现主动思考；全模态开放式接入实现结构化和非结构化数据的全模态接入；分组认知编解码实现多种数据信息的充分理解和灵活生成；认知增强多模态关联技术有效融合多任务的认知增强多模态关联。在训练效率方面，基于5%-10%的数据标注即可实现100%的有监督学习效果，支持无监督情况下多任务联合学习及不同领域数据快速迁移，模型支持轻量化部署与推理加速，适合不同硬件环境。
紫东太初已在多个行业落地应用。在智能制造领域，与华工科技合作的智能焊接精度达0.02毫米，超越十年老师傅，整车焊接只需43秒，实时捕捉焊缝间隙、错边量等，毫秒级生成最优路径，支持25种工艺智能化焊接。在智慧医疗领域，帮助九州通管理数万种医疗器械与耗材，库存盘点时间从3天压缩至4小时，效率提升30倍。手术辅助方面部署于神经外科机器人MicroNeuro，术中实时融合视觉、触觉等多模态信息。在具身智能与低空经济领域，在武汉、佛山、青岛等地建设5家机器人职业技能培训学校，赋能无人机等低空飞行器的智能决策与路径规划。
作为国产多模态大模型的代表，紫东太初填补了国内在通用多模态领域的空白。与国外模型相比，紫东太初的核心优势在于全栈国产化和产业应用深度。平台已在智能制造、智慧医疗等垂直领域形成成熟应用案例，证明了模型的实用价值。4.0版本的「主动思考」能力是其差异化竞争优势。
紫东太初适合以下用户群体：企业用户，需要多模态AI能力赋能的行业客户；开发者，基于大模型进行应用开发的技术人员；研究人员，从事多模态AI研究的学者；普通用户，体验多模态交互的个人用户。
紫东太初作为全栈国产化多模态大模型，在多模态深度推理、主动思考、180分钟长视频理解等方面具有创新优势。在智能制造、智慧医疗等产业领域有深度积累，是国产大模型发展的重要代表。对于需要多模态AI能力的用户和企业，紫东太初是值得关注的选项。

用户评论

Aaron_Kim_Max

—

紫东太初的长视频理解能力很强，180分钟视频也能精准回答问题。

PaulRoberts

—

作为国产大模型，能做到这个水平已经很不容易了，继续加油！

JeffreyWerner

—

在智能制造领域的应用案例很惊艳，焊接精度0.02毫米超越老师傅。

Sam_anthaWood

—

多模态能力很全面，图文音视频都能处理。

cegevmxp

—

4.0版本的主动思考能力是一大亮点，和国外模型有一战之力。

Laura_Gonzales2

—

医疗领域的库存管理效率提升30倍是真的强！

TuckerKin_g

—

全栈国产化很重要，信息安全问题不用担心的。

Shirley.Perez330

—

智慧医疗应用案例很实际，不是概念产品。

SamuelKujala

—

具身智能的机器人培训很有前景，支持！

CArey

—

期待更多行业应用落地，继续优化模型。

mrqsc0

—

和华为昇腾适配进展怎么样了？

de5pgb

—

有API可以申请试用吗？

Jacqueline47

—

开源程度怎么样？个人开发者能使用吗？

Denise.Stephens_2020580

—

和GPT-4V对比哪个更强？

海浪_27

—

中科院出品必属精品！

DiamondHands493

—

3D点云理解的准确度怎么样？

Sophia.Williams_2020

—

轻量化部署支不支持消费级显卡？

MargaretMendozaII

—

语音生成能力有待提升。

潘博星

—

文档解析最大支持10MB很实用。

夏风936

—

期待5.0版本的表现！

紫东太初

深度报告

用户评论

相关链接

同类产品