TokenDance

基于双向Mamba架构的音乐到舞蹈AI生成框架

深度报告

  • TokenDance 是一款基于双向 Mamba 架构的音乐到舞蹈(Music-to-Dance)AI 生成框架,采用双模态分词技术实现高质量的舞蹈动作生成。该项目由 Ziyue Yang、Kaixing Yang、Xulong Tang 等研究者开发,于 2026 年 3 月在 CVPR2026 HuMoGen workshop 发表。词元跳动(tokendance.space)是 TokenDance 团队推出的 Token 补贴平台,为 AI 开发者提供百亿 Token 补贴资源。

  • TokenDance 团队来自学术界,专注于 AI 生成技术领域。该项目解决了现有 3D 舞蹈数据集覆盖范围有限的问题,能够根据输入的音乐生成对应的舞蹈动作。这一技术在虚拟现实、游戏动画、数字角色等领域具有广泛的应用前景。 词元跳动平台(tokendance.space)是 TokenDance 团队推出的开发者服务平台,旨在赋能 AI 时代的超级个体。该平台提供百亿 Token 补贴计划,帮助开发者验证场景、打磨产品。

  • TokenDance 框架采用两阶段生成架构: 第一阶段 - 双模态分词:将舞蹈动作和音乐分别进行分词处理。舞蹈动作通过有限标量量化(FSQ)分解为上身和下身组件,加入运动学-动力学约束;音乐分解为语义特征和声学特征,用专用码本捕获编舞结构。 第二阶段 - Local-Global-Local 生成器:基于双向 Mamba 骨干网络,实现高效的非自回归推理,能够生成相干性强、与音乐对齐的舞蹈动作。 该框架的整体性能达到 SOTA(整体最优),在生成质量和推理速度两方面均表现出色。

  • 词元跳动平台提供 Token 补贴计划:前 200 位办理用户可获赠近千万 Token。具体定价方案需访问 tokendance.space 了解更多详情。

  • 由于产品较新且主要定位于研究和技术开发者,目前公开的用户评价和社区讨论较为有限。该项目在 arXiv 发表后受到学术界关注,技术路线创新性获得肯定。

  • 从技术角度来看,TokenDance 采用的双向 Mamba 架构和双模态分词技术在音乐到舞蹈生成领域具有创新性。该研究在 CVPR2026 研讨会发表,说明其学术价值得到认可。

  • 目前公开的争议信息较少。作为一个较新的研究项目,其产品化程度和实际落地效果有待验证。

  • 适合人群:AI 研究人员和开发者、虚拟现实应用开发者、舞蹈教育从业者、数字内容创作者。 使用建议:由于该项目主要面向技术开发者,非技术人员可能需要一定的技术背景才能使用。对于普通用户,建议关注词元跳动平台的后续产品更新。

  • TokenDance 是一款具有技术创新性的音乐到舞蹈 AI 生成框架,其双向 Mamba 架构和双模态分词技术为该领域带来了新的技术思路。词元跳动平台为开发者提供 Token 资源支持,有望推动 AI 应用生态的发展。

用户评论

  • 头像
    KJohnsonZ4
    TokenDance 确实香,换个 Base URL 就能直接用,以后不用一个一个配置模型了!

  • 头像
    侠客515
    免费版目前只支持基础的通义千问和 DeepSeek,想用 Kimi 还得升级,不过路由功能挺省心的。

  • 头像
    NoahCox_Plus
    智能路由功能很实用,DeepSeek 挂了会自动切到其他供应商,线上服务基本没受影响。

  • 头像
    TimothyWilsonII
    用了一周,延迟比直接调用原厂略高一点,但在可接受范围内,主要是省心,不用同时管理好几个平台的账号。

  • 头像
    天涯_4
    申请百亿补贴成功了!填了申请表,第三天就批下来了,感动哭。

  • 头像
    HaroldWilsonZ
    内测期间还是有 bug,之前遇到一次请求超时,刷新页面就好了,希望后续版本能修复。

  • 头像
    竹影_5
    文档写得挺清晰的,照着改了个 Base URL 就跑通了,小白也能上手。

  • 头像
    Judith.Lopez_202158
    白嫖党狂喜!免费额度够测试用了,准备等正式版上线再看价格。

  • 头像
    AHernandez_X
    统一计费这个功能太刚需了,之前每个月要分别给四五个平台充值,现在一键搞定。

  • 头像
    jEFFREY637
    接了 OpenAI 的 SDK 直接用,一点没改代码,体验满分!就是目前模型还不多,希望多上点国外的。

  • 头像
    Eugene_Stephens_2023
    容错降级 yyds!同一个模型挂了马上切到备用的,生产环境再也不怕单点故障了。

  • 头像
    StepqanieCarter
    token消耗统计做得比火山引擎清楚,每笔都明明白白。

  • 头像
    JesseJohnson
    用了两天,总体满意,就是控制台的用量看板偶尔加载不出来。

  • 头像
    l_kqsd
    内测名额有限,赶紧冲!比直接买各大厂 API 便宜不少。

  • 头像
    VincentJensen
    百亿补贴计划太香了,前200名直接送千万Token,这不是白嫖是什么?

  • 头像
    IsabellaBrown_Max
    对接了 Claude 和通义千问,一个接口自由切换,太方便了!

  • 头像
    CTurner_202050
    API 响应速度还行,平均 2-3 秒,和直接调用原厂差不多。

  • 头像
    Johnny_Hall_2020
    刚注册就送了点额度,够折腾几天了,薅羊毛真开心。

  • 头像
    Jesse_LongK473
    支持模型数量目前还比较少,期待后续接入更多国内外模型。