人类跳舞视频生成是一项引人注目且具有挑战性的可控视频合成任务，旨在根据输入的参考图像和目标姿势序列生成高质量逼真的连续视频。随着视频生成技术的快速发展，特别是生成模型的迭代演化，跳舞视频生成任务取得了前所未有的进展，并展示了广泛的应用潜力。
现有的方法可以大致分为两组。第一组通常基于生成对抗网络（GAN），其利用中间的姿势引导表示来扭曲参考外观，并通过之前扭曲的目标生成合理的视频帧。然而，基于生成对抗网络的方法通常存在训练不稳定和泛化能力差的问题，导致明显的伪影和帧间抖动。
第二组则使用扩散模型（Diffusion model）来合成逼真的视频。这些方法兼具稳定训练和强大迁移能力的优势，相较于基于 GAN 的方法表现更好，典型方法如 Disco、MagicAnimate、Animate Anyone、Champ 等。
尽管基于扩散模型的方法取得了显著进展，但现有的方法仍存在两个限制：一是需要额外的参考网络（ReferenceNet）来编码参考图像特征并将其与 3D-UNet 的主干分支进行表观对齐，导致增加了训练难度和模型参数；二是它们通常采用时序 Transformer 来建模视频帧之间时序依赖关系，但 Transformer 的复杂度随生成的时间长度成二次方的计算关系，限制了生成视频的时序长度。典型方法只能生成 24 帧视频，限制了实际部署的可能性。尽管采用了时序重合的滑动窗口策略可以生成更长的视频，但团队作者发现这种方式容易导致片段重合连接处通常存在不流畅的转换和外貌不一致性的问题。
为了解决这些问题，来自华中科技大学、阿里巴巴、中国科学技术大学的研究团队提出了 UniAnimate 框架，以实现高效且长时间的人类视频生成。