edge 音乐生成的可编辑舞蹈 论文学习笔记_edge: editable dance generation from music-爱代码爱编程
本文不是很严谨,供学习参考,随时更新
EDGE: Editable Dance Generation From Music
音乐生成的可编辑舞蹈
GitHub - Stanford-TML/EDGE: Official PyTorch Implementation of EDGE (CVPR 2023)
1. 我们引入了一种基于扩散的舞蹈生成方法,该方法将最先进的表演与强大的编辑功能相结合,并能够生成任意长的序列。
2. 我们分析了先前工作中提出的指标,并表明它们并不能准确代表大型用户研究报告的人类评估质量。
3. 我们提出了一种使用新颖的接触一致性损失来消除生成运动中脚部滑动物理不可信性的新方法,并引入了物理脚部接触评分,这是一种简单的基于加速度的定量指标,用于对生成的运动学运动的物理合理性进行评分,不需要明确的物理建模。
4. 我们通过利用点唱机 [5] 的音乐音频表示来改进以前的手工制作的音频特征提取策略,Jukebox [5] 是一种预先训练的音乐生成模型,以前在特定于音乐的预测任务中表现出强大的性能 [3, 7]。