美文网首页
用PaddlePaddle做的视频模仿秀,很糙~

用PaddlePaddle做的视频模仿秀,很糙~

作者: LuckilyHaveYou | 来源:发表于2020-05-08 11:41 被阅读0次

    目标:

    模仿秀的目的是根据流行的舞蹈视频,生成一段动作与其相似的用户视频。用户需要提供一段被模仿的视频短片,此外用户需要提供多段的素材视频,素材视频中用户可以模仿舞蹈视频的动作。工程会对舞蹈视频的动作进行分析,从素材当中找到与之最接近的动作图片,然后将所有图片进行接拼,最后生成一段自定义的舞蹈视频。

    https://www.bilibili.com/video/BV1YV411d719/

    流程:

    流程.png

    AIStudio项目地址

    还需要优化

    目前完成了1.0版本。实测发现效果并不理想,后面还可以继续优化。
    优化点:

    1. 动作匹配方法更新,目前是会对肢体的若干个角度。进行计算欧氏距离,找到最近的姿态。
    2. 异常情况处理,在计算角度的时候发现有些姿态的点重合了,导致角度无法计算,NaN
    3. 匹配计算速度需要优化
    4. 可以尝试将人抠出来,然后放到新的场景当中
    5. 在匹配过程中考虑动作的连续性

    去github

    相关文章

      网友评论

          本文标题:用PaddlePaddle做的视频模仿秀,很糙~

          本文链接:https://www.haomeiwen.com/subject/qfnxnhtx.html