阿里对口型项目EMO开启内测 可将在照片转为唱歌视频
原标题:阿里对口型项目EMO开启内测 可将在照片转为唱歌视频
导读:
演员姜武月日入驻抖音短短两天粉丝已经突破万首个视频点赞破万姜武辟谣了网上关于自己岁才会说话的传言调侃岁就岁吧别传成岁就行在姜文导演的月日消息千呼万唤始出来阿里对口型项目终于开启...
演员姜武3月18日入驻抖音,短短两天,粉丝已经突破32万,首个视频点赞破56万。姜武辟谣了网上关于自己4岁才会说话的传言,调侃4岁就4岁吧,别传成10岁就行”。在姜文导演的
4月25日 消息:千呼万唤始出来!阿里对口型项目终于开启内测了。它能够将一张简单的照片转化为唱歌视频,为用户提供了一种全新的数字人出镜体验。
EMO模型的特点:
简便的操作: 用户只需提供一张照片和克隆的语音模型,即可定制自己的数字人像。
低成本: 与Heygen等需要录制长视频和高算力成本的产品相比,EMO模型提供了一种免费且高效的解决方案。
广泛的适用性: 不仅限于写实人像,3D模型和二次元漫画风格也能生成视频,满足不同用户的需求。
自然的表达: EMO模型在talking head领域首次提出weak condition(弱控制)设计,通过较弱的控制条件引导diffusion去噪过程,生成表情丰富、表现力强的人脸。
技术实现:
EMO模型通过算法pipeline中的face locator和speed layers控制人脸生成区域与人头动作频率,保留了diffusion模型的生成创造能力。
模型在训练中学习音频特征与图像像素的对应关系,放大音频特征对相关像素的影响,确保人物表情口型与音频特征一致。
EMO在250小时的人物讲话视频上训练,不仅匹配了音频中具体发音与人像口型,还发现了音频中的语气特征与人物表情的关联性,将音频中的情绪色彩反映到人物微表情上。
内测链接申请地址:https://www.wjx.top/vm/exOVbr1.aspx#
项目地址:https://top.aibase.com/tool/emo
- 版权所属:王牌阁
- 本文地址:http://school.uexe.cn/20901.html
- 版权声明:原创文章,转载时必须以链接形式注明原始出处及本声明。