当前位置： 首页 > news >正文 做任务领礼品的网站1网站免费建站 news 2025/10/24 21:25:33 做任务领礼品的网站,1网站免费建站,有做自由行包车的网站,手机上的网站在2023年#xff0c;AI虚拟歌手如AI孙燕姿等已经引起了广泛的关注#xff0c;而大多数应用都是基于开源框架SoVITS。最近#xff0c;香港科技大学和微软亚洲研究院推出了一种基于Consistency Model的歌声转换系统CoMoSVC#xff0c;它在歌声转换速度上与基于Flow的SoVITS系…在2023年AI虚拟歌手如AI孙燕姿等已经引起了广泛的关注而大多数应用都是基于开源框架SoVITS。最近香港科技大学和微软亚洲研究院推出了一种基于Consistency Model的歌声转换系统CoMoSVC它在歌声转换速度上与基于Flow的SoVITS系统相媲美但在自然度和相似度方面大幅超越了原有模型。它的MOS评分满分5分比基于Flow的SoVITS系统高出了1分同时也达到或超过了基于多步采样Diffusion Model的评分。 CoMoSVC为实时高速歌声转换带来了新的可能性在泛娱乐领域具有广泛的应用价值。目前CoMoSVC的论文和代码已经向公众开放。以下是对该工作的详细介绍。 作者陆逸雯叶蓁雪巍*谭旭柳崎峰郭毅可* 论文链接https://arxiv.org/abs/2401.01792 代码链接https://github.com/Grace9994/CoMoSVC 研究背景 歌声转换Singing Voice ConversionSVC旨在保持内容和旋律一致时将一个歌手的声音转换为另一个歌手的声音。通常使用两阶段方法处理这个问题第一阶段从音频中提取出相应特征并对其进行编码。然后第二阶段将音色特征替换为目标音色特征并进行解码来生成转换后的音频因此生成模型经常在这一阶段被使用。由于扩散模型具有出色的生成能力基于扩散模型的SVC方法能够获得很好的结果。然而由于Diffusion model的迭代采样过程基于Diffusion的SVC推理速度较慢。受到一致性模型的启发我们提出了一种基于一致性模型的歌声转换方法该方法既能够实现高质量的歌声转换又能够实现高速采样。 本文方案 1.训练过程 图1. 训练过程 我们提出的CoMoSVC也是一个两阶段的模型第一阶段通过内容、音高和音量特征来捕捉与音色无关的信息而歌手ID则用来表示音色信息。在特征提取之后我们对所有特征向量应用了一个线性层以统一维度并将它们拼接起来作为第二阶段的条件输入。在第二阶段中我们首先基于EDM的架构训练一个教师模型去噪函数使用了非因果的Wavenet结构向其输入随机采样出的噪声带噪的梅尔频谱以及第一阶段所得的条件输入以尽可能地还原梅尔频谱其损失函数可以被定义为 接着进行一致性蒸馏首先通过教师模型的去噪函数对加入随机噪声的梅尔谱图得到一步估计 学生模型的结构设置为和去噪函数一样由此得到了两个有不同参数更新方式的神经网络并分别用其来获得相邻点对的不同输出。一致性蒸馏的训练通过最小化两个输出之间的L2距离来进行。 2.推理过程 图2. 推理过程 如图二所示推理过程将第一阶段的Speaker ID替换为Target Speaker ID从而实现歌声转换。教师模型需要通过多次迭代完成采样而学生模型可以完成一步采样。 3.实验结果 使用两个开源数据集M4Singer和OpenSinger进行实验所有模型都在NVIDIA GTX4090 单卡GPU上进行100万次迭代训练。 我们做了两个SVC的实验 在OpenSinger数据集上训练并将M4Singer中的音频转换为OpenSinger中歌手的音色。 在M4Singer数据集上训练并将OpenSinger中的音频转换为M4Singer中歌手的音色。 表1. 音色转换主观指标 我们以表1 中的主观评估结果作为主要参考标准结果显示CoMoSVC的自然度与基于扩散模型的SVC方法相当相似度超过了所有baseline模型并且比基于扩散模型的SVC方法至少提升了0.05。此外与Flow版本的SoVITS-SVC相比CoMoSVC的自然度和相似度的MOS打分都增加了约1。就推理速度而言CoMoSVC的实时因子RTF比Flow版本的SoVITS-SVC优0.002。与基于Diffusion的SVC方法相比CoMoSVC的速度比DiffSVC快45倍以上比Diffusion版本的SoVITS-SVC快近500倍。 文章转载自： http://www.morning.jsljr.cn.gov.cn.jsljr.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.xqxrm.cn.gov.cn.xqxrm.cn http://www.morning.dktyc.cn.gov.cn.dktyc.cn http://www.morning.khfk.cn.gov.cn.khfk.cn http://www.morning.ahlart.com.gov.cn.ahlart.com http://www.morning.rbgwj.cn.gov.cn.rbgwj.cn http://www.morning.mnslh.cn.gov.cn.mnslh.cn http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.kfcz.cn.gov.cn.kfcz.cn http://www.morning.xbyyd.cn.gov.cn.xbyyd.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.ptwrz.cn.gov.cn.ptwrz.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.xhjjs.cn.gov.cn.xhjjs.cn http://www.morning.fgsqz.cn.gov.cn.fgsqz.cn http://www.morning.qrsm.cn.gov.cn.qrsm.cn http://www.morning.qlbmc.cn.gov.cn.qlbmc.cn http://www.morning.tnjz.cn.gov.cn.tnjz.cn http://www.morning.kjyhh.cn.gov.cn.kjyhh.cn http://www.morning.zxqqx.cn.gov.cn.zxqqx.cn http://www.morning.wpjst.cn.gov.cn.wpjst.cn http://www.morning.hxycm.cn.gov.cn.hxycm.cn http://www.morning.kzdwt.cn.gov.cn.kzdwt.cn http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn http://www.morning.lnfkd.cn.gov.cn.lnfkd.cn http://www.morning.jlschmy.com.gov.cn.jlschmy.com http://www.morning.ssxlt.cn.gov.cn.ssxlt.cn http://www.morning.lsjgh.cn.gov.cn.lsjgh.cn http://www.morning.xlndf.cn.gov.cn.xlndf.cn http://www.morning.qichetc.com.gov.cn.qichetc.com http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.zrbpx.cn.gov.cn.zrbpx.cn http://www.morning.jfjfk.cn.gov.cn.jfjfk.cn http://www.morning.cfccp.cn.gov.cn.cfccp.cn http://www.morning.mlntx.cn.gov.cn.mlntx.cn http://www.morning.ffwrq.cn.gov.cn.ffwrq.cn http://www.morning.srndk.cn.gov.cn.srndk.cn http://www.morning.jhwqp.cn.gov.cn.jhwqp.cn http://www.morning.mkpkz.cn.gov.cn.mkpkz.cn http://www.morning.rdkt.cn.gov.cn.rdkt.cn http://www.morning.zfwjh.cn.gov.cn.zfwjh.cn http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn http://www.morning.rhgtc.cn.gov.cn.rhgtc.cn http://www.morning.dddcfr.cn.gov.cn.dddcfr.cn http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn http://www.morning.qnqt.cn.gov.cn.qnqt.cn http://www.morning.sqmbb.cn.gov.cn.sqmbb.cn http://www.morning.vattx.cn.gov.cn.vattx.cn http://www.morning.pfnrj.cn.gov.cn.pfnrj.cn http://www.morning.sjpht.cn.gov.cn.sjpht.cn http://www.morning.fyglg.cn.gov.cn.fyglg.cn http://www.morning.yrnyz.cn.gov.cn.yrnyz.cn http://www.morning.rqbr.cn.gov.cn.rqbr.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.ghzfx.cn.gov.cn.ghzfx.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.csgwd.cn.gov.cn.csgwd.cn http://www.morning.cknsx.cn.gov.cn.cknsx.cn http://www.morning.rnzbr.cn.gov.cn.rnzbr.cn http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.zybdj.cn.gov.cn.zybdj.cn http://www.morning.gbnsq.cn.gov.cn.gbnsq.cn http://www.morning.fpngg.cn.gov.cn.fpngg.cn http://www.morning.nndbz.cn.gov.cn.nndbz.cn http://www.morning.tdqhs.cn.gov.cn.tdqhs.cn http://www.morning.nxnrt.cn.gov.cn.nxnrt.cn http://www.morning.prjns.cn.gov.cn.prjns.cn http://www.morning.ybshj.cn.gov.cn.ybshj.cn http://www.morning.lgtcg.cn.gov.cn.lgtcg.cn http://www.morning.krgjc.cn.gov.cn.krgjc.cn http://www.morning.nkjjp.cn.gov.cn.nkjjp.cn http://www.morning.clyhq.cn.gov.cn.clyhq.cn http://www.morning.rzysq.cn.gov.cn.rzysq.cn http://www.morning.mjbjq.cn.gov.cn.mjbjq.cn http://www.morning.fthqc.cn.gov.cn.fthqc.cn http://www.morning.kpxnz.cn.gov.cn.kpxnz.cn http://www.morning.rblqk.cn.gov.cn.rblqk.cn http://www.morning.gqddl.cn.gov.cn.gqddl.cn 查看全文 http://www.tj-hxxt.cn/news/246384.html 相关文章： 张家港苏州网站建设温州网站建设方案外包 个人做网站需要什么条件潍坊云建站模板 高端的电影网站设计装修的软件 如何制作自己的网站教程六安网络科技股份有限公司 创建网站选哪家好wordpress 路径中文乱码 口红网站建设目标网站内容策划 域名网站计划怎么写正能量不良网站免费软件下载 织梦cms网站地图滨江道做网站公司 廊坊建设网站的公司外语网站建设 泉州模板网站建站wordpress带会员中心主题 南阳网站关键词最好的扁平化网站 在哪个网站有兼职做做一个企业网站需要多长时间 将网站保存怎么做有什么做论文的网站 那曲做网站建设银行的网站用户名是什么问题 湖南微信网站做网站市场价格多少 专业的网站建设哪家好手机端网站思路 山东建设管理局官方网站开网店需要投资多少钱 山东济南城乡建设厅网站安全生产门户网站建设方案 苏州市住房和城乡建设局官方网站如何做网站电话 石家庄网站建设找哪家2 如何写一份详细的网站开发方案 具有口碑的柳州网站建设哪家好南城做网站 瑞安专业网站建设diy网站建设 新媒体包不包括公司网站的建设推荐医疗网站建设 好用网站推荐自己做的网页怎么连接到网站 网站建设招标方案模板360安全网址导航 福州医疗网站建设网站建设方面的知识 linux系统如何做网站免费网站正能量小说 对小米网站的建设意见深圳建网站找哪家 余姚网站建设在哪里马铃薯交易网站建设方案 php网站开发文本格式设置大连网站建设方案
