VoiceFlow:高效的文本到语音的纠正流量匹配
尽管基于扩散去噪模型的语音合成已经展现了强大的生成能力，从扩散模型中采样本身是一个复杂的迭代过程，这降低了合成的效率。在这篇论文中，我们提出VoiceFlow，一个基于整流匹配（rectified flow matching）的语音合成声学模型，来在极有限的采样步数下即实现高质量的语音合成。VoiceFlow把生成梅尔谱的过程视为从一个以文本为条件的常微分方程中采样，这一常微分方程对应的向量场由神经网络来估计。随后整流匹配的算法有效地将采样轨迹进行笔直化，从而降低了必要的采样步数。我们在单说话人和多说话人的数据集上同时进行了实验，用主观和客观的指标展现VoiceFlow能高效地生成比对应扩散模型更高质量的音频。同时，我们也进行了消融实验来证明VoiceFlow中整流匹配技巧的有效性。
语音之家
发消息
助力AI语音开发者的社区，前沿AI资讯聚合，全平台同名。
狂送茅台
ICASSP2024论文预讲会
（25/40）
自动连播
9049播放
简介
订阅合集
通过扬声器提示调优和适配器表示的双参数高效微调【香港理工大学】
02:40
非对称干净片段引导的自监督学习用于声纹识别
01:42
【ICASSP2024】基于记忆感知和Seq2Seq架构的说话人日志系统
02:48
利用基于熵的融合以及基于剪枝的网络架构优化改进多模态情感识别
02:33
自适应过滤器的元学习初始化背后是什么？-是一种加速自适应多通道主动噪声控制收敛的简单方法
02:09
基于无监督学习的端到端无分层生成固定滤波器主动噪声控制
03:06
基于多通道时空特征和知识蒸馏的鲁棒目标说话人提取研究
02:09
一种端到端脑电图通道选择的脑辅助语音增强方法
03:21
具有频率和时间激励网络的双通道异常声音检测框架
01:42
说话人日志与语音识别的多层联合推理
02:59
利用基于帧级跨模态注意力的音视频Confomer的鲁棒音视频唤醒词识别
02:33
SlideSpeech：大规模幻灯片丰富的语音-视频语料库
02:23
VoxBlink:短视频上的大规模说话人验证数据集
03:32
基于多目标渐进聚类的半监督说话人识别域自适应
01:28
利用唤醒词参考语音的高效个人语音活动检测
01:21
基于平行语料的可逆变声
02:40
TF-SepNet：一种用于低复杂度声学场景分类的卷积神经网络中的高效一维核设计
01:50
通过特征解纠缠技术进行跨城市和设备的声学场景分类
02:14
自动音频字幕的图形注意事项
02:15
利用元数据辅助音频生成估计未知异常的无监督异常声音检测
01:27
域移下异常声音检测的分层元数据信息约束自监督学习
01:50
ReFlow-TTS：一个用于高保真的文本到语音的校正流模型
02:22
MISP 2023挑战中视听目标扬声器提取的XMUSPEECH系统
01:57
面向通用语音离散标记：ASR和TTS的一个案例研究
01:36
VoiceFlow:高效的文本到语音的纠正流量匹配
02:23
一个使用单事件声音的详细的音频-文本数据模拟管道
02:49
基于音频辨别的对比学习在连续语音中的可定制关键词检测
01:46
TDT-KWS：基于标记和持续时间转换器的快速精准关键词检测系统
01:48
一次性敏感度感知混合稀疏性剪枝技术在大规模语言模型中的应用
02:33
基于多级域适配器的鲁棒跨域说话人验证技术
02:09
PromptVC：基于自然语言提示的潜在空间灵活风格语音转换
01:30
DualVC 2：用于统一流式与非流式语音转换的动态掩码卷积
01:35
SponTTS：自发风格建模与迁移的文本到语音合成
03:01
MISP 2023挑战赛中基于音频质量的多策略目标说话人提取
01:36
MLCA-AVSR：基于多层交叉注意力融合的视听语音识别
02:22
RaD-Net：一种用于语音信号改善的修复与降噪网络
02:06
BS-PLCNet：基于多任务学习和多判别器的频带分解丢包隐藏网络
02:45
跨多种阵列拓扑结构的多通道语音识别自动通道选择与空间特征集成
01:27
SELM：基于离散标记和语言模型的语音增强方法
02:11
【ICASSP2024 】 SponTTS: 面向自发风格的语音合成与风格迁移 西北工业大学
01:29
顶部