一个基于VITS的简单易用的语音转换(变声器)框架,算法相关经验和成果是b站花儿不哭和Rcell经过半年时间做了上百组实验得出的当前的最优解,安装包由入梦集成,包括多款训练好的音源文件和集成入梦虚拟声卡。 软件简介1、使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏 2、即便在相对较差的显卡上也能快速训练 3、使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据) 4、可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge) 5、简单易用的网页界面 6、可调用UVR5模型来快速分离人声和伴奏 配置要求1、win10或win11系统,显卡驱动要更新到最新版本 2、显卡750TI以上,如需训练音源,需RTX 2060以上显卡 3、CPU支持AVX2指令集,性能越高越推理延迟越低 4、清晰干净的麦克风,声卡麦克风最优,如无麦克风可咨询淘宝入梦音频 入梦增强版特点1、对AI变声集成了VB-audio虚拟MME麦克风,可以实时输出 2、对RVC增强了模型地址,减少加载工作量 相比于传统变声器优点1、AI变声不吃个人声线,只需要清晰的说化即可,传统变声器只能根据个人声线进行变化 2、可以训练模型,加载各种声线,语气声线多样化 相比于传统变声器缺点1、延迟太高,通常都是1-5秒以上,传统变声器最低可以无延迟 2、咬字不清晰,气息非常奇怪,感情波动就会失真,非常吃模型的音源 3、吃配置较高,需要CPU和GPU双重占用,配置低就无法使用,RVC目前只能兼容N卡 4、兼容性还是太差了,AI变声目前还不成熟,闪退稳定性有待优化 入梦观点1、使用的时候建议独立声卡或者麦克风,耳机噪音过大会非常影响到AI变声效果,麦克风音质越好,效果越好 2、对CPU和GPU双重资源的压力,部分配置低的用户可能带不动,建议有独立显卡在使用 3、延迟太高,如果使用MME协议输出,延迟在2秒到6秒,如果麦克风音质太低,设置低延迟声音会卡顿 4、说话的时候不能大喊大叫,必须平稳说话,否则声音就变成气音 5、打游戏还是不行的,因为延迟太高,如果说话过快会覆盖下一句话,不能情绪过于激动不然也会变成气音 6、只是发短语音消息而非实时通话,声音还是非常棒的,颠覆了我对于AI变声的印象,科技使人进步 注意1、需要N卡才能玩,建议最低N卡750ti以上 2、所有文件和模型路径不能含有中文,使用时显卡驱动更新到最新版本
|