Audiobox是Meta于2023年11月30日推出的免费开源的AI语音和声音生成模型,12月11日上线在线网页版本,用户可免费体验该模型的能力。Audiobox是Meta继Voicebox后推出的最新一代的音频生成模型,可以结合使用语音输入和自然语言文本提示来生成语音和音效,从而可以轻松地为各种用例创建逼真的自定义音频。
Audiobox的主要功能
- 克隆用户声音:录制声音按照用户的声音风格或以任意音频样本的风格生成语音
- 文本描述生成人声:使用文本描述声音风格的特征以及声学环境生成人声
- 更改声音风格:可结合声音和文本描述更改现有的声音风格
- 本文描述生成音效:根据输入的声音特征文本描述生成声音效果
- 噪音消除:提供Magic Eraser功能消除录音中的瞬态噪声
- 声音填充:根据文本描述用新的声音替换音频中的一部分
- 音频故事制作器:结合以上功能,利用Audiobox Maker制作原创有趣的音频故事