M2UGen

M2UGen是一个由腾讯和新加坡国立大学共同研发的多模态音乐生成模型，它具备音乐生成、理解和编辑的能力。具体来说，M2UGen可以接收文字、图片、视频或音频作为输入，然后生成与之相匹配的音乐。例如，给它一段文字，如诗句或故事，它能够创作出与文字内容相应的音乐；对于图片，它能创作出匹配的音乐，让图片仿佛“动起来”；对于视频，它可以根据视频内容创作出合适的背景音乐。