
Animate Anyone是一种基于扩散模型打造的可控视频生成框架,通过图文就能制作高质量人类跳舞视频。用户只需上传一张人像,以及一段提示词,就能生成对应的视频,而且改变提示词,生成的人物的背景和身上的衣服也会跟着变化。简单来说就是,一张图、一句话就能让任何人或角色在任何场景里跳舞。
用户可以通过多种方式来输入和控制视频内容。首先,通过文本提示,用户可以描述视频的场景设置、人物动作或特定主题。其次,用户可以上传人脸图像或其他身体特征的图像,以确保视频中的人物具有相似的外观特征。此外,用户还可以输入姿势或深度序列,以定义视频中人物的具体动作和姿态。最后,用户还可以上传服装样式图像,以指定视频中人物的穿着。
Animate Anyone的模型包括一个视频控制网络和一个内容导引器,它可以在保留身份信息的同时实现运动控制,使模型易于使用且能生成多样化的结果。无论是为了娱乐、广告制作还是艺术创作,只要有目标身份和姿势序列,就可以使用Animate Anyone创造独特的舞蹈视频。
论文链接:https://arxiv.org/pdf/2311.17117.pdf
项目地址:https://humanaigc.github.io/animate-anyone/
体验地址:https://huggingface.co/spaces/xunsong/Moore-AnimateAnyone
Animate Anyone的功能特点
- 高质量视频生成: Animate Anyone 基于先进的扩散模型,能够生成高质量的定制人类舞蹈视频。它精细地捕捉人物的姿态和动作,使得生成的舞蹈视频在细节上表现出色,达到了近乎真实的视觉效果。
- 自定义姿势与身份控制:用户可以通过输入自定义的姿势序列,精确控制生成视频中的人物动作。无论是简单的步伐还是复杂的舞蹈动作, Animate Anyone 都能够根据用户的输入进行准确模拟。同时,用户还可以上传人脸参考图像,以控制生成视频中的人物身份,确保人物面部特征和表情的保留。
- 运动控制与内容导引: Animate Anyone 具备运动控制和内容导引功能,能够确保生成的舞蹈视频在动作准确性和身份信息保留方面达到最佳效果。模型中的运动控制网络能够精确捕捉人物的运动轨迹,而内容导引器则能够确保视频内容的连贯性和一致性。
- 简单的文本与图像输入:用户可以通过简单的文本提示和图像输入来控制视频内容。文本提示可以帮助用户描述视频的场景设置、人物动作或特定主题,而图像输入则可以用于指定视频中人物的外观和服装样式。这种输入方式既直观又方便,使得用户可以轻松创建个性化的舞蹈视频。
- 多样化的应用场景: Animate Anyone 适用于多种应用场景,包括娱乐、广告制作、艺术创作等。无论是为了制作个人娱乐视频,还是为了商业广告或艺术创作,DreaMoving都能够提供高质量的舞蹈视频生成解决方案。
本地部署 AnimateAnyone,下载安装模型全流程演示攻略视频教程:
https://img.pidoutv.com/wp-content/uploads/2024/03/1424163892-1-16-1.mp4
数据统计
相关导航

Grok-1是马斯克旗下AI创企xAI发布的一款开源AI大模型。它是一个混合专家(Mixture-of-Experts,MOE)大模型,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿,是迄今参数量最大的开源大语言模型。旨在用作聊天机器人背后的引擎,用于包括问答、信息检索、创意写作和编码辅助在内的自然语言处理任务。

CatVTON
CatVTON是一款基于扩散模型的虚拟试穿技术工具,旨在提供高效、低资源需求的虚拟试穿体验。通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿,该方法有效地降低了模型复杂度和计算成本,同时保持了高质量的虚拟试衣效果,特别适用于电商平台、时尚设计、个人造型顾问、增强现实应用和虚拟时装秀等场景。

天谱乐
天谱乐是唱鸭旗下的AI音乐品牌,为用户提供个性化、智能化的音乐创作体验。它支持文本、图片和视频生成音乐,让创作变得简单便捷。利用先进的多模态理解与生成技术,天谱乐能够生成与图片和视频情感高度契合的音乐,并提供发行级的歌曲创作服务。无论是专业音乐人还是普通爱好者,天谱乐都能帮助您高效创作出独一无二的音乐作品。

ClotheDreamer
ClotheDreamer 是一种基于 3D 高斯方法的工具,用于从文本提示生成可穿戴的、可生产的 3D 服装资产。由上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出。它采用了一种名为 Disentangled Clothe Gaussian Splatting (DCGS) 的新型表示方法,使得服装和人体模型可以分别优化。

魔搭ModelScope社区
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

妙笔
妙笔是阿里巴巴最新开源的中文文生图模型,它与经典的Stable Diffusion 1.5版本结构相同,兼容现有的lora、controlnet等主流插件及其权重。妙笔的特点是用户可以直接输入中文进行文生图操作,生成的图像效果逼真。例如,输入“枯藤老树昏鸦,小桥流水人家。水墨画。”,妙笔能够理解诗句中的意境并生成相应的图像。

华知大模型
华知大模型是由同方知网与华为合作开发的中华知识大模型。它是一个专注于知识服务与科研行业的全栈自主可控的大模型,旨在覆盖政企文教等多个行业场景,并提供30多项通用能力体系。华知大模型的核心特色能力包括智能写作、学术搜问、AI伴读、标准智能问答、机构业务知识智能问答以及图书馆读者智能服务系统等。

神力霓裳
神力霓裳是阿里大文娱发布的自研影视妆造大模型。这个模型可以根据要求快速生成影视级的各朝代服饰造型,辅助造型师进行创意设计。它主要服务于古装剧,包含造型设计、妆发设计和纹样设计三大功能。
暂无评论...