
ClotheDreamer 是一种基于 3D 高斯方法的工具,用于从文本提示生成可穿戴的、可生产的 3D 服装资产。由上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出。它采用了一种名为 Disentangled Clothe Gaussian Splatting (DCGS) 的新型表示方法,使得服装和人体模型可以分别优化。
ClotheDreamer:使用3D高斯生成文本引导的服装
ClotheDreamer的官方视频演示:
https://img.pidoutv.com/wp-content/uploads/2024/07/1719920542-teaser.mp4
ClotheDreamer的主要功能特点
- 文本引导生成:通过文本提示生成高保真度的 3D 服装,适用于数字化身创建。
- 解缠结高斯分布 (DCGS):采用新颖的 DCGS 表示方法,使服装和人体模型可以分别优化。
- 虚拟试穿:生成的 3D 服装可以用于虚拟试穿,并支持物理准确的动画。
- 高质量和完整性:结合双向分数蒸馏采样 (SDS) 来监督服装和人体模型的 RGBD 渲染,确保高质量和完整性。
- 定制模板支持:支持自定义服装模板输入,增强了灵活性和可用性。
技术说明
ClotheDreamer,一款创新性的文本到3D生成系统,采用了GaussianDreamer架构,实现了从自然语言描述到高精度3D服装模型的快速转换。该系统核心在于其独特的生成流程:首先,利用预先训练的语言模型深度解析用户输入的文本描述,精准捕捉设计意图;随后,这一文本编码被巧妙地用于调节3D高斯曲面的生成过程,该曲面作为服装几何形状的载体,能够细腻地表达从平滑曲面到复杂褶皱的多种形态。
ClotheDreamer的训练基于庞大的3D服装模型数据集及其详尽的文本标注,确保了模型能够学习到丰富的服装样式与结构特征。在推理阶段,系统能够即时响应文本输入,预测并生成与之高度匹配的3D服装网格,展现了卓越的生成效率与精度。
此外,ClotheDreamer还引入了多项扩展功能,如LAGA(Layered Avatar Generation via Autoregressive Sewing from Text),实现了文本驱动的分层3D头像与着装自动生成,以及基于自回归算法的精细缝纫模拟,进一步提升了系统的个性化定制能力与设计自由度。
局限性分析
尽管ClotheDreamer在文本到3D生成领域取得了显著突破,其当前实现仍存在一定的局限性。首要挑战在于训练数据的规模与多样性。受限于当前可用的3D服装模型数据集,系统可能难以全面覆盖所有服装风格与款式,尤其是在处理非常规或高度个性化的设计时显得力不从心。
其次,3D高斯曲面作为服装几何形状的表示方法,虽然能够有效捕捉复杂几何特征,但在处理某些极端形态(如尖锐折痕、高度不对称形状)时可能略显不足。这限制了系统在特定设计场景下的表现。
进一步的研究可以探索扩展数据集、改进 3D 表示以及增强系统处理更广泛的服装类型和款式的能力的方法。正如相关工作中所暗示的那样,将 ClotheDreamer 与其他 3D 建模工具或头像生成系统集成,也可以解锁该技术的新应用和用例。
数据统计
相关导航

Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。该模型通过识别漫画页面上的面板、文字块和角色,实现了全自动的剧本生成功能。

CineMaster
CineMaster是一个3D感知和可控的文本到视频生成框架,旨在帮助用户创建高质量的电影视频。该框架通过两个阶段的工作流程,赋予用户专业电影导演般的控制力,允许他们在 3D 空间中精确地放置场景中的对象,并灵活地操控对象和摄像机。

星流图像大模型
星流图像大模型由 LiblibAI 发布的一款自研图像大模型,名为 Star-3 Alpha。该模型基于业界领先的 F.1 基础算法架构训练而成,辅以全球最大的 LORA 增强模型库及不断进化的 AI 图像控制能力。在图像精准度、色彩表现力、美学捕捉的细腻表达等方面实现了显著的飞跃,成为新的业界标杆。

M2UGen
M2UGen是一个由腾讯和新加坡国立大学共同研发的多模态音乐生成模型,它具备音乐生成、理解和编辑的能力。具体来说,M2UGen可以接收文字、图片、视频或音频作为输入,然后生成与之相匹配的音乐。例如,给它一段文字,如诗句或故事,它能够创作出与文字内容相应的音乐;对于图片,它能创作出匹配的音乐,让图片仿佛“动起来”;对于视频,它可以根据视频内容创作出合适的背景音乐。

星火大模型
讯飞星火大模型是由科大讯飞推出的新一代认知智能大模型,拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。可基于自然文本、语音的方式提供多场景文本生成、语言理解、知识问答、逻辑推理、数学解答、代码生成和多模态7大能力,快速生成文本、图片、代码等内容。

Tarsier
Tarsier是由字节跳动研发的大规模视频语言模型家族,旨在生成高质量的视频描述,并具备良好的视频理解能力。Tarsier 采用了简单的模型结构,结合了 CLIP-ViT 编码帧和 LLM 模型来建模时间关系。通过精心设计的两阶段训练策略,Tarsier 展现出了强大的视频描述能力和视频理解能力,在多个公共基准测试中取得了最先进的成果。

悟道大模型
悟道大模型是由北京智源人工智能研究院发起的超大规模预训练模型研究项目,不仅具备强大的语言理解和生成能力,还能进行逻辑推理、代码分析、图像生成等多种任务,支持多种类型的文本内容生成,如小说、歌词、诗歌、对联等。

Llama 2
Llama 2是Meta AI推出的新一代大型语言模型(LLM),参数规模从70亿到700亿不等。它是为对话场景而优化的,称为Llama 2-Chat,能够在多数基准上超越开源的对话模型,并且在人类评估的有用性和安全性上,可能是闭源模型的合适替代品。
暂无评论...