腾讯混元3D

5天前发布 2 00

腾讯混元3D,全称为 Hunyuan3D-1.0,是腾讯推出的首个同时支持文生和图生的3D开源模型,专门解决现有3D生成模型在生成速度和泛化能力方面的不足。该模型采用了基于Diffusion 技术...

收录时间:
2024-11-29
腾讯混元3D腾讯混元3D
腾讯混元3D

腾讯混元3D,全称为Hunyuan3D-1.0,是腾讯推出的首个同时支持文生和图生的3D开源模型,专门解决现有3D生成模型在生成速度和泛化能力方面的不足。该模型采用了基于Diffusion 技术的架构,能够同时支持文本生成和图像生成3D资产。

腾讯混元3D:首个同时支持文生和图生的3D开源模型

技术特点与创新

  • 快速生成:轻量版模型能够在 10 秒内生成高质量的 3D 资产,支持快速单图生成 3D,包括 mesh 和 texture 提取。
  • 两阶段生成方法:采用多视图生成和多视图重建的两步流程。首先通过多视角扩散模型合成多个不同视角的新图像,然后使用基于 Transformer 的稀疏视角大规模重建模型生成 3D 资产。
  • 自适应 CFG 技术:在多视图生成阶段,通过调整不同视角和时间步的 classifier-free guidance(CFG)尺度值,确保生成的图像既接近输入又具有多样性。
  • 开源全面性:模型权重、推理代码、算法等全部开放,提供轻量版和标准版,极大降低了 3D 内容创作的门槛。
  • 强大的泛化能力:能够重建各类尺度的物体,大到建筑,小到工具花草,适应多种创作需求。

性能与应用

  • 超越 SOTA:在定性和定量评估中,Hunyuan3D-1.0 的表现超越了其他开源模型,尤其在生成速度和泛化能力方面。
  • 应用广泛:已应用于腾讯的多个业务场景,如腾讯地图的 3D 车标重建和自定义 3D 导航车标功能等,显著提升了效率和创作自由。
  • 行业影响:为游戏开发、影视制作、虚拟现实(VR)等领域提供了强大的工具,促进了 AI 生成 3D 内容的创新和应用。

应用场景

  • 游戏开发:生成高质量的游戏角色、道具和建筑等 3D 资产,大幅提升游戏开发效率。
  • 影视动画:为创作者自动生成 3D 影视角色及动作效果,辅助完成动画创作。
  • 电商广告:根据广告创意主题生成 3D 商品,实现互动特效,提升广告内容创意。
  • 虚拟现实(VR)/增强现实(AR):生成逼真的 3D 虚拟环境元素及互动内容,增强沉浸式体验。

开源信息

腾讯混元3D 生成大模型 Hunyuan3D-1.0 已于 11 月 5 日正式开源。该模型是业界首个同时支持文字、图像生成 3D 的开源大模型,提供轻量版和标准版两种选择,为开发者提供更多的创作机会。

  • Github 项目
  • Hugging Face

数据统计

相关导航

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...