“

你是否想过，从一张简单的2D图片到一个细节丰富、材质逼真的3D模型，最快需要多长时间？微软研究院的最新答案令人震惊：最快仅需约3秒。让我们一同深入探索这项颠覆性技术背后的核心奥秘。

摘要

TRELLIS.2 是一款拥有40亿参数的大型3D生成模型，其核心是名为 O-Voxel 的新型“免场”稀疏体素结构。该技术突破了传统等值面场（如SDF）在处理开放表面和非流形几何体时的限制，能够从单张图像直接生成具有任意复杂拓扑、锐利特征和完整PBR材质（包括透明度）的高分辨率3D资产，且推理速度极快。

第一部分：3D生成的范式革新——为何是TRELLIS.2？

长久以来，高质量3D内容的创建一直是计算机图形学和人工智能领域的核心挑战。传统方法要么依赖于繁琐的手工建模，要么受限于生成模型在拓扑结构和物理精度上的表现。

现有的生成式3D模型，大多建立在等值面场（例如有符号距离场SDF或神经辐射场NeRF）的基础之上。这类方法如同用一个“模具”去塑造物体，当遇到开放表面（如一片叶子、一件飘扬的衣物）或非流形几何体（如两个立方体共享一条边）时，就显得力不从心，往往导致信息丢失或生成结果失真。

TRELLIS.2的诞生，正是为了解决这些根本性痛点。 它不再依赖于传统的“场”，而是引入了一种原生、紧凑的结构化潜在表示——O-Voxel，实现了从图像到高品质3D资产的“一步到位”。

核心价值速览

  • •
    生成质量与效率的平衡：在顶级的NVIDIA H100 GPU上，生成512³分辨率的带纹理资产仅需约3秒，1024³分辨率约17秒，1536³分辨率约60秒。
  • •
    拓扑结构无限制：原生支持开放表面、非流形几何和内部封闭结构，无需任何有损转换。
  • •
    全功能材质输出：不止于基础颜色，同时生成基础色、粗糙度、金属度和不透明度四大PBR通道，支持透明与半透明材质。
  • •
    极致简化的流程：从图像到可渲染的3D网格，整个过程无需任何基于优化的微调或迭代渲染，实现了真正的端到端生成。

第二部分：核心技术解剖——O-Voxel，不只是体素

理解TRELLIS.2，关键在于理解其心脏：O-Voxel。你可以将它想象成一种“智能乐高”——它不仅定义了3D空间中的一个个小方块（体素），还为每个小方块精确地绑定了其表面属性和空间关系。

O-Voxel的三大突破性设计

  1. 场依赖的终结
    O-Voxel是一种“免场”表示。它不通过隐函数（如SDF）间接描述表面，而是直接、显式地在稀疏的体素网格中编码几何与外观。这从根本上避免了等值面提取可能带来的拓扑限制和精度损失。

  2. 几何与外观的统一载体
    每个激活的O-Voxel不仅包含其空间坐标，还内嵌了该位置表面的完整PBR材质属性。这意味着几何信息与纹理信息在生成过程中被同步、对齐地建模，确保了最终贴图与模型表面的完美契合。

  3. 高效率的双向转换

    • •
      编码（网格 → O-Voxel）：在单核CPU上，将带纹理的网格转换为O-Voxel表示耗时小于10秒。
    • •
      解码（O-Voxel → 网格）：在CUDA加速下，逆向转换回带纹理的网格仅需小于100毫秒。
      这种近乎瞬时的转换能力，使得O-Voxel成为一种极其高效的中介表示，完美衔接了神经网络的学习与最终3D资产的输出。

与传统方法的直观对比

特性 传统等值面场方法 (SDF, NeRF) TRELLIS.2 O-Voxel 方法
拓扑处理能力 受限，难以处理开放/非流形结构 无限制，原生支持任意拓扑
外观建模 通常分开处理或简化 统一建模完整PBR材质
生成流程 常需耗时的优化或微调 端到端，优化/渲染全免
转换速度 等值面提取可能较慢 瞬时双向转换 (<100ms CUDA)
潜在空间 密集或非结构化 紧凑且结构化 (16×下采样)

第三部分：模型架构与性能——当规模遇见巧思

TRELLIS.2是一个参数量达到40亿的庞然大物，但其设计处处体现着对效率的追求。

紧凑的潜在空间设计

模型采用了一个稀疏3D VAE，其关键创新在于高达 16倍的空间下采样率。想象一下：一个1024³分辨率的3D资产，被编码到潜在空间后，仅用大约 9.6K个潜在标记 就能表示，并且感知质量损失微乎其微。这种极高的压缩比，是模型能够实现快速推理和高效处理的基础。

性能指标：不只是快，更是又快又好

为了给您一个直观的感受，以下是该模型在不同输出分辨率下的典型推理耗时（在NVIDIA H100 GPU上测试）：

输出分辨率 总耗时 分步耗时（形状 + 材质）
512³ ~3 秒 2秒 + 1秒
1024³ ~17 秒 10秒 + 7秒
1536³ ~60 秒 35秒 + 25秒

这些时间涵盖了从输入单张图片，到输出一个包含完整几何与PBR材质的、可直接用于游戏引擎或渲染器的高质量3D资产的全过程。对于3D内容创作来说，这是一个革命性的速度。

功能矩阵

TRELLIS.2-4B模型当前及计划支持的核心功能如下：

  • •
    ✅ 图像到3D生成：从单一图像生成带PBR材质的3D网格。（已发布）
  • •
    ✅ 形状条件纹理生成：为输入的3D网格结合参考图像生成纹理。（计划于2025年12月24日前发布）
  • •
    🔄 训练代码开源：为研究社区提供完整的模型复现能力。（计划于2025年12月31日前发布）

第四部分：从零开始实践——安装与使用指南

阅读至此，您可能已经迫不及待想要亲手体验。请按照以下步骤，在您的Linux系统中搭建环境并运行第一个示例。

系统与环境准备

  • •
    操作系统：目前仅正式支持 Linux。
  • •
    硬件：需要至少 24GB 显存 的NVIDIA GPU。代码已在NVIDIA A100和H100 GPU上验证。
  • •
    软件预备：

    1. •
      CUDA Toolkit：推荐版本 12.4，用于编译关键包。
    2. •
      Conda：推荐使用Conda管理Python环境。
    3. •
      Python：版本需为 3.8 或更高。

逐步安装流程

  1. 克隆代码库

    git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2

  2. 运行一站式安装脚本
    项目提供了一个强大的 setup.sh 脚本，可以帮您处理大部分依赖。执行以下命令将创建一个名为 trellis2 的新Conda环境并安装所有必需组件：

    . ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm

    重要提示：

    • •
      该脚本默认安装PyTorch 2.6.0与CUDA 12.4。如需其他CUDA版本，请移除 --new-env 标志后手动配置环境。
    • •
      默认使用 flash-attn 加速注意力计算。如果您的GPU（如V100）不支持，可后续手动安装 xformers 并通过设置环境变量 ATTN_BACKEND=xformers 来切换后端。
    • •
      安装过程可能较长，请耐心等待。

运行您的第一个图像转3D生成

安装完成后，您可以运行项目提供的示例脚本。以下是一个简化版的核心代码逻辑，展示了整个流程是多么简洁：

# 1. 加载预训练管道
from trellis2.pipelines import Trellis2ImageTo3DPipeline
pipeline = Trellis2ImageTo3DPipeline.from_pretrained("microsoft/TRELLIS.2-4B")
pipeline.cuda()

# 2. 输入图片并运行
from PIL import Image
image = Image.open("your_input_image.jpg")
mesh = pipeline.run(image)[0]

# 3. 导出为通用GLB格式
import o_voxel
glb = o_voxel.postprocess.to_glb(
    vertices = mesh.vertices,
    faces = mesh.faces,
    attr_volume = mesh.attrs,
    # ... 其他必要参数
)
glb.export("output.glb", extension_webp=True)

运行后，您将得到：

  • •
    output.glb：一个包含几何和PBR纹理的3D模型文件，可直接导入Blender、Unity或Unreal Engine等软件。注意：透明通道默认未激活，需在3D软件中手动连接纹理的Alpha通道到材质不透明度节点。
  • •
    可选生成一段展示视频，直观预览模型在环境光照下的渲染效果。

快速体验Web演示

如果您想快速通过浏览器界面体验，项目还提供了一个简单的Web演示：

python app.py

运行后，在终端显示的地址访问即可上传图片并在线生成3D模型。

第五部分：相关生态与开源精神

TRELLIS.2并非孤立的模型，它建立在微软研究团队开发的一系列高性能、专用开源库之上，形成了一个强大的技术栈：

  • •
    O-Voxel：核心表示库。负责带纹理网格与O-Voxel表示之间的瞬时、无损双向转换。
  • •
    FlexGEMM：高效计算引擎。基于Triton实现的稀疏卷积，为稀疏体素结构的快速处理提供支撑。
  • •
    CuMesh：CUDA加速的网格处理工具。用于高速后处理、重网格化、减面和UV展开。

许可与引用

  • •
    模型与代码：基于 MIT License 开源，允许广泛的学术和商业应用。
  • •
    重要依赖：请注意，其使用的渲染组件nvdiffrast和nvdiffrec遵循其自身的开源协议。
  • •
    学术引用：如果您在研究中使用了TRELLIS.2，请引用我们的技术报告：

    @article{
    xiang2025trellis2,
    title={Native and Compact Structured Latents for 3D Generation},
    author={Xiang, Jianfeng and Chen, Xiaoxue and Xu, Sicheng and Wang, Ruicheng and Lv, Zelong and Deng, Yu and Zhu, Hongyuan and Dong, Yue and Zhao, Hao and Yuan, Nicholas Jing and Yang, Jiaolong},
    journal={Tech report},
    year={2025}
}

第六部分：常见问题与当前局限

为了让您对该技术有更全面的认识，我们基于官方资料整理了以下关键问答。

FAQ

Q1: TRELLIS.2 生成的结果可以直接用于3D打印吗？
A: 需要后处理。模型生成的原始网格可能包含微小的孔洞或拓扑不连续处。虽然O-Voxel能处理复杂拓扑，但为了获得严格的水密（watertight）几何体（3D打印的必需条件），建议使用提供的后处理脚本（如孔洞填充算法）对网格进行修复。

Q2: 模型对输入图片有什么要求？
A: 官方示例和演示表明，模型适用于常见的物体、生物等图片。但需要注意的是，TRELLIS.2-4B是一个预训练的基础模型，尚未通过人类反馈强化学习（RLHF）等方式进行偏好对齐。其输出风格反映的是训练数据的分布，可能具有多样性。用户可能需要尝试不同的输入来获得最符合期望的艺术效果。

Q3: 除了图像生成3D，它还支持文本生成3D吗？
A: 根据当前发布的文档，TRELLIS.2-4B 是一个专注于 图像到3D 生成的模型。其输入是单张图片，并未提及原生支持文本提示词作为输入。

Q4: 最低需要多大的显存才能运行？
A: 官方明确要求 至少24GB显存 的NVIDIA GPU，并在A100和H100上经过验证。这是运行4B参数大模型及处理高分辨率3D数据的基本硬件门槛。

Q5: O-Voxel 和传统的体素化有什么区别？
A: 本质区别在于“智能”程度。传统体素化只是一个二值或低维的 occupancy 网格，丢失了大量表面信息。O-Voxel 是一种稀疏的、富含属性的体素，每个激活的体素都携带了精确的几何位置和完整的表面材质信息，是一种为生成式AI量身定制的高阶结构化表示。

结论与展望

TRELLIS.2 的出现，标志着3D内容生成领域向“通用化”和“实用化”迈出了坚实的一步。通过摒弃传统的场表示约束，拥抱原生、结构化的O-Voxel，它不仅解决了复杂拓扑生成的难题，更在生成速度和质量之间取得了前所未有的平衡。

从技术角度看，其 16倍下采样的紧凑潜在空间设计、端到端的免优化流程以及支持全PBR材质的统一建模，共同构成了一套高效且强大的3D生成新范式。虽然目前仍有如网格后处理需求、未进行偏好对齐等局限性，但其开源路线图（即将发布纹理生成与训练代码）展现了其致力于推动整个领域发展的决心。

对于游戏开发者、视觉艺术家、VR/AR内容创作者乃至电子商务从业者而言，TRELLIS.2 提供了一种将创意瞬间转化为高质量3D原型的强大工具。随着技术的进一步迭代和生态的完善，我们或许正站在一个“3D内容民主化”新时代的门槛上，而 TRELLIS.2 无疑是这个时代一盏重要的指路明灯。