WorldGrow：生成无限3D世界的革命性框架
引言：为什么我们需要无限3D世界？
本段欲回答的核心问题：为什么无限3D世界生成技术如此重要，以及现有方法面临哪些根本性挑战？
在视频游戏、虚拟现实、电影制作和自动驾驶仿真等领域，构建大规模、连续且内容丰富的3D环境一直是个巨大挑战。传统方法要么依赖手工建模，耗时耗力；要么使用现有生成技术，但往往在扩展性和一致性上表现不佳。更关键的是，随着 embodied AI（具身智能）和世界模型的发展，我们需要能够无限扩展的虚拟环境，让AI代理可以无边界地学习、导航和规划。
现有主流方法存在明显短板。基于2D扩散模型的方法通过生成多视角图像再“提升”到3D，但缺乏对整体3D结构的理解，导致几何错误和外观不一致。另一类方法直接预测3D表示，如triplane或UDF，但受限于场景级数据集的规模和质量，难以扩展到大规模场景。而最近的3D基础模型虽然能生成高质量单个物体，却无法处理场景级别的连续生成。
WorldGrow的诞生：重新思考3D场景生成
核心问题：如何实现真正无限扩展的3D场景？
WorldGrow的答案是将无限世界分解为可管理的3D块，通过智能的块合成和增长机制，实现连贯的大规模场景生成。
WorldGrow框架基于一个简单而强大的洞察：与其一次性生成整个无限世界，不如采用模块化方法，将场景分解为标准化的3D块，然后通过上下文感知的生成机制逐步扩展。这种方法首次实现了在保持几何一致性和视觉逼真度的同时，理论上无限扩展3D场景的能力。
作者反思：在开发过程中，我们深刻体会到，将对象级别的生成先验成功迁移到场景级别，关键在于重新思考3D表示如何编码空间关系。这不仅仅是缩放问题，更是语义理解的根本转变——从孤立物体到互连环境。
WorldGrow核心组件解析
数据策展：高质量训练数据的基石
本段欲回答的核心问题：如何为无限3D场景生成准备合适的训练数据？
数据是任何AI系统的生命线，对于3D场景生成尤为关键。WorldGrow面临的首要挑战是，现有3D数据集如Objaverse-XL主要是对象中心的，包含的是孤立资产而非连续空间环境。
场景切片策略是WorldGrow数据准备的核心。我们从完整3D场景（如房屋或城市）出发，通过系统化的分割过程提取连贯、可重用的块。具体来说，我们将场景网格导入Blender，在其边界框内放置立方体，并通过布尔交集提取内容。为确保空间密度，我们渲染俯视图并计算每个提取立方体的占用率——如果少于95%的表面包含可见内容，就重新定位和评估。
粗到细数据策略解决了块设计中的基本权衡。较大的3D块捕获更广泛的场景上下文，有利于全局布局学习，但可能牺牲渲染保真度；较小的块支持更精细的视觉质量，但缺乏足够的空间上下文来学习连贯的场景结构。为此，我们准备了两个不同的数据集：粗块和细块。粗块在XY平面上有四倍面积，同时保持相同高度，从而捕获更大的空间体积和更丰富的上下文信息。
实际应用场景：想象您正在为一个开放世界游戏生成城市环境。使用粗块，您可以快速建立街道布局和区域划分；然后使用细块填充详细的建筑立面、道路纹理和街景细节。这种分层方法既保证了宏观规划的合理性，又确保了微观视觉的质量。
场景友好SLAT：从对象到场景的表示演进
本段欲回答的核心问题：如何使对象级别的3D表示适应场景级生成？
WorldGrow建立在TRELLIS的Structured LATents（SLAT）表示之上，但对其进行了关键改进，使其更适合场景级生成。SLAT通过将3D对象表示为稀疏体素网格与DINOv2特征的组合，有效编码几何结构和外观。
然而，原始SLAT在场景生成中面临两个主要挑战。首先，直接特征聚合在杂乱场景中效果不佳。在对象级别，自遮挡很少，投影式特征聚合效果良好；但在场景级别，这种方法会导致相邻表面之间的颜色渗出等伪影。其次，预训练在对象数据上的解码器缺乏处理场景块边界附近详细3D内容的能力，经常产生浮动物和伪影。
WorldGrow的解决方案是引入遮挡感知特征聚合。在计算稀疏体素特征时，每个体素中心投影到多个相机视图，我们使用深度测试计算二进制可见性掩码。然后，仅对体素实际可见的视图中的DINOv2特征进行平均，确保每个体素只接收其可观察视图的特征，防止跨遮挡表面的特征污染。
同时，我们在场景块数据上重新训练解码器，将其焦点从孤立对象转移到结构化场景内容。这种适应使解码器能够更好地处理边界区域，在块边缘产生更清晰的几何和更连贯的纹理。
作者反思：我们最初低估了遮挡处理在场景生成中的重要性。在早期实验中，忽略可见性测试导致墙面纹理“渗透”到家具上，破坏了场景的真实感。这一教训强调了3D场景生成不仅仅是2.5D任务的扩展，而是需要完全不同的空间推理方法。
3D块修复：实现无缝场景扩展
本段欲回答的核心问题：如何确保新生成的场景块与现有环境无缝衔接？
场景扩展的核心挑战是确保新内容与已有环境在几何、风格和纹理上保持一致。WorldGrow将这一问题构建为3D块修复任务，其中缺失的目标块基于其周围空间邻居合成。
WorldGrow的修复框架在两阶段操作：结构和潜在空间。给定具有缺失区域的部分观察块，模型首先预测3D结构，然后重建相应的潜在特征以进行高保真外观合成。
关键创新在于修改了模型的输入层。不是使用噪声潜在作为输入，而是沿通道维度连接三个组件：噪声潜在、指示修复区域的二进制掩码，以及掩码的已知区域本身。这种设计使模型能够基于已知上下文和缺失区域的显式空间线索来调节其预测。
训练过程涉及随机选择沿X和Y轴的两个分割位置，将每个场景块分成四个象限，保留一个作为上下文并掩码其余三个。对于结构修复，我们定义体素级二进制掩码，其中值1表示要修复的体素。对于潜在修复，我们定义稀疏掩码，指导潜在生成器重建相应特征。
实际应用案例：假设您已经生成了一个客厅场景，现在想扩展一个相邻的餐厅。修复模型会考虑客厅的靠近区域（包括地板连续性、墙面风格和照明条件），生成一个在风格和布局上都合理的餐厅空间，确保两个区域之间的平滑过渡，而不是生成一个完全不协调的新空间。
粗到细生成：平衡全局布局与局部细节
本段欲回答的核心问题：如何在保持全局结构合理性的同时，确保局部细节的丰富性？
WorldGrow最具创新性的方面之一是其粗到细生成策略，它明确分离了布局推理和细节生成，每个阶段在不同语义级别操作。
块扩展过程从种子块开始，场景通过迭代3D块修复在XY平面上逐步扩展。对于每个新块，修复模型以其左侧、顶部和左上（如果可用）的先前生成块作为上下文。为确保连续性，我们重用这些现有块的一部分：具体来说，我们沿X和Y轴从每个相邻块重用3/8宽度的边距。基于此上下文，我们修复中心的5/8w×5/8w区域以完成新的12/8w×12/8w块。这种重叠设计确保跨块边界的平滑过渡，并为每个扩展步骤提供一致的上下文窗口。
粗结构生成使用粗结构模型建立场景的大规模布局。这产生低分辨率但在空间上连贯的结构，定义世界的整体几何形状。
细结构细化通过细结构生成器丰富局部几何。我们通过三线性插值对粗结构进行上采样，以匹配细阶段的分辨率，然后将其划分为标准细块。我们采用结构引导去噪方法：对每个上采样的细块，我们将其编码为初始潜在，然后用受控高斯噪声扰动该潜在。细生成器去噪以重建细化结构。这种策略能够在增强细节的同时保留空间分布先验。
SLAT-based外观生成一旦世界的细级别结构完成，我们生成相应的SLAT。此阶段遵循与结构相同的块生成策略，但在潜在空间中操作。生成所有潜在块后，完整的SLAT通过我们重新训练的解码器解码为可渲染的3D世界。
作者反思：粗到细方法最初似乎增加了复杂性，但实际上它显著提高了生成质量。我们发现在没有粗引导的情况下，细模型往往会产生局部合理但全局不连贯的布局——例如，门开在墙上没有连接其他房间的地方。这种分层方法反映了人类设计环境的方式：先规划整体布局，再完善细节。
实验验证：性能与效果评估
评估设置与方法论
本段欲回答的核心问题：WorldGrow在实际测试中表现如何，与现有方法相比有何优势？
我们在大型3D-FRONT数据集上评估WorldGrow，该数据集包含3,425个经过整理的房屋，具有合理的布局和详细的家具。从中，我们生成了120k细块和38k粗块。我们还使用UrbanScene3D城市数据集验证了WorldGrow的适应性。
评估涵盖两个方面：场景块生成和全场景合成。对于块生成，我们评估几何和视觉质量。我们报告使用Chamfer距离（CD）和Earth Mover距离（EMD）计算的三个标准分布指标（MMD、COV和1-NNA）。我们还采用带有PointNet++的感知Fréchet Inception距离（FID）来评估3D几何质量。对于视觉质量，我们从固定多个视角渲染生成的块，并计算感知指标，包括CLIP分数和具有不同特征提取器（Inception V3、DINOv2和CLIP）的FID变体。
对于全场景合成，由于缺乏真实网格，我们进行了人类偏好研究，91名参与者比较了5种方法在10个场景（4个房屋级别，6个无边界）上的表现，评估结构合理性、几何细节、外观保真度和场景连续性。
定量结果：超越现有方法
在场景块生成方面，WorldGrow在几何指标上实现了最先进的性能。具体来说，在MMD（CD）上达到0.97（越低越好），在COV（CD）上达到51.82%（越高越好），在1-NNA（CD）上达到66.30%（越低越好），在FID上达到7.52（越低越好）。这些结果证明了在块连接性和结构连贯性方面的卓越性能。
在视觉保真度方面，WorldGrow显著优于所有基线，CLIP得分为0.843（越高越好），FID-Inception为29.87（越低越好），FID-DINOv2为313.54，FID-CLIP为3.95。这表明WorldGrow生成具有真实外观的高质量场景块的能力。
图：WorldGrow生成的5×5和9×9块布局，展示了其生成多样化、连贯场景的能力
定性结果与人类评估
人类偏好研究证实了WorldGrow在实际场景生成中的优势。在纹理场景中，WorldGrow在结构合理性（4.48/5）、几何细节（4.44/5）和外观保真度（4.33/5）上均优于基线。在无边界场景中，WorldGrow在连续性上获得最高分（4.69/5），证明了我们的块扩展和粗到细生成策略的有效性。
图：WorldGrow生成的大型场景，跨越19×39块（约1,800平方米），展示了在大型范围内的可扩展性和一致性
扩展稳定性测试
我们进行了扩展稳定性实验，定量评估长时生成质量和错误累积。我们合成了7×7块的大型场景，并专门从外部区域（超出初始3×3区域）随机采样1×1块进行评估。WorldGrow即使在远距离扩展时也保持一致的生成质量，获得与主要评估相当的分数，而SynCity显示性能显著下降（FID从34.69增加到51.97）。值得注意的是，SynCity在70%的扩展尝试中失败，表中仅报告了成功案例。
应用场景：WorldGrow在现实中的使用
室内场景生成
本段欲回答的核心问题：WorldGrow如何应用于实际室内环境生成？
WorldGrow在室内场景生成方面表现出色，能够创建多样化且合理的房间布局。例如，在生成住宅环境时，系统可以从一个种子卧室开始，逐步扩展出相连的客厅、厨房和浴室，确保门廊、走廊和开放空间的正确连接。
实际案例：在一个演示中，WorldGrow从一个4×4米的种子卧室开始，逐步生成了一个完整的公寓布局，包括客厅、厨房、浴室和连接走廊。整个场景覆盖了超过1800平方米，包含数十个房间，所有房间在几何和外观上都保持一致。体现代理能够无缝导航整个环境，证明了生成场景的结构合理性和可遍历性。
户外城市生成
我们在UrbanScene3D数据集上的实验表明，WorldGrow可以适应户外环境生成。尽管训练数据有限（仅10k细块和3k粗块），但WorldGrow在生成连贯城市街景方面表现出了潜力，包括建筑布局、道路网络和街景元素。
图：WorldGrow生成的无限户外3D场景，包括具有合理布局的城市街景和具有一致风格的郊区社区
体现AI与导航
WorldGrow生成的环境特别适合体现AI任务，如导航和规划。生成的场景不仅视觉上逼真，而且在结构上合理，具有可遍历的空间和一致的几何结构。这使得它们成为训练和评估AI代理在复杂环境中导航、规划和交互能力的理想测试平台。
实际应用场景：在自动驾驶仿真中，WorldGrow可以生成无限的城市场景，用于训练和测试自动驾驶系统。与使用预定义有限地图的传统方法不同，WorldGrow可以动态扩展环境，为AI代理提供不断变化的挑战，从而提高其泛化能力。
局限性与未来工作
当前限制
本段欲回答的核心问题：WorldGrow目前有哪些局限性？
尽管WorldGrow取得了显著成果，但仍存在几个局限性。目前，我们的方法仅在XY平面扩展场景，而沿Z轴的垂直扩展——对于多层建筑至关重要——是未来工作的重要方向。
生成质量和多样性也受到当前3D数据集在规模、多样性和语义注释方面的限制。我们的块设计在计算可行性和局部细节分辨率之间进行了权衡，优先考虑无限生成能力而非局部细节分辨率。
此外，虽然WorldGrow自然支持条件控制，但当前实现专注于无条件生成，没有语义调节。
未来方向
这些限制为未来研究提供了明确的机会。多级生成策略可以实现垂直扩展，完成完整建筑。更大规模的数据集策展——特别是对于户外环境——将增强多样性和质量。
引入LLM生成的描述可以实现对房间类型和布局的细粒度语义控制。此外，将WorldGrow集成到几何-外观统一生成模型中可能会有更高效的流水线。
作者反思：开发WorldGrow的过程让我们意识到，3D场景生成的进步不仅需要更好的算法，还需要更丰富、更多样化的数据集。当前3D数据集的限制比我们最初预期的更为关键。未来，我们相信社区在高质量3D场景数据方面的努力将与算法创新一样重要，甚至更为关键。
结论
WorldGrow代表了一个重要的进步，解决了在3D场景生成中实现无限扩展性、连贯布局和逼真外观的长期挑战。通过将预训练的3D先验与新颖的块修复和粗到细细化策略相结合，我们的框架克服了限制先前方法的基本可扩展性和连贯性问题。
综合评估证明了在几何重建和视觉保真度方面的最先进性能，同时独特地支持保持局部细节和全局一致性的大规模场景生成。随着虚拟世界在体现AI训练和仿真中变得越来越重要，WorldGrow为未来世界模型的可扩展、高质量3D内容生成提供了一条实用路径。
实用摘要 / 操作清单
对于希望应用WorldGrow或类似技术的从业者，以下是关键要点：
-
数据准备是关键：投资高质量、多样化的3D场景数据，并采用系统化的块提取策略。 -
采用分层方法：将场景生成分解为布局规划和细节细化阶段，以平衡全局连贯性和局部质量。 -
处理遮挡：在特征聚合中实现遮挡感知机制，防止场景生成中的伪影。 -
设计重叠区域：在块扩展中包含重叠区域，确保无缝过渡和空间连续性。 -
验证扩展稳定性：测试生成系统在长时扩展中的性能，确保质量不会随距离下降。 -
考虑特定应用需求：针对您的特定用例（室内、户外、导航等）调整块大小和生成参数。
一页速览
WorldGrow核心要点：
-
问题：无限3D场景生成，具有连贯布局和逼真外观 -
解决方案：基于块的生成，通过上下文感知修复逐步扩展 -
关键创新： -
场景友好SLAT与遮挡感知特征聚合 -
3D块修复机制 -
粗到细生成策略
-
-
性能：在几何和视觉指标上优于现有方法，支持大规模场景生成 -
应用：游戏开发、VR/AR、自动驾驶仿真、体现AI训练 -
限制：目前限于水平扩展，依赖现有3D数据集质量 -
未来方向：垂直扩展、语义控制、更大规模数据集
常见问题解答（FAQ）
WorldGrow如何处理块之间的连续性？
WorldGrow使用重叠区域和上下文感知修复机制。每个新块生成时，会考虑相邻块的部分内容（3/8宽度边距）作为上下文，确保几何和外观的平滑过渡。
WorldGrow与基于2D的方法相比有何优势？
与依赖2D图像提升到3D的方法不同，WorldGrow直接处理3D表示，避免了多视角不一致性问题，并在所有视角上保持一致的几何和外观。
WorldGrow需要多少计算资源？
在单个A100 GPU上，每个块生成大约需要20秒，一个完整的10×10室内场景（约272平方米）可以在30分钟内生成，峰值内存使用为13GB。
WorldGrow可以生成户外环境吗？
是的，在UrbanScene3D数据集上的实验表明，WorldGrow可以适应生成连贯的城市街景，包括建筑、道路和街景元素。
WorldGrow支持语义控制吗？
当前实现专注于无条件生成，但框架自然支持条件控制。未来工作计划集成LLM生成的描述，实现对房间类型和布局的细粒度语义控制。
WorldGrow的扩展性如何？
测试表明，WorldGrow可以生成超过1800平方米的大规模场景（19×39块），在远距离扩展时保持一致的生成质量，没有明显的质量下降或接缝积累。
WorldGrow的主要局限性是什么？
主要限制包括目前仅支持水平（XY平面）扩展、依赖现有3D数据集的质量和多样性，以及在细节分辨率和计算可行性之间的权衡。
WorldGrow如何受益于未来的3D数据集？
更大规模、更多样化的3D场景数据集将显著提高生成质量和多样性，特别是在户外环境和复杂建筑结构方面。
