Editing Challenges¶
3D Mesh 编辑面临的核心挑战。以下总结来自 PrEditor3D、VoxHammer、MeshPad 等论文。
Challenge 1：精确控制性差¶
来源：PrEditor3D
许多方法难以将编辑严格限制在用户指定的区域。文本指令本质上是全局的，可能导致编辑效果「泄露」到不希望被修改的模型部分，破坏原有的几何和纹理。
核心矛盾：文本的语义粒度 vs. 空间精度需求。
Challenge 2：速度与质量的权衡¶
来源：PrEditor3D, VoxHammer
- 基于优化的方法（如 SDS Loss）：质量高、一致性好，但计算成本高昂（可能长达数小时），不适合快速迭代的艺术创作流程
- 前馈式方法：效率高（单次推理），但质量和多视图一致性难以保证
VoxHammer 进一步指出：SDS 方法需要对每个场景进行耗时优化，效率极低；而 2D 编辑 → 3D 提升的前馈方法虽然快，但引入的偏差和不一致会产生伪影。
Challenge 3：对未编辑区域的保持性不佳¶
来源：PrEditor3D, VoxHammer
在编辑过程中保持模型其余部分完全不变是一个难题：
- 很多方法或多或少都会影响全局外观，导致纹理、光照或几何发生不必要的改变
- 编辑效果泄露：编辑操作「污染」本应保持不变的区域
VoxHammer 的解决思路
通过扩散反演缓存未编辑区域的特征，在去噪编辑阶段强制使用缓存特征来保留未编辑区。这是一种显式的特征级保护策略。
Challenge 4：工作流程复杂¶
来源：PrEditor3D
一些方法需要精确的输入（如完美的分割掩码）或复杂的设置，对普通用户不友好。这限制了方法在实际创作流程中的可用性。
Challenge 5：2D → 3D 提升的偏差与不一致¶
来源：VoxHammer
许多方法先在 2D 多视图渲染图上进行编辑，然后重建 3D 模型。这个过程常常引入：
- 位置偏差：2D 编辑结果在反投影到 3D 时产生几何偏移
- 多视图不一致：不同视图的编辑结果之间可能互相矛盾，导致重建的 3D 模型出现伪影
Challenge 6：交互式编辑的控制粒度问题¶
来源：MeshPad
- 文本描述缺乏对几何形状进行精细化、局部化控制的能力
- 草图 (Sketch) 提供了更直观、更精确的控制方式，但单视角草图如何处理遮挡问题仍是挑战
Challenge 7：隐式表示的 Mesh 输出局限¶
来源：MeshPad, MeshGPT
依赖 SDF、NeRF 等隐式表示的编辑方法面临「最后一公里」问题：
需要表面提取¶
SDF/NeRF 本身只是一个函数，不是可直接使用的三角网格。必须执行 Marching Cubes 等表面提取步骤。
提取出的 Mesh 质量差¶
Marching Cubes 生成的网格通常有以下问题：
- 过于密集 (Over-tessellated)：生成大量微小、大小统一的三角形布满整个表面，即使在平坦区域。网格文件巨大且低效
- 拓扑不干净：可能包含悬浮碎片 (floaters)、小洞等
- 缺乏艺术感的结构：无法产生艺术家手动建模时的 Edge Flow（边沿着自然轮廓和肌肉走向分布），不利于后续动画和纹理贴图
直接生成 Mesh 的思路
MeshGPT、MeshPad 等方法尝试直接生成三角形 Mesh token 序列，绕过隐式表示 → 抽壳的流程，得到更紧凑、边缘清晰的模型。详见 Mesh Extraction 中对 Marching Cubes 与 FlexiCubes 的对比。
挑战总结¶
| # | 挑战 | 核心原因 | 典型方案/缓解 |
|---|---|---|---|
| 1 | 精确控制性差 | 文本语义的全局性 | 草图引导 (MeshPad)、掩码约束 |
| 2 | 速度 vs 质量 | 优化耗时 / 前馈质量不足 | Training-free (VoxHammer)、高效前馈 |
| 3 | 未编辑区保持差 | 编辑泄露 | 特征缓存 (VoxHammer)、特征替换 (PrEditor3D) |
| 4 | 工作流程复杂 | 需精确输入 | 简化交互 |
| 5 | 2D→3D 偏差 | 多视图不一致 | 直接 3D 编辑 (NANO3D) |
| 6 | 控制粒度不足 | 文本粒度粗 | 草图交互 (MeshPad, SKED) |
| 7 | 隐式表示输出差 | Marching Cubes 局限 | 直接 Mesh 生成 (MeshGPT)、FlexiCubes |