什么是GaussianCity?
GaussianCity是由南洋理工大学S-Lab团队开发的高效、无边界3D城市生成框架。该框架基于3D高斯泼溅(3D-GS)技术,创新性地引入了紧凑型BEV-Point表征方法,使场景的显存占用保持恒定水平,有效解决了大规模场景生成中内存和存储需求过高的难题。
通过空间感知的BEV-Point解码器,利用点序列化和点变换技术捕捉BEV点的结构特征与上下文特征,生成高质量的3D高斯属性。该框架在无人机视角和街景视角的3D城市生成中表现卓越,相较CityDreamer等现有方法实现60倍加速,在生成质量和效率上均树立了新标杆。
GaussianCity核心特性
高效的大规模3D城市生成:快速生成逼真无边界城市环境,支持从航拍视角到街道场景的多样化观测
低显存与存储需求:紧凑的BEV-Point表征最大限度降低内存和存储需求,突破大规模场景生成的显存瓶颈
高质量视觉效果:空间感知BEV-Point解码器生成细节丰富的逼真3D城市,支持风格化编辑与局部修改
实时渲染与交互:实现实时渲染与交互式城市生成,适用于游戏、动画及虚拟现实应用
技术原理
3D高斯泼溅技术(3D-GS):采用3D高斯分布表征场景中的物体与结构,通过GPU加速渲染实现高效3D场景生成
BEV-Point表征:将3D场景中的点信息解耦为位置属性与风格属性,利用鸟瞰图(BEV)和风格查找表实现数据压缩,确保显存占用不随场景规模变化
空间感知BEV-Point解码器:通过点序列化与点变换捕捉结构信息与上下文信息,生成用于高质量场景渲染的3D高斯属性
高效渲染管线:结合位置编码器与调制MLP生成3D高斯属性,通过高斯光栅化器渲染最终图像
项目链接
GitHub代码库:https://github.com/hzxie/GaussianCity
Hugging Face模型库:https://huggingface.co/spaces/hzxie/gaussian-city
arXiv技术论文:https://arxiv.org/pdf/2406.06526
应用场景
游戏与虚拟现实(VR):快速生成逼真虚拟城市,支持实时渲染与交互,降低开发成本与时间周期
动画与影视制作:高效生成复杂城市场景,支持风格化渲染,提升制作效率
城市规划与建筑设计:快速生成城市布局与建筑环境,辅助规划设计方案可视化
自动驾驶与交通仿真:创建真实交通场景,用于算法测试与交通流分析
地理信息系统(GIS):将地理空间数据转化为3D可视化模型,支持城市发展分析