理想汽车-开源3DRealCar：2500 辆真车的 3D 数据集
#自动驾驶仿真 #3DGS #世界模型 #三维重建 #闭环仿真
本文是理想汽车开源数据集 3DRealCar 官方主页的中文版，图片与动图均取自官方原始素材。该数据集发布于 ICCV 2025，官网与下载入口见文末「阅读原文」。
013DRealCar 是什么？
3DRealCar 是首个大规模 3D 真实汽车数据集，包含 2500 辆在真实世界场景中采集的汽车。理想汽车希望它能成为一个有价值的资源，推动各类与汽车相关的研究任务。
为什么需要它？3D 汽车模型广泛用于自动驾驶系统、虚拟/增强现实以及游戏，但现有数据集要么是合成数据，要么质量偏低——这与高质量的、真实世界的 3D 汽车数据之间存在明显空白，也限制了它们在实际场景中的应用。
图 1：数据集总览 —— 上排为标准光照车辆及其深度图，中部为反光（蓝框）与暗光（绿框）车辆，右列为点云，底部为部件级解析标注
02三大特点
① 大规模（High-Volume）
2,500 辆汽车由 3D 扫描仪精心扫描，获得具有真实世界尺寸的汽车图像与点云。
② 高质量（High-Quality）
每辆车平均采集 200 个密集的高分辨率 360° RGB-D 视角，可实现高保真 3D 重建。
③ 高多样性（High-Diversity）
车辆来自 100 多个品牌，在三种光照条件下采集：反光、标准、暗光。此外还为每个实例提供详细的汽车解析图。
2500 辆真实汽车 · 100+ 品牌 · 200 平均视角
50–400 视角范围 · 6 种车型 · 20+ 种颜色
在数据处理上，团队移除了背景点云，并把车辆朝向统一标准化到同一坐标轴，因此可以只对无背景的汽车做重建，并实现可控渲染。团队还在每种光照条件下，用当前最先进的 3D 重建方法做了基准测试。
03数据分布
数据集主要包含六种车型（轿车 36%、SUV 32%、MPV 15% 等），并统计了三种光照条件的分布：标准指车辆光照良好且没有强烈高光反射；反光指车漆表面存在镜面高光——光泽材质给当前 3D 重建方法带来巨大挑战；暗光指车辆在地下车 库等光照不足环境中采集。
每辆车采集的图像平均 200 张，视角数量在 50 到 400 之间；车身颜色超过二十种，其中白色和黑色仍占大头。此外官方还给出了车长、车宽、车高的尺寸分布。
图 2：车型 / 光照条件 / 视角数 / 车身颜色 / 车辆尺寸分布
04能用来做什么？
由于数据集提供了 RGB-D 图像、点云、汽车解析图与详细标注，可以在其上开展多种 2D 与 3D 任务：
2D 任务：车辆检测、分割、解析，以及依赖 RGB-D 图像的深度估计；车型外观多样，也可用于不同车型间的域迁移学习。
3D 任务：3D 重建、3D 生成、新视角合成、车辆点云补全与点云解析。借助重建出的 3D 汽车，还能模拟边角案例（corner-case）场景，训练更鲁棒的自动驾驶感知系统。
图 3：数据集支持的 2D / 3D 任务一览
053D 车辆部件解析
3DRealCar 是首个在 3D 空间中提供汽车解析标注、用于解析车辆各部件的数据集。
得益于每个实例都带有 2D 解析图，团队可以把 2D 解析结果提升到 3D，为点云和网格分割出每一个部件。这类标注能对车辆结构做精确而全面的分析，对自动驾驶、车辆设计、车辆编辑和虚拟现实仿真都很关键——既可用于改进目标识别算法、增强碰撞检测系统，也有助于训练模型理解车辆部件之间的空间关系和物理属性。
动图：点云的部件级解析（原站视频转 GIF，示意）
06三种光照下的重建结果
团队用目前最先进的 3D 重建方法 3DGS（高斯泼溅）做了可视化验证。标准光照下，3DGS 能重建出质量相当高的 3D 汽车——这一水平已足以用于下游任务的渲染。但反光和暗光条件下的结果并不理想，这两部分给当前的 3D 方法带来了两项挑战：
挑战一：镜面高光重建。车漆表面通常带光泽，暴露在阳光或强光下会产生大量镜面高光。
挑战二：暗光环境重建。暗光下采集的训练图像丢失了大量重建所需的细节。如何从这两种极端光照中获得高质量重建，是当前方法面临的难题。团队也希望这些结果能推动恶劣光照条件下 3D 重建的后续研究。
标准光照（Standard）下的 3DGS 重建 —— 24 辆车
反光条件（Reflective）下的 3DGS 重建 —— 6 辆车
暗光条件（Dark）下的 3DGS 重建 —— 6 辆车
07特殊车辆
除了常见乘用车，数据集还收录了工程车、货车等特殊车型，覆盖了自动驾驶感知中更少见的类别。
特殊车辆示例（原站视频转 GIF）
08几何可视化
重建得到的几何结果同样开放浏览，可以直接观察车辆网格与结构的重建质量。
几何可视化（原站视频转 GIF）
