自动驾驶仿真数据合成 | 来自路口交通流的真实场景+自然场景+对抗场景
图片来自-2025中国汽车论坛-上海·嘉定-现场拍摄
大家好，我是李慢慢。
这次我扒了一个关于做数据合成的技术方案。
起因是，此前车路漫漫上的文章《智驾数据闭环-从实车数据到仿真数据》的调研结果显示大家对数据合成的关注度很高（如下图所示）：
所以为了寻找数据合成相关的素材，我特意去参加了中国汽车论坛的线下会议，因为其中有一个话题是《基于智慧路口对抗交通流的合成数据集》，是关于怎么根据真实的路口 交通流数据进行数据合成生成仿真数据的，很有意思。回来后，我又又仔细扒了下他们家的直播回放（见文末），然后把这个技术方案写成了一篇笔记，于是就有了今天你们看到的这篇文章。
以下。
1、先来了解下行业的痛点
目前行业的主要痛点问题是：主机厂们训练端到端自动驾驶的大模型，对数据需求体量巨大，但自采数据成本高、效率低、冗余度高、覆盖度不足、缺少长尾数据。这个也算是行业共识了。
编者语：其实，要跑通一个自动驾驶的demo很简单，稍微集成一下现有的自动驾驶的开源模型就行，但是想要把自动驾驶做好，却是很难。因为Corner Case（长尾场景）实在是太多了，且很难穷举，要实际去采集到就更难了。到最终，主机厂们要拉开自动驾驶的水平差距，其实主要战场就是在看谁解决的Corner Case更多吧。下面这张来自中国汽研对智能驾驶的金字塔分级评价，也能说明以后的市场宣传的趋势，不是某某车新增了某某功能，而是某某车再在智驾评分中拿了多少分。谁家的Corner Case解决地多一些，算法训练的就好一些，拿到的分数就高一些。由此也能看出来，解决Corner Case有多重要了。
2、一种来自交通流的解决方案
前面也有提到，Corner Case无法穷举，我们只能尽可能多地去找Corner Case，让Corner Case的覆盖度尽可能贴近100%。那么发现Corner Case的方法有很多，有那么一种方法，它可以来自交通流。
那深信科创是怎么做的呢？
我扒一下他们家的技术路线，流程罗列如下：
针对上述的技术流程，说一些我能看懂的：
1. 深信科创应该是和上海汽车城集团合作，拿到了一些智能网联测试路口的真实数据。这些路口作为智能网联测试路口（也称为全息路口），是配备了很多路端设备的，比如摄像头、激光雷达。没错，就是拍你们闯红灯的那些家伙。
2. 基于这些路口传感器数据（主要是摄像头数据），把这些图像进行三维变换和拼接，可以获得路口的鸟瞰试图（BEV)。
3. 再针对鸟瞰试图里的各路交通参与者（车辆、行人、电动车等）进行目标类型识别和目标位置跟踪，就可获得他们各自的运行轨迹。
4. 把这些运行轨迹赋值给仿真软件里的同等交通参与者，就可以复现交通流，这一步称为场景重建，最终可以生成一些真实场景。
5. 如果更进一步，把这些轨迹喂给交通流模型，就能训练出可以推演更多场景的交通流模型，这一步称为场景泛化。根据训练的交通流模型的不同，这里他们分为了两种，一种是基于AI的自然交通流模型，应该是生成那种比较自然的路口 交通流行为的场景；另一种是基于强化学习的对抗交通流模型应该是想生成各种挑战主车的Corner Case场景吧。这两种交通流模型，可以泛化出来很多交通场景，称为合成数据集（其实就是一些OpenScenario的场景文件啦）。
6. 基于上述的真实场景数据集、合成的自然场景数据集、合成的对抗场景数据集，可以更进一步地去训练规划控制模型或者行为预测模型。（其实我觉得他们家的宣传有点保守，只要仿真渲染地足够好，是直接能用来训练甚至测试端到端大模型的）
个人觉得，具有真实交通流属性的场景数据，还是蛮难得的。主机厂们也常去道路上进行采集，但却做不到像这种单独的针对某几个特定路口进行超大规模的数据采集甚至还训练路口 交通流模型，这也体现出来这种交通流数据的稀缺性。
哦，对了，他们家为了促进这批交通流合成数据的落地应用，特地开源出来了一部分。下面也简单介绍下：
3、交通流数据集的开源
3.1 介绍
基于智慧路口对抗交通流的合成数据集通过路侧数据提取真实的交通流信息，对局部场景进行重建和全局场景进行融合，实现高精度真实动态场景的重建，随后基于TTC和PET等指标用算法对变道、制动、典型交通流功能场景进行提取，形成真实场景库；
基于真实场景，使用基于AI的自然及对抗交通流模型进行数据合成，通过城区交叉路口 交通流场景合成技术，对原始单一场景进行泛化，增强自动驾驶训练数据集的多样性、解决仿真测试极端场景稀疏性，生成高质量真实路侧场景、自然合成场景、对抗合成场景的多样极端驾驶场景，总共60个场景数据集，遵循OpenX标准，以xosc格式文件描述动态交通数据，包含基本道路信息以及不同类别交通参与者的运动轨迹。
3.2 开源数据集特点与应用
高覆盖性：目前已收录两个真实路口数据，覆盖了不同时段及多种类别交通参与者的复杂场景事件，如左转、右转、制动、切入、跟车、直行、变道等高交互场景。
Corner Case场景占比高：Corner Case占比超过30%，包含紧急制动、紧急切入、紧急转弯、冲突位置抢占等多种长尾场景。
1:1仿真场景还原：支持VTD/CARLA/OASIS主流仿真器动静态场景格式导入，实现高保真场景还原。
自动驾驶算法训练测试：增强自动驾驶轨迹预测、控制规划算法训练数据集的多样性；解决自动驾驶算法仿真测试中极端场景稀疏性问题。
3.3 开源数据集测试工况分布
3.4 开源数据集的下载
开源仓库地址：
https://gitee.com/Cheyun-Data/AutoDrive/tree/master/
可以直接从网站手动下载。也可以通过命令行将仓库内容拉取到本地，操作过程如下：
goodman@Ubuntu20:~/temp$ git clone https://gitee.com/Cheyun-Data/AutoDrive.git
Cloning into 'AutoDrive'...
remote: Enumerating objects: 205, done.
remote: Counting objects: 100% (205/205), done.
remote: Compressing objects: 100% (187/187), done.
remote: Total 205 (delta 104), reused 0 (delta 0), pack-reused 0 (from 0)
Receiving objects: 100% (205/205), 3.17 MiB | 1.01 MiB/s, done.
Resolving deltas: 100% (104/104), done.
这个仓库里放的是一些xosc文件，如下：
goodman@Ubuntu20:~/temp$ cd AutoDrive/
goodman@Ubuntu20:~/temp/AutoDrive$ tree
.
├── README.md
└── 基于智慧路口对抗交通流的合成数据集
├── 宝安公路-园大路
│ ├── 对抗合成
│ │ ├── Traj_Versus_799_102_左转.xosc
│ │ ├── Traj_Versus_799_131H1841e85c_前车制动.xosc
│ │ ├── Traj_Versus_799_131H1841e85c_前车制动_主车直行跟车.xosc
│ │ ├── Traj_Versus_799_28777H7698ef44_主车左转_非机动车.xosc
│ │ ├── Traj_Versus_799_4127_跟车.xosc
│ │ ├── Traj_Versus_799_4164_制动.xosc
│ │ ├── Traj_Versus_799_58Haee48bcd_直行跟车.xosc
│ │ ├── Traj_Versus_799_89_直行.xosc
│ │ └── Traj_Versus_799_8H04c5b05f_跟车.xosc
│ ├── 真实轨迹
│ │ ├── Traj_799_102_主车左转.xosc
│ │ ├── Traj_799_11490Hbb40bN76408_非机动车_主车直行.xosc
│ │ ├── Traj_799_131H1841e85c_前车制动.xosc
│ │ ├── Traj_799_131H1841e85c_前车制动_主车直行跟车.xosc
│ │ ├── Traj_799_28777H7698ef44_主车左转_非机动车.xosc
│ │ ├── Traj_799_4127_跟车.xosc
│ │ ├── Traj_799_4164_制动.xosc
│ │ ├── Traj_799_58Haee48bcd_直行跟车.xosc
│ │ ├── Traj_799_60H4a400d4d_非机动车.xosc
│ │ ├── Traj_799_89_主车直行.xosc
│ │ └── Traj_799_8H04c5b05f_跟车.xosc
│ └── 自然合成
│ ├── Traj_Nature_799_102_左转.xosc
│ ├── Traj_Nature_799_11490Hbb40bN76408_非机动车_主车直行.xosc
│ ├── Traj_Nature_799_131H1841e85c_前车制动.xosc
│ ├── Traj_Nature_799_131H1841e85c_前车制动_主车直行跟车.xosc
│ ├── Traj_Nature_799_4127_跟车.xosc
│ ├── Traj_Nature_799_4164_制动.xosc
│ ├── Traj_Nature_799_58Haee48bcd_直行跟车.xosc
│ ├── Traj_Nature_799_60H4a400d4d_非机动车_主车左转.xosc
│ ├── Traj_Nature_799_89_直行.xosc
│ └── Traj_Nature_799_8H04c5b05f_跟车.xosc
└── 昌吉东路-于塘路
├── 对抗轨迹
│ ├── Traj_Versus_743_13195He4b1ca2a_非机动车.xosc
│ ├── Traj_Versus_743_14958Hf7750e7d_非机动车.xosc
│ ├── Traj_Versus_743_15592H1e92c700_行人.xosc
│ ├── Traj_Versus_743_1615H67c83c2f_主车跟车.xosc
│ ├── Traj_Versus_743_25032Hee18b2d8_行人.xosc
│ ├── Traj_Versus_743_25032Hee18b2d8_非机动车.xosc
│ ├── Traj_Versus_743_6165H5bc3c42e_前车制动.xosc
│ ├── Traj_Versus_743_8860Haae32727_前车制动.xosc
│ ├── Traj_Versus_743_9169Hed184de3_主车变道.xosc
│ └── Traj_Versus_743_9169Hed184de3_主车跟车.xosc
├── 真实轨迹
│ ├── Traj_743_13195He4b1ca2a_非机动车.xosc
│ ├── Traj_743_14958Hf7750e7d_非机动车.xosc
│ ├── Traj_743_15592H1e92c700_行人.xosc
│ ├── Traj_743_1615H67c83c2f_主车跟车.xosc
│ ├── Traj_743_25032Hee18b2d8_行人.xosc
│ ├── Traj_743_275H7c1a81fe_非机动车.xosc
│ ├── Traj_743_6165H5bc3c42e_前车制动.xosc
│ ├── Traj_743_62509H2920abf0_主车左转_主车变道.xosc
│ ├── Traj_743_8860Haae32727_前车制动.xosc
│ └── Traj_743_9169Hed184de3_主车变道_主车跟车.xosc
└── 自然轨迹
├── Traj_Nature_743_13195He4b1ca2a_非机动车.xosc
├── Traj_Nature_743_14958Hf7750e7d_非机动车.xosc
├── Traj_Nature_743_15592H1e92c700_行人.xosc
├── Traj_Nature_743_1615H67c83c2f_主车跟车.xosc
├── Traj_Nature_743_275H7c1a81fe_非机动车.xosc
├── Traj_Nature_743_6165H5bc3c42e_前车制动.xosc
├── Traj_Nature_743_62509H2920abf0_主车左转_主车变道.xosc
├── Traj_Nature_743_8860Haae32727_前车制动.xosc
├── Traj_Nature_743_9169Hed184de3_主车变道_主车跟车.xosc
└── Traj_Nature_743_9169Hed184de3__前车制动_主车直行.xosc
9 directories, 61 files
然后我随便挑了一个场景，用Carla跑了一下，效果如下：
4、后续的思路
真实的路口 交通流数据很重要，一个是因为其足够真，另一个原因是其量足够大。这样的数据，正是车企们所需要的，如何对这些数据开发出更多玩儿法，我这里也简单脑洞了下。
1. 如果把关注点，从路口挪到事故多发地带的话，可以获取真实的交通事故场景数据。这个玩法就很多了，毕竟是根据真实的大数据来的，个人认为以后完全可以和交管部门合作，形成必须测试合格的事故场景测试项目，给各大主机厂们的智驾考生都来考考试，考试挂科的就不给发“驾照”。
2. 目前越来越多主机厂已经开始拥抱一段式端到端自动驾驶方案了。这对于只能用来训练规控模型或者预测模型的这个交通流合成数据方案来讲很不利。但是只要置信度难题得到解决，就能根据这个交通流模型泛化出来的各种场景仿真来训练或者测试一段式端到端模型。
3. 这种训练出来的交通流模型，是不是也可以提供一些真实交通的场景分布的数据？这种数据，可以作为场景覆盖度的评测依据？
4. 没有数据的卖数据，有数据的就卖工具。训练好的交通流模型是不是也可以卖呢，哈哈。
5. 交通流模型应用于自动驾驶领域其实有些限制了这个模型的潜力，个人觉得它还值得更广阔的发展空间，比如：路段建设的交通规划与设计、红绿灯交通信号优化等。
上面的内容否事我从下面这个直播回放里扒拉出来的，如有问题，大家以原视频为主。
以上，本文完。瑞思拜。
