联合国辅助驾驶法规R171对L2+级自动驾驶DCAS的仿真要求
1.背景
2.范围和定义
3.申请批准
4.批准
5.一般要求
6.DCAS功能的附加要求
7.DCAS运行监控
8.系统验证
9.系统信息数据
10.软件识别要求
11.系统安全要求
12.物理测试要求
13.模拟仿真要求
13.模拟仿真要求
13.1 一般要求
13.1.1
如果在DCAS验证时通过使用仿真测试来验证时，建议使用建模和仿真Modelling and Simulation（M&S）工具链进行仿真测试。仿真测试的置信度可以通过调查和评估五个M&S属性来确定：
（a）Capability 能力——M&S能做什么，以及相关的风险是什么；
（b）Accuracy 精确性-M&S复现目标数据的精确性；
（c）Correctness 正确性-M&S工具中的数据和算法有多健全和健壮（鲁棒性）；
（d）Usability 可用性-需要哪些培训和经验，以及管理其使用的过程的质量如何；
（e）Suitable 适合目的-M&S工具链在其系统边界内评估DCAS的适用性如何。
以图形方式表示可信度评估框架各组件之间的关系：
13.1.2
仿真置信度需要一种统一的方法来调查这些属性并获得对M&S结果的信心。置信度评估框架引入了一种基于质量标准评估和报告M&S置信度的方法，该质量标准可以指示仿真结果的置信度水平。
换句话说，置信度是通过评估影响模型和仿真工具行为的关键因素来建立的，因此影响整个M&S工具链的可信度。
以下所有因素都会影响M&S的整体置信度：M&S活动的组织管理、团队的经验和专业知识、所选M&S工具集的分析和描述、数据和输入的谱系、verification验证、,validation确认、不确定性表征。
上述因素的处理程度表明了M&S工具链所达到的质量水平，获得的水平与所需水平之间的比较提供了M&S置信度及其在仿真测试中的适用性的定性度量。
13.2 定义
仅适用于本章节：
“抽象Abstraction”是选择源系统或参考系统的基本方面以在模型或模拟中表示的过程，而忽略那些不相关的方面。任何建模抽象都带有这样的假设，即它不应该显着影响模拟工具的预期用途。“闭环测试Closed Loop Testing”是指一个虚拟环境，它确实考虑了在环元素的动作。模拟对象响应系统的动作（例如DCAS系统与交通流模型的交互）。“确定性Deterministic”是描述某个系统的术语，该系统的时间演化可以精确预测，一组给定的输入将始终产生相同的输出。“驾驶员在环Driver-In-the-Loop（DIL）”通常在用于测试人类自动化交互设计的驾驶模拟器中进行。DIL具有供驾驶员操作和与仿真环境通信的组件（例如：方向盘、油门踏板、制动踏板）。“硬件在环Hardware-In-the-Loop（HIL）”在特定车辆子系统的最终硬件上，运行最终软件，输入和输出连接到仿真环境以执行仿真测试。在最终系统集成之前，HIL测试以连接所有被测试电子控制单元（ECU）的输入/输出的方式，提供了一种复 制传感器、执行器和机械组件的方法，。“模型Model”是对系统、实体、现象或过程的描述或表示。“模型校准Model calibration”是调整模型中的数值或建模参数以改善与参考对象的一致性的过程。“模型参数Model Parameter”是用于支持表征系统功能的数值。模型参数的值不一定能直接在现实世界中观察到，但必须从现实世界中收集的数据中推断出来（在模型校准阶段）。“模型在环Model-In-the-Loop（MIL）”是一种允许算法快速开发而不涉及专用硬件的方法。通常，这种级别的开发涉及运行在通用计算系统上的高级抽象软件框架。“开环测试Open Loop Testing”是一种虚拟测试方法，其中数据提供单元向DCAS提供输入刺 激。DCAS和通过输入刺 激提供的环境之间没有反馈，因此循环是“开放的”。数据提供单元可以回放记录的交通情况，例如来自真实世界的驾驶环境数据。驾驶环境数据也可以在测试时生成（模拟器方法）或测量（影子模式）。“概率Probabilistic”是一个与非确定性事件有关的术语，其结果由可能性的度量来描述。“试验场或测试轨道Proving Ground or test-track”是一个封闭的物理测试场地，可以在真实车辆上研究DCAS的性能。其他道路使用者可以通过传感器刺 激或定位在轨道上的虚拟设备引入。“传感器刺 激Sensor Stimulation”是一种技术，通过这种技术，人工生成的信号被提供给被测试的元件，以便刺 激它产生对真实环境中的障碍物同样的结果。“仿真Simulation”是对真实世界过程或系统随时间运行的模拟。“仿真工具链Simulation toolchain”是用于支持DCAS验证的仿真工具的组合。“软件在环Software-In-the-Loop（SIL）”是开发模型的实现将在通用计算系统上进行评估的地方。这一步可以使用非常接近最终实现的完整软件实现。SIL测试用于描述测试方法论，其中算法（甚至整个控制器策略）等执行代码在建模环境中进行测试，该环境可以帮助证明或测试软件。“随机Stochastic”指涉及或包含一个或多个随机变量的过程，与机会或概率有关。“仿真模型的验证Validation of the simulation model”是从工具的预期用途的角度确定仿真模型在多大程度上是真实世界的准确表示的过程。“车辆在环Vehicle -In-the-Loop（VIL）”是真实测试车辆在现实世界和虚拟环境中的融合环境。它可以反映与现实世界相同水平的车辆动态，并且可以在车辆试验台或测试轨道上操作。“仿真模型的验证Verification of the simulation model”是确定仿真模型或虚拟测试工具在多大程度上符合其概念模型、数学模型或其他结构中详述的要求和规范的过程。“虚拟测试Virtual testing”是使用一个或多个仿真模型测试系统的过程。
13.3 模型和仿真管理
13.3.1
模型和仿真（M&S）生命周期是一个动态过程，应对频繁的版本发布和迭代过程进行监控和记录。因此，建议通过有代表性的产品管理流程建立管理活动以支持M&S，应包括以下方面的相关信息。
13.3.2
（b）指定相应的软件（例如，特定的软件产品和版本）和硬件配置，例如X-In the Loop（XiL配置） 建议存储用于发布认证数据的任何工具链版本。构成测试工具的虚拟模型应根据相应的验证方法和接受阈值进行记录，以支持工具链的整体可信度。开发人员应建立并强制执行一种方法，将生成的数据跟踪到相应的工具链版本。
虚拟数据的质量检查。在工具或工具链的整个发布和生命周期中确保数据的完整性、准确性和一致性，以支持验证和验证程序。13.3.4 团队的经验和专业知识Experience and Expertise
尽管经验和专业知识（E&E）已经在组织内普遍涵盖，M&S活动的特定经验和专业知识对建立信心基础非常重要。 实际上，M&S的置信度不仅取决于虚拟模型的质量，还取决于参与建模仿真M&S验证和使用的人员的经验和专业知识E&E。例如，正确理解限制和验证领域将防止可能的M&S误用或其结果的误解。 13.3.4.3
以下内容对建立制造商经验和专业知识的信心基础非常重要： （b）团队将使用经过验证的仿真工具链来执行DCAS虚拟验证。 因此，如果团队的E&E表现良好，通过确保考虑到支撑M&S活动的人为因素，并通过其管理系统控制活动的人为方面的风险，可以提高信心水平，从而提高M&S及其结果的置信度。 如果制造商工具链包含或依赖于制造商团队之外的组织或产品的输入，制造商应提供为保证输入的质量和完整性而采取的管理措施。 组织层面：建立置信度是通过建立流程和程序来确定和维护执行M&S活动所需的技能、知识和经验。应建立、维护和记录以下流程： 团队层面：一旦工具链最终确定，其置信度主要取决于验证M&S并将其用于DCAS验证的团队的技能和知识。置信度是通过记录这些团队接受了足够的培训以履行其职责来建立的。制造商应： （a）提供制造商对验证M&S工具链的个人/团队的经验和专业知识E&E的信心基础（资质证书）。 （b）提供制造商对使用仿真执行DCAS虚拟测试的个人/团队的经验和专业知识E&E的信心基础（资质证书）。 制造商应证明其如何应用其管理体系的原则，例如ISO9001或类似的最佳实践或标准，关于其M&S组织和该组织中的个人的能力以及这一决定的基础。建议评审员不要用其判断代替制造商对组织或其成员的经验和专业知识的判断。 数据和输入的谱系和可追溯性在M&S验证中非常重要。制造商应该有这些记录，以便评审员验证它们的质量和适当性。 （a）制造商应记录用于验证工具或工具链中包含的模型的数据，并记录重要的质量特征； （b）制造商应提供留档，表明用于验证模型的数据涵盖了仿真工具链的预期功能； （c）制造商应记录用于将虚拟模型参数与收集的输入数据拟合的校准程序。 数据质量（例如数据覆盖率、信噪比和传感器的不确定性/偏差/采样率）对模型参数不确定性的影响。用于开发模型的数据质量将影响模型参数的评估和校准。模型参数的不确定性将是最终不确定性分析中的另一个重要方面。 输出数据的谱系很重要。制造商应记录M&S工具链的输出，并确保其可追溯到输入和产生它的M&S工具链。这将成为DCAS验证的证据跟踪的一部分。 （a）制造商应提供用于虚拟测试工具链验证的任何数据和方案的信息； （b）制造商应记录导出的数据并注明重要的质量特征，例如使用附件II定义的相关方法； （a）M&S输出数据应足以确保验证测试的正确执行，数据应充分反映与DCAS虚拟评估相关的系统边界； （b）输出数据应允许虚拟模型的一致性/完整性检查，可能通过利用冗余信息。 （b）随机模型的使用不应禁止确定性重复执行的可能性。
13.3.5 M&S分析和描述
M&S分析和描述旨在定义整个工具链，并确定可以通过虚拟测试评估的参数空间。它定义了模型和仿真工具的范围和限制以及可能影响其结果的不确定性来源。 （a）制造商应提供完整工具链的描述以及M&S数据如何用于验证DCAS策略； （a）制造商应激励指导M&S工具链设计的建模假设； （c）制造商应证明M&S与真实世界相关性的容差对于测试目标是可接受的； （d）最后，本节应包括有关模型中不确定性来源的信息。这将代表最终不确定性分析的重要输入，该分析将定义M&S工具链输出如何受到所使用的M&S工具链的不同不确定性来源的影响。 13.3.5.4 范围（模型的用途是什么？）。它定义了如何在DCAS验证中使用M&S。 （a）仿真工具的置信度应通过M&S工具链开发和使用范围的明确定义来加强。 （b）成熟的M&S应该允许将物理现象虚拟化到与认证所需的保真度水平相匹配的程度。因此，M&S环境将作为DCAS测试的“虚拟试验场”。 （c）M&S工具链需要专门的场景和指标进行验证。用于验证的场景选择应该足够，以便对工具链在未包含在验证范围内的场景中以相同的方式执行充满信心。 （d）制造商应提供验证方案列表以及相应的参数描述限制。 （e）系统边界分析是推导M&S工具链支持DCAS验证的需求、范围和效果的关键输入。 （f）为场景生成的参数将定义工具链和仿真模型的外部和内部数据。 整个工具链中使用的仿真模型和仿真工具应根据其在最终产品中出现安全错误的情况下的影响进行调查。建议的临界性分析方法源自ISO26262，该方法要求对开发过程中使用的一些工具进行限定。为了得出模拟数据的临界性，临界性评估考虑以下参数： （a）对人类安全的后果，例如ISO26262中的严重等级。下表提供了一个危急程度评估矩阵来演示此分析。制造商可以根据其特定用例调整此矩阵。 （a）那些明显适合进行全面可信度评估的模型或工具； （b）那些模型或工具可能是或可能不是置信度评估的候选者，由评估员自行决定是否遵循完整置信度评估；
13.3.6 验证
M&S的验证涉及对创建和构建整个工具链的概念/数学模型的正确实施进行分析。验证通过确保单个工具不会对一组无法测试的输入表现出不切实际的行为来提高M&S的置信度。该程序基于下文描述的步骤方法，包括代码验证、计算验证和灵敏度分析。 代码验证涉及测试的执行，以证明没有数值/逻辑缺陷影响仿真模型。 （a）制造商应记录正确代码验证技术的执行情况，例如静态/动态代码验证、收敛分析和与精确解决方案的比较（如果适用）。 （b）制造商应提供留档，表明在输入参数领域的探索足够广泛，能够识别M&S工具不稳定或不切实际行为的参数组合。参数组合的覆盖度量可用于展示模型行为所需的探索。 （c）只要数据允许，制造商应采用健全性/一致性检查程序。 （a）制造商应记录数值误差估计（例如离散化误差、舍入误差、迭代程序收敛）； 灵敏度分析旨在量化模型输出值如何受到模型输入值变化的影响，从而确定对仿真模型结果影响最大的参数。灵敏度研究还提供了确定仿真模型在受到参数微小变化时满足验证阈值的程度的机会，因此它在支持仿真结果的可信度方面发挥着基础作用。 （a）制造商应提供留档，证明影响模拟输出的最关键参数已通过灵敏度分析技术确定，例如通过扰动模型参数； （b）制造商应证明已经采用了稳健的校准程序，并且已经识别和校准了最关键的参数，从而提高了开发工具链的置信度； （c）最终，灵敏度分析结果还将有助于定义输入和参数，其不确定性表征需要特别关注以表征模拟结果的不确定性。
确定模型或仿真从M&S的预期用途的角度准确代表现实世界的程度的定量过程。建议在评估模型或仿真的有效性时考虑以下事项： （a）性能度量是用于比较DCAS在虚拟测试中的性能与在现实世界中的性能的指标。性能度量是在M&S分析期间定义的。 （iii）状态变化分析，例如距离/速度计算、TTC计算、触发制动。 （a）用于比较现实世界和模拟指标的分析框架通常作为关键绩效指标（KPI）得出，指示两组数据之间的统计可比性。 （a）制造商应定义用于仿真测试工具链验证的逻辑场景。它们应该能够最大限度地覆盖DCAS验证的仿真测试的系统边界。 （b）确切的方法论取决于工具链的结构和目的。验证可能包括以下一项或多项： （i）验证子系统模型，例如环境模型（道路网络、天气条件、道路用户交互）、传感器模型（无线电探测和测距（毫米波雷达）、光探测和测距（激光雷达）、摄像头）、车辆模型（转向、制动、动力总成）； （ii）验证车辆系统（车辆动力学模型与环境模型一起）； （iii）验证传感器系统（传感器模型与环境模型一起）； (iv）验证集成系统（传感器模型+影响车辆模型的环境模型）。在M&S分析期间定义了相关阈值的要求。验证应表明满足这些KPI。例如。使用附件II中定义的相关方法。 工具链由多个工具组成，每个工具将使用几个模型，验证范围包括所有工具及其相关模型。（a）留档不仅应提供M&S验证的证据，还应提供与流程和产品相关的足够信息，以证明所使用工具链的整体可信度。（b）文档/结果可能会从以前的置信度评估中延续下来。 评估员（认证官）应审核制造商提供的留档，并可能对完整的集成工具进行测试。如果仿真测试的输出不能充分复 制物理测试的输出，评估员可以要求重复虚拟和/或物理测试。测试的结果将被审查，结果中的任何偏差都应与制造商沟通重新审查。需要充分的解释来证明测试配置导致结果偏差的原因。 本节涉及表征虚拟工具链结果的预期可变性。评估应由两个阶段组成：在第一阶段，从“M&S分析和描述”部分和“数据/输入谱系”收集的信息用于表征输入数据、模型参数和建模中的不确定性结构。然后，通过虚拟工具链传播所有不确定性，模型结果的不确定性被量化。根据模型结果的不确定性，DCAS制造商在使用虚拟测试作为DCAS验证的一部分时需要引入适当的安全裕度。DCAS制造商应证明他们已经通过稳健的技术（例如为其评估提供多次重复）估计了模型的关键输入。模型参数不确定性的表征（校准后）制造商应证明，当模型的关键参数不能完全确定时，它们可以通过分布和/或置信区间来表征。M&S结结构中不确定性的表征制造商应提供证据，证明通过评估生成的不确定性（例如，尽可能比较不同建模方法的输出），对建模假设进行了定量表征。制造商应旨在区分不确定性的偶然成分（只能估计但不能减少）和由于过程虚拟化中缺乏知识而产生的认知不确定性。
13.4 文档结构
本节将定义如何收集和组织制造商提供给有关当局的留档中的上述信息。 （a）制造商应制作使用此大纲结构化的文档（“仿真手册”），为所呈现的主题提供证据； （b）留档应与工具链的相应发布和适当的支持数据一起交付； （c）制造商应提供明确的参考，允许跟踪留档到工具链和数据的对应关系； （d）留档应在工具链使用的整个生命周期内保持。评估员可以通过评估制造商的留档和/或进行物理测试来审核制造商。
以上，本文完。
