现状与挑战
建模仿真作为复杂装备设计验证、性能优化的核心技术,其主流的仿真模型测试方法具有一定的局限性。这是因为当前主流的仿真研究中,测试用例的撰写及测试多依赖人工手动完成,这类测试通常具有以下特征:
手工编写测试用例需要大量时间,尤其是对于复杂系统
人工难以覆盖所有可能的输入组合和边界条件
随着需求变更,测试用例需要频繁更新,维护负担较大
然而,当模型功能复杂、测试要求高时,测试效率及覆盖率会显著下降。因此,基于新型AI技术进行测试需求分析、工程逻辑学习,甚至模拟用户行为,自动生成更智能的测试用例的功能需求愈加强烈。
目前,基于AI的测试用例自动生成功能的实现具有一定的技术瓶颈。要实现AI自动生成测试用例,需突破如下挑战:
需要精准理解工程代码逻辑和自然语言需求文档
需要在生成高覆盖率的用例和避免生成影响执行效率的冗余用例之间取得平衡
生成的测试用例需具备可读性和可编辑性,便于人工后续调整及修改
如何保障企业核心代码的隐私,即如何控制测试工程是否上传到互联网进行云端分析
解决方案
鉴于上述现状与挑战,世冠科技推出了基于AI大模型实现测试用例自动生成的解决方案。该方案基于TestManager自动化测试软件(简称“TestManager”),支持用户自定义搭建测试场景,并实现了基于AI大模型智能生成测试用例的仿真工程测试与验证。这种智能的测试用例生成方式显著提高了复杂装备的仿真测试覆盖率、可信度及工程适用性,为复杂装备的设计优化和性能验证提供了更为高效、准确的测试手段。
3.1 TestManager自动化测试软件
TestManager软件是北京世冠金洋科技发展有限公司开发的建模仿真测试工具链中的一款自动化测试软件。通过使用TestManager,用户可以实现以下功能:
新建/导入测试工程、导入测试需求
使用csv文件或python脚本化构建典型测试用例
基于AI大模型实现测试用例的自动化生成
批量执行测试用例或整个测试集
自动生成PDF、Word、HTML格式测试报告
TestManager作为GCKontrol及GCAir仿真软件的配套工具,可实现基于需求的自动化批量仿真测试。将GCKontrol或GCAir工程导入TestManager,根据测试需求在TestManager配置测试场景、测试用例、测试工况,运行仿真即可完成自动化批量测试,并生成测试报告。TestManager支持全虚拟系统的批量仿真测试,也支持半实物系统的批量仿真测试,可涵盖MiL、SiL、HiL全业务流程,减少了半实物系统的开发调试、测试验证时间,支持多种测试对象,包括:GCKontrol工程、GCAir工程、GCAir半实物工程、GCAir分布式工程。
TestManager软件采用常见的软件布局风格,降低了对使用者计算机操作水平的要求,便于其进行操作和数据处理。
图1 TestManager产品界面
3.2 AI用例生成器
TestManager提供AI用例生成器,支持使用AI大模型对模型验证过程中的测试用例及测试脚本的自动生成,并支持用户在此基础上进行自定义调整及修改。该功能主要根据场景描述自动生成python测试用例,并支持离线AI模型和在线AI模型两种模式。
功能入口
打开TestManager软件及测试工程,选择软件工具栏中的“用例设计”,并点击“AI用例生成器”按钮即可进入该功能。
图2 AI模型功能入口
功能说明
AI用例生成器的主界面如下图所示。
图3 AI测试用例生成器主界面
功能说明
1 通过点击测试对象的下拉列表,可以选择当前测试工程的测试对象;
2 点击下图中的“+”号,即可添加需要自动生成测试用例的场景,且需要具有必要的场景描述,如下图所示。
图4 测试场景选择
3 设置需要生成用例的数量;
图5 AI模型配置
4 点击上图中间的“+”号,可以添加工程描述文件(.txt和.py格式),非必须项;
5 点击“确定”按钮保存AI配置;
6 点击“生成”按钮,系统会开始自动生成测试用例,并显示进度条;
图6 AI自动生成测试用例进度显示
7 成功生成AI测试用例后,可以在测试工程树中找到对应的测试用例,并在“工程输出”界面中查看测试用例自动生成过程中的输出详情,如下图所示。
图7 AI生成测试用例
从上图中可见,工程输出中显示生成日志,如果生成的python不符合测试用例要求,会重复3次;符合测试用例要求的AI用例会加载到对应的场景下面,且用户可以在此基础上进行测试用例的自定义调整及修改。
AI模型选取
TestManager提供的AI用例生成器,使用的AI大模型支持用户自定义选取,支持用户通过脚本指定大模型。目前支持的AI大模型种类有AB知识库、千帆库以及本地大模型等。
当用户指定使用本地AI大模型,需在本地部署AI模型,且机器需要满足模型部署的硬件要求;在基于本地大模型使用AI用例生成器时,用户的工程及代码数据不会上传至互联网进行云端分析,保证了企业核心工程及代码的隐私安全性。
3.3 功能拓展
对于已有专属AI大模型的企业或单位,世冠科技可以支持用户构建本地知识库及基于本地知识库进行AI用例自动生成的技术服务,以满足工程数据严格保密的测试要求。
本地知识库搭建
世冠科技可以提供为用户构建本地知识库的技术服务,在完成本地知识库的搭建后,其可与本地部署的大语言模型(如通过Ollama运行的模型)无缝集成,实现真正离线、安全、可控的问答体验,大幅提升本地化知识的组织效率与智能应用能力,并提供知识库调用的API访问接口。
图8 知识库支持功能详解
测试用例生成
通过构建本地知识库并部署大模型,用户可通过自然语言描述测试目标,系统先结合知识库内容解析并生成清晰的实现步骤;随后,基于提示词模板,调用本地或在线AI模型(如DeepSeek)进行推理和计算,自动生成符合编码规范的Python脚本测试用例,实现从需求表达到用例生成的全流程智能化、自动化支持。自动生成用例结合本地知识库和AI大模型的基本框架如下。
图9 自动生成测试用例框架
案例介绍
在此,通过构建一个GCKontrol仿真工程,对TestManager的AI用例生成器进行演示。
GCKontrol仿真工程
主要实现航天器的姿态控制。航天器姿态控制分系统通过传感器实时测量航天器的三轴姿态,为了达到目标姿态(参考姿态),航天器通过飞控计算机中的PD控制算法对执行机构发送指令,驱动执行机构输出合适的控制力矩,该力矩和外界干扰力矩一起影响航天器姿态动力学,进而影响或者改变运动学模型和姿态测量模型,以实现目标三轴姿态。
测试目的
以航天器姿态控制工程为对象,测试其受到外部扰动后姿态稳定情况。航天器姿态控制工程及扰动输入情况如下图所示。
图10 GCKontrol仿真工程及扰动输入
AI测试用例生成
1 将仿真工程导入到TestManager测试工具,基于其AI交互接口,通过AI模型生成测试用例;
结语
TestManager通过“AI用例生成+自动化测试”的创新架构,实现了复杂装备性能验证与任务场景测试的升级。其价值不仅在于技术突破,更在于推动复杂装备模型研发仿真测试模式的转变:
测试模式升级
从“人工手动”转向“AI智能化”;
测试成本优化
通过使用AI大模型降低全场景高覆盖率测试的资源与效率门槛;
本地知识库赋能
将核心保密资料部署为企业局域网内的本地知识库,并由本地AI模型调用,打造了一个高度安全的“智能化测试平台”。
总体而言,TestManager可支持AI生成测试用例、自动化批量测试等应用,为复杂装备研发等提供高覆盖率、智能化的仿真测试平台。其聚焦高价值任务而非重复劳动,快速响应敏捷开发需求,以更少的资源实现更高的测试覆盖率,助力工业仿真测试软件迈向新征程。