论文推荐||GPT之后，工业领域的下一站：AI驱动的数字孪生系统（iDTS）

工业数字孪生系统的现状与局限：数字孪生（DT）自2003年提出以来，已在航空航天、制造、建筑、医疗等领域广泛应用。传统iDTS主要依赖静态建模、规则驱动和离线仿真，存在以下问题：数据稀缺：建模精度低，难以覆盖全要素；学习能力缺失：缺乏自主优化与自适应能力；智能执行不足：人机环境交互能力弱，反馈调整慢。

创新点如下：

1)提出AI驱动的新一代iDTS概念：将iDTS重构为物理实体系统、数字孪生系统与AI计算系统三元耦合的闭环优化体系。核心机制包括：虚实同步：实时数据驱动模型动态更新；自主进化：通过多智能体协同与AI学习实现策略迭代；智能执行：低时延、高精度的物理操作反馈闭环。

2)构建六大核心能力特征：从感知、建模、交互、仿真、决策、执行六个维度，系统阐述了新一代iDTS的能力跃迁：智能感知、智能建模、智能交互、智能仿真、智能决策、智能执行。

3)提出三种典型运行模式：生成式孪生建模模式：利用生成式AI自动构建高保真模型；多智能体协同优化模式：通过LLM与强化学习实现任务策略自主学习；嵌入式AI终端执行模式：将轻量化AI模型固化于终端设备，实现实时控制与自适应执行。

4)提出六大关键技术：“人-机-环境”多数字孪生体动态融合建模；AI自动生成数字孪生模型；多智能体智能感知与交互；数字孪生体自学习智能决策；iDTS快速计算与动态仿真；嵌入式AI驱动的智能执行方法。

AI 驱动的新一代DTS的典型特征

 AI驱动的新一代iDTS的系统基本架构  

如图2所示。AI驱动的新一代iDTS的系统基本架构由物理实体系统、数字孪生系统和AI计算系统组成。

   

图2.AI驱动的新一代iDTS的系统基本架构

AI驱动的新一代iDTS的系统基本架构由物理实体系统、数字孪生系统和AI计算系统组成,三者相互关联,形成了生成式孪生建模模式、多智能体协同优化模式和嵌入式AI终端执行模式3种典型运行模式,并以多数字孪生体动态融合建模、AI生成数字孪生模型、多智能体智能感知与交互等关键技术为支撑。

(1) 物理实体系统

是新一代iDTS的映射对象、服务对象和数据源，包括产品生命周期各环节的人员（如设计师、工艺师）、装备（如机床、机器人、AGV）、物料和生产环境（如车间温度、运行环境）。人员处于主导地位，负责指令发出与决策制定。

(2) 数字孪生系统

是新一代iDTS的虚拟本体，与物理实体系统在几何、行为和性能上保持动态一致，为AI计算系统提供仿真环境。主要包括孪生数据（通过感知或AI生成获取）、孪生模型（如三维结构模型、多物理场模型）和孪生环境（对设计、制造和运维环境的虚拟映射）。

(3) AI计算系统

是新一代iDTS的智能中枢，包括基础模型（如语言模型、视觉模型）、专用模型（根据特定任务自建或微调）和专用芯片（用于部署AI模型，嵌入终端设备实现智能执行）。三者根据不同场景相互作用，形成生成式孪生建模、多智能体协同优化和嵌入式AI终端执行三种典型运行模式。

AI驱动的新一代iDTS的典型模式

(1)生成式孪生建模模式：生成式孪生建模模式强调孪生数据和孪生模型的主动生成。在该模式中,物理实体系统能够为训AI计算系统中的神经辐射场模型、扩散模型、三维生成对抗网络等生成式AI模型提供数据源(如图3)。

   

图3.生成式数据协同模式

同时生成式AI模型受到运动学、动力学等机理模型约束。另外,AI计算系统通过提取规律,快速生成几何模型、行为模型和机理模型,与数字孪生系统和物理实体系统形成了“数据生成→机理约束→虚实一致”的闭环。

(2)多智能体协同优化模式：多智能体协同优化模式强调建立AI自学习机制,实现任务策略的自主学习与进化。在该模式中,来自物理实体系统的实时数据、历史数据和自然语言描述等经过预处理,作为AI计算系统中的LLM的输入(如图4)。

   

图4.多智能体协同优化模式

然后,LLM 进行任务解析、专用模型调用和自然语言理解,将指令/语句传给专用学习模型进行特定任务的学习,同时视觉模型将物理实体的动态数据反馈给专用学习模型。另外,数字孪生系统为专用学习模型提供了并行仿真环境,能够完成最优任务策略学习。

(3)嵌入式AI终端执行模式：嵌入式AI终端执行模式强调终端设备的实时控制与自适应执行。如图5所示。

   

图5.嵌入式AI终端执行模式

为满足轻量化、低时延和高精度的作业需求,该模式下物理实体系统为AI模型的训练提供数据,数字孪生系统为AI模型提供仿真和验证环境;然后,训练好的轻量化AI专用模型被部署到数字孪生专用芯片,通过“即插即用”的形式集成到终端设备,实现终端设备的智能感知、智能交互和智能执行等。

AI驱动的新一代iDTS的关键技术                

“人机环境”多数字孪生体动态融合建模方法：“人机环境”多数字孪生体动态融合建模方法旨在构建一个虚实协同、自适应演化的系统模型。该方法的关键在于通过传感器、可穿戴设备、环境监测系统等采集人、机、环境的实时状态数据;通过生理动力学模型与强化学习,模拟个体决策与疲劳演化;利用物理模型与数据驱动模型构建设备的数字孪生体,实现多智能体驱动的仿真;通过分布式架构和消息传递机制,实现跨孪生体的信息交互;利用在线学习和优化算法实时调整模型参数,实现系统的效率、安全与能耗等的平衡。

图6描述了“人机环境”多数字孪生体动态融合建模方法。

   

图6.“人机环境”多数字孪生体动态融合建模方法

首先,部署多模态传感器,覆盖人、设备、环境3类数据;其次,采用自适应滤波消除噪声,并通过标准化与归一化方法统一数据尺度;然后,通过图神经网络(GraphNeuralNetwork,GNN)提取数据间语义关系,借助长短期记忆网络模型(LongShortTerm Memory,LSTM)建模时序依赖关系,识别环境动态变化对人与机器的耦合影响。

AI自动生成数字孪生模型方法：数字孪生模型是与物理实体的几何、行为和性

能等一致的数字化模型,包括三维几何、行为逻辑和数学机理模型等。同时,数字孪生模型能够通过传感器采集的实时数据并动态更新,达到虚实同步。但是,物理实体系统的实时数据精准采集和高精度建模是难题。随着生成式AI的发展,孪生数据、虚拟图像和简单的三维几何模型等已经能够根据需求自动生成。例如,通过生成对抗网络(GenerativeAdversarialNetwork,GAN)得到孪生数据,通过扩散模型(diffusionmodel)生成虚拟图像,通过神经辐射场(NeuralRadianceFields,NeRF)生成高质量

的三维几何模型。为此,本文提出了一种AI自动生成数字孪生模型方法。图7描述了AI自动生成数字孪生模型方法,包括全生命周期数据和模型基础、生成式AI模型、数字孪生生成和反馈应用4个部分。

   

图7.AI自动生成数字孪生模型方法

首先,在产品设计、制造、试验及运维的全生命周期中,会积累大量实时数据、历史数据、机理模型等,这些数据和模型是生成数字孪生数据和模型的基础;然后,针对不同的工业应用场景,建立生成式AI模型或者调整现有模型,并使用已有的数据进行AI模型训练和测试;最后,应用训练和测试后的AI模型,生成产品设计、制造、试验和运维所需的数据、图片或模型。

多智能体的智能感知与交互方法：AI技术的快速发展正在重塑感知与交互方法,

其中智能感知使智能体能够实时获取环境状态与协作对象的行为信息,而交互方法决定了智能体间的信息共享、任务分配与策略协同效率。数字孪生与AI技术的融合为iDTS提供了动态感知、智能推演与自主决策一体化的能力。为此,本文提出了多智能体的智能感知与交互方法。

图8描述了多智能体的智能感知与交互方法。

   

图8.多智能体的智能感知与交互方法

其核心是在专用AI大模型框架中,通过多模态融合、复杂推理与自适应学习技术,实现从感知到行动的决策闭环。首先,依托海量参数与深度学习模型,专用AI大模型能够融合文本、图像、传感器时序数据等多源异构信息,构建动态环境认知图谱。其次,通过专用AI大模型的多模态理解与生成能力,数字孪生体能够解析设备振动、温度等数据,生成故障根因分析报告,并通过强化学习模拟不同维护策略的长期影响,动态优化生产计划。

数字孪生体的自学习智能决策方法：在传统iDTS中,仿真与控制高度依赖结构化数据,难以有效利用设备说明书、维修记录、操作日志等非结构化数据,模型缺乏全面且充足的专业知识,从而限制了系统的智能化发展。为突破这一瓶颈,本文提出基于LLM 的数字孪生体自学习框架(如图9)。实现知识抽取、任务推理与系统进化的一体化处理。

   

图9.基于LLM的数字孪生体自学习框架

iDTS快速计算与动态仿真方法：针对iDTS在快速计算与动态仿真方面面临的挑战，本文提出了一种快速分层计算与动态仿真方法，其核心架构包括以下四个层次：

   

图10.iDTS快速计算与动态仿真核心框架

快速计算层：基于云边端协同计算架构。云端负责复杂模型训练与全局优化，边缘端处理局部实时数据，设备端通过嵌入式AI芯片完成本地推理与反馈控制。

动态仿真层：基于多保真混合仿真技术。高灵敏区域采用高保真模型，低灵敏区域使用降阶模型或代理模型以平衡精度与效率；同时结合可微仿真技术，缩短“仿真→决策”的链路。

数据流优化层：构建“多模态数据采集→云边端协同→虚实同步→自适应精度管理→实时决策与控制”的级联路径，促进数据流在云边端之间形成闭环优化。

技术支撑层：集成异构加速计算、分布式并行计算、AI模型优化等核心技术，为快速计算、动态仿真及数据流闭环优化提供底层支持。

嵌入式AI驱动的iDTS智能执行方法：为满足工业现场低时延响应和自主智能执行的需求,本文提出了一种基于云边端协同计算架构的嵌入式AI驱动的iDTS智能执行方法,如图11所示：

   

图11.嵌入式AI驱动的iDTS智能执行方法

在云端，基于边缘端的孪生数据和领域知识训练专用AI模型；在边缘端进行模型验证调优并存入模型库，再通过硬件固化技术（如模型转换、权重压缩）将模型轻量化后存储至硬件存储卡。最后，将存储卡“即插即用”地插入集成AI芯片的设备（如Jetson系列），实现硬件固化，用于工件识别、设备健康预测、视觉检测等任务。

边缘端的数字孪生系统为云端提供历史/实时数据及仿真数据补全，同时嵌入AI预训练模型，在虚拟环境中验证优化，并集成到物理实体系统，通过虚实交互和持续数据供给加速模型自学习与进化。

设备端的轻量化固化AI模型通过自学习机制和“感知—决策—执行”闭环运行：感知层通过多模态传感器采集设备参数形成数字化镜像；决策层采用多Agent协同架构，集成质量检测、工件识别等多种AI模型；执行层将决策指令下发至PLC等控制设备，实现从虚拟空间到物理空间的闭环控制。

本研究针对新一代iDTS的三大典型运行模式（生成式孪生建模、多智能体协同优化、嵌入式AI终端执行）

传统的工业机器人控制方式主要面向特定任务场景和固定流程,进行预先编程、人工示教来实现运动过程控制,这种被动控制方式适用于标准化、大批量生产模式。但是,在大规模个性化定制生产模式中,面对个性化定制需求、动态变化工作环境和复杂的人机与多机协作任务时,传统的工业机器人控制方式难以胜任。为此,采用4.4节提出的数字孪生体自学习智能决策方法,进行AI-DT融合驱动的工业机器人智能作业,展示在大规模个性化定制场景中的机器人免编程的自动控制执行过程,符合“多智能体协同优化模式”。

如图12所示,AI-DT融合驱动的工业机器人智能作业实现过程包括数据感知、探索学习、虚实同步和智能作业4个主要步骤。

   

图12.基于数字孪生和强化学习的工业机器人智能作业方法

首先,系统通过工业相机采集不同类型按钮的图像数据(包括外形、颜色、空间位置等特征信息),通过深度学习方法建立并训练按钮识别模型,实现对目标按钮的识别与定位。其次,在数字孪生系统中构建训练环境,并为工业机器人配置观测空间、动作空间与奖励函数;同时,引入软演员评论家(SoftActor-Critic,SAC)深度强化学习算法,进行“试错”训练学习。然后,将训练收敛后的模型部署到工业机器人的物理实体系统,通过手眼标定实现虚拟坐标与物理世界坐标系之间的映射与统一,最终使工业机器人能够准确完成目标按钮的按压任务。另外,经过对模型进行泛化训练和调整,还实现了作业过程中的工件抓取、协作装配等任务。

生成式AI驱动的车间不安全状态检测  

安全是保证制造车间正常运行的基础,人工巡检是制造车间安全检测的主要形式,但是存在人工成本高、漏检、错检和反应不及时等问题。当前机器视觉为制造车间不安全状态的自动检测提供了有效途径,但仍存在不安全数据集样本少、不安全状态的理解和自动推理困难等问题。为此,本案例生成用于机器视觉检测的虚拟数据集,将其与样本较少的真实数据集混合,可得到虚实混合数据集,符合“生成式孪生建模模式”。

如图13所示,针对制造车间不安全状态真实数据稀缺问题。

   

图13.基于虚实混合数据集的车间不安全状态检测

首先使用StableDiffusion的高保真预训练模型,输入制造车间安全规范场景的文本描述(如“焊接车间按规定穿工装”、“工人按规定佩戴黄色安全帽”等),生成与语义高度匹配的初步虚拟图像。在此过程中,集成CLIP(contrastivelanguageimagepre-training)模型对文本提示进行语义编码,并与图像编码进行相似度计算,从而指导图像生成。为提升图像的一致性与表达质量,引入LoRA 微调机制,对原始StableDiffusion模型的交叉注意力层进行轻量级参数微调,基于安全规范场景的文本描述,生成高质量的车间不安全状态虚拟图像数据集。最后,将生成的虚拟数据集与真实不安全状态数据集混合,经标注后训练YOLOv11目标检测网络,实现对车间不安全状态的实时检测。

嵌入式AI驱动的产品智能筛检

在电子产品制造的高速筛检环节,如何对不同规格的芯片或印刷电路板等产品进行有效识别、质量检测和自动剔除是关键。为此提出的嵌入式AI驱动的iDTS智能执行方法,实现终端机器人控制系统的高速智能识别、质量检测和自动剔除功能,符合“嵌入式AI终端执行模式”

如图14所示,首先将TIAPortal(PLC编程软件)与Unity3D 集成,构建面向专用场景的数字孪生系统,通过虚实同步和过程仿真对运动过程进行预演和验证,以避免物理碰撞引起的损失。

   

图14.嵌入式AI驱动的产品智能筛检

其次,所提的方法训练工件智能识别、视觉质量检测、图像导引机器人等不同场景的AI模型(Res-Net-18/YOLOv5等),将模型轻量化后固化集成在SD卡上。最后,在TM NPU 中插入不同的SD 卡即可实现不同的功能。例如,在ET200MP分布式I/O站加挂TM NPU(装载了缺陷检测算法的SD卡),其通过集成的千兆以太网和USB3.1接口采集产品图像;然后,TM NPU快速检测表面划痕、虚焊漏焊、尺寸偏差等缺陷,并通过背板总线将检测结果传输至S71500PLC控制系统,触发分拣剔除的指令信号;最后,剔除信号通过PROFINET协议被传输至KUKA机器人,由机器人完成抓取和剔除产品的任务。另外,该方案支持SD卡热更新模型,适应于个性化定制的新产品导入生产场景,可缩短工程调试时间,降低缺陷漏检率,减少返工,提高设备综合效率。

AI驱动的新一代iDTS以多智能体协同网络为核心,通过物理实体系统、数字孪生系统与AI计算系统的三元动态耦合,形成虚实双向映射的闭环优化体系。基于团队前期研究基础,本文提出了AI驱动的新一代iDTS的概念、核心机制和核心能力特征,构建了系统架构、典型模式和关键技术,提供了3个典型案例。AI驱动的新一代iDTS研究探索或将促进智能制造认知决策与生产模式的变革,本文对此方向的研究仍处于初期阶段,所提理论和关键技术还需要在更多工业场景应用实践中不断完善与改进。