郭力a,b,李静海a,*
a中国科学院过程工程研究所,介科学与工程全国重点实验室,100190,北京,中国
b中国科学院大学化学工程学院,101408,北京,中国
*通信作者: Email地址:jhli@ipe.ac.cn (李静海)
本文旨在探讨人工智能(Artificial Intelligence,AI)可能的发展方向,指出当前AI可以处理复杂系统的统计特性,但难以有效处理和完整体现其时空复杂性规律。然后进一步讨论了未来工程领域AI可能的发展途径,根据对多层次复杂性原理的已有认知,认为数据集、AI模型、建模软件、硬件体系四者符合逻辑结构的一致性将是推动AI进一步发展的一个重要方向,值得深入研究。
1. 前言
关于AI发展和应用前景的讨论在全球范围引发新一轮热潮,各种观点不断涌现。这些观点大多聚焦如何在尽可能降低对计算资源需求的同时,提升AI的建模效率及其推理、预测和应用能力[1,2]。
这种以解决具体问题为导向的讨论无疑至关重要且十分紧迫。然而,在这样一个关键时刻,从未来可持续和更长远发展出发的思考或许更为重要[3,4]。我们认为,在工程科学领域如何实现从“黑箱”统计模式向基于科学原理的转变,可能是更深层次的问题导向,也应当引起重视!
这就引出了几个亟需回答的问题:1. 目前AI所依赖的逻辑架构是否合理并会继续使用?2. 未来工程领域AI的逻辑架构应如何发展?3. 应该采取哪些措施来探索未来AI发展的方向?本文简要探讨这三个问题,期望能引起更深入和广泛的讨论。
2. 现有AI的逻辑架构是否合理并一直沿用?
在研究复杂系统的过程中,特别是在工程科学研究中,确保研究对象、构建的物理模型、软件系统、硬件平台在逻辑结构上的一致性[5,6],是确保应用系统的功能及其可靠性、可扩展性的基础。这里所说的逻辑结构是指系统的框架、基本构成模块、以及模块之间的关联和协同关系等。
物理模型是应用已有知识对研究对象进行的抽象与映射,应当体现当下人类对研究对象本质的逻辑结构的认知。
软件系统是为求解物理模型在计算机上对模型进行的编码,其逻辑结构自然应与物理模型保持一致,这样做不仅能使代码逻辑清晰且易于维护,更重要的是,能够在很大程度上复现研究对象的时空演化,使研究者可以在本质上更深刻地理解研究对象的结构和功能。
进而,硬件平台的逻辑结构理应与软件系统保持一致,以便为软件系统的高效运行和升级提供清晰的架构支持。这同样是实现算力合理分配、通信性能和存储负载优化的重要基础。CPU和GPU混合架构的高性能科学计算是一个很好的例子[5,6]。
本文讨论的AI,主要是指当前以人工神经网络、特别是深度学习技术为基础的“连接主义”AI分支(这是由于当前AI主要使用了人工神经元互相连接的网络)。这类AI应用的基本流程是:分析处理对象并建立数据集、设计AI模型、学习训练以建模、部署应用。事实上,AI是一个用来解决复杂性问题的工具[7,8],它自身也是一个复杂系统。在AI的研究和工程应用中,也应确保研究对象、构建的物理模型、软件系统、硬件平台在逻辑结构上的一致性。
除硬件平台外,将AI与前述复杂系统的研究过程进行类比。数据集是AI建模的基石,来源于研究对象,体现它的核心特征与结构,同时也反映了对处理对象的深入理解,因此也应该具有物理模型的内涵;AI模型可以视作物理模型和其求解软件的结合体。与基于各自领域知识而形态各异的各类复杂系统的物理模型不同,不同问题AI模型之间的差异要小很多,通常是将建模目标归纳为若干类数学问题之一后而进行设计的,其数学本质包括分类、回归等;AI建模软件的设计也与AI模型密切相关,一旦确定了AI模型,其基于数学和统计的建模训练方法基本上也随之确定,并据此进行软件实现。
我们认为,未来应该将复杂系统的对象、物理模型、软件、硬件在逻辑结构上的一致性映射到AI上,如图1所示。这种映射突出了AI研究与复杂系统研究的独特特征,同时强调了它们潜在的相似性。
图1. 将复杂系统的对象、物理模型、软件、硬件在逻辑结构上的一致性映射到AI上。
现有人工神经网络技术基于Hopfield和Hinton的开创性工作,基于能量最小原理[9]和玻尔兹曼分布[10]。1989年学者提出并证明了万能近似定理[11,12],即:一个具有单隐藏层的前馈神经网络,只要隐藏层包含足够多的结点,并配备适当的非线性激活函数,就可以以任意精度逼近定义在紧致集(Compact Set)上的任何连续函数。万能近似定理从理论上证实了神经网络的强大表达能力,表明神经网络可以被视为一个强大的数据拟合工具。
观察在计算机视觉、自然语言处理等比较成功的AI应用场景可以发现,它们所使用的深度网络的参数量最多可达万亿数量级,但这些参数与建模对象之间并没有逻辑上的关联和结构上的对应关系,这导致了模型的训练过程和模型本身都成为了所谓“黑箱”,也就是训练过程和模型与复杂系统时空结构的演变规律并未充分关联起来。这成为当前进一步发展AI的工程应用面临的主要问题之一。
尽管在处理语言和图像时这一问题可能并不那么明显,但当处理对象包含多层次复杂性特征和多机制竞争中的协调导致的时空结构变化[13]时,尤其是在工程领域,由于现有的AI训练过程和模型忽略了这些体现复杂系统本质的基本原理,无法合理地反映处理对象的逻辑结构,只能依靠反复的统计迭代来建模,这不仅耗费了大量的计算资源和时间,而且难以实现精准的推理和预测,必然难以捕捉系统由于多主导机制所导致的结构特征而带来过拟合问题。
另一方面,大语言模型的复杂性体现在其通过海量文本数据的统计学习,并结合位置编码和自注意力机制,对文本中的时序依赖关系(如词序、上下文逻辑)隐式建模。这种能力使其能够生成连贯的文本,但与传统时间序列分析中的时序特征提取有本质区别。因此,将大语言模型使用的建模方法和训练所得到的模型直接用于工程实践中具有非平衡动态时空结构的系统并不适宜,至少不是最优选择。这是因为复杂结构的时间和空间动态的变化在物理上是紧密相关的,并受系统稳定性支配[6,14],不应分别独立考虑,其特征和相互作用的规律,当前还难以仅通过对数据的统计分析得到。
由此可见,在AI模型和建模方法两个方面,当前AI的逻辑架构尚未充分反映处理对象的复杂性所具有的多层次时空特征,导致AI模型无法合理且充分有效地提取、处理、展现和利用隐含在数据中的这些物理特征,这是一个AI应用到工程系统中所需要解决的根本性问题。
换言之,目前的AI模型实际上更倾向于挖掘复杂系统中的统计特性,并且相当有效,而对系统时空复杂性规律的刻画重视不够。因此,明确并理解系统中的统计特性和时空复杂性规律的形成机理和它们之间的相互作用,并将其有效应用,可对系统合理地降维处理,显著降低系统建模的复杂度,提升建模过程和所建模型的可解释性,这对于高效地构建和应用基于复杂性原理的AI模型至关重要[6,15]!
此外,在构建AI模型的过程中,如果在迭代中没有应用复杂系统固有的稳定性条件这一根本性的因素[14],那么所得到的模型无法体现结构参数之间的关系。同时,若仅依赖消耗大量计算资源和试错成本来逼近系统的复杂结构,所得到的模型可能仅满足数学上的优化条件,将这样的模型应用到实际工程系统中时,通常效果欠佳。
由此可见,物理原理的引入,即使是初步的,也会对AI系统功能的改善发挥重要作用。尽管目前AI技术已经在很多领域取得了令人瞩目的成就,并积累了很多成功的案例,但在处理工程中众多复杂系统的问题时,特别是在数据有限的情况下,AI模型的推理和预测能力仍然不尽人意。因为对于复杂系统,在物理上不同区域满足不同的稳定性条件,在AI建模方法中,用统一的损失函数来表达这种稳定性条件的多样性必定是不够的,必须把这它们反映到AI建模过程和AI模型中。
总之,当前AI的逻辑架构与其处理对象的复杂性原理缺乏物理上的联系,这一根本性的问题应当引起高度重视。不能因为现阶段AI系统在某些领域表现出的优秀性能而忽视了对其基本逻辑架构的研究!需要逐步应用尽可能多的复杂性原理认知来支撑和推动AI未来的发展。也就是说,AI的逻辑架构也应随着对复杂性原理认知的逐步深入而不断演进。
3. 未来工程领域AI的逻辑架构应如何发展?
发展AI的初衷是提升人类对纷繁复杂世界的认知能力,AI训练建模应依赖可靠的、并体现物理规律的相关数据,这些数据是通过对自然界、社会、生态系统和生产过程中的各种复杂现象的深入研究而获得的。然而,当前用于AI系统训练的大多数数据集带有时空平均化的特性,这限制了所构建的AI模型在预测性能上的潜力。因此,充分关注科学数据系统的物理逻辑结构[16]应是AI发展的首要任务。
更进一步,数据背后的物理逻辑结构必然来自其对应的研究对象,因此在物理上探索这一逻辑结构,AI的应用效果将更为直接。根据近年来逐步发展的介科学[6]原理,复杂系统往往具有多层次特征,每一层次都呈现多尺度(单元尺度、介尺度和系统尺度)结构,而复杂的时空结构通常出现在每一层次介尺度的介区域中(由操作条件决定,如下述)。尽管存在多样性,但不同层次都遵循这一共同规律并相互关联,显示出其具有一定普适性[13]。
具体而言,每一层次均受至少两种机制(例如A→min和B→min)的共同控制,随着A和B相对控制能力的变化,系统在介尺度上分别出现A单独主导和B单独主导两种较为简单的结构,称为A区域和B区域。而当A和B相互无法完全遏制对方的作用时,A和B必须共存并在竞争中协调(Compromise in Competition,CIC),导致了系统复杂结构(A/B介区域,或A/B区域)的产生和临界现象的出现,其最显著的特征是有序和无序共存并相互依存,这意味着形成了三个区域和两个临界点。CIC原理在数学上可表达为多目标优化问题
[6]。这一逻辑结构尽管仍需在更多系统中确认和应用[6],但未尝不可作为一个表述物理逻辑的初步方案。文献[14]的研究案例证实了使用CIC原理引导AI建模,是一种很有发展前景的新方法。
尽管未来AI的发展方向难以预测,但其最好遵循与多层次复杂性相同的逻辑架构。当前,在深层神经网络模型中,网络隐藏层的数量和每一层节点的数目这两个重要的超参数,取决于问题的复杂程度等因素,需经过多次建模验证而优化得到。因此,模型网络结构的设计与所处理问题的物理原理无关。同时,当前训练建模本质上也是一个与系统的物理背景无关的优化过程,系统物理层次内部的复杂性、共同性和多样性往往被忽视,层次之间的相互作用也未得到充分关注,即已有的复杂性原理的相关信息未被充分应用于AI模型的训练过程。
毫无疑问,利用AI技术揭示复杂系统内部结构的演化规律是一项巨大的挑战。结构的演化受物理原理的支配,尤其是稳定性条件。在处理复杂系统时,融入物理原理和结构信息已被众多科研工具证明是可行且有效的。例如,在计算流体力学中,将Navier-Stokes(NS)方程的计算单元从体积平均转变为基于单元稳定性原理的结构单元,计算精度显著提高,而系统稳定性条件的建立是其中的关键。同样,在使用AI技术对复杂系统进行建模时,引入系统关键的物理约束,可以增强模型对系统动态行为的预测能力。将物理原理与AI技术相结合的方法,不仅增强了模型的可解释性,还能确保模型在面对未知情况时,依然能够做出准确的预测,有效防止了AI模型在训练过程中出现过拟合现象,从而提高模型的泛化能力。
因此,在AI系统的设计、训练、优化和应用过程中,应逐步融入多层次复杂性的CIC原理,详细讨论请参见文献[14,15]。在这一发展路径上,以下三个问题也需要进一步明确:人工智能(AI)、人的智能和复杂系统三者的基本原理之间的逻辑架构有何关系?它们是否应该相同?以上讨论的复杂性原理该如何融合应用于现有的AI系统?这需要充分的学科交叉,因为将处理对象的物理原理引入到AI的逻辑架构中对单一学科是一个挑战,AI专家、领域专家、数学家和工程专家必须共同介入。
4. 应该采取什么措施来探索AI进一步发展的方向?
首先,应当充分重视前面提到的多层次复杂性原理,并对其逻辑架构进行更深入的探讨,以确认其必要性和合理性并进一步将其具体化。在这一过程中在科学界逐步达成共识并逐步完善。在此基础上,分析当前AI的逻辑架构存在的问题,识别出哪些方面可以改进,哪些方面可以进一步发展。最关键的是,探讨如何将这些改进与前述逻辑结构的一致性相融合,尽快形成一个完整的基于科学原理的AI发展方案。
在这方面已经有了一些初步的尝试。文献[14]提出了一种介科学引导的深度学习建模方法(Mesoscience-Guided Deep Learning,MGDL),MGDL将多层次复杂性原理融入到数据集构建和模型训练过程中,应用介科学的CIC原理,将介科学约束
集成到损失函数之中。使用鼓泡流化床这一化工领域典型复杂系统的案例对MGDL进行验证的结果表明,在训练数据集规模较小时,相比传统建模方法,MGDL在收敛稳定性和预测性能方面都表现出了较大的优势。
然后,在复杂性原理逻辑架构的指导下,系统地筛选几个工程领域的典型案例,并利用可获得的符合前述文献[16]所提出条件的优质数据资源,采用问题导向的方式,运用新的逻辑结构来构建数据集和AI模型。同时,确保留出空间以纳入领域差异性考量。基于此,规划识别长期发展趋势的研究,并统筹协调近期、中期和远期的研发计划。
继而,以新的统一的逻辑架构为基础,进一步明确实现对象、AI模型、建模软件、硬件四方面逻辑结构的一致性,为AI的低成本、高效率、可解释性和实用性以及相关高性能计算技术探索一条根本的发展路径。
通过以上这些探索,希望能够发展出全新的AI体系、研发模式和相应的计算范式,进而确立一个融合了多层次复杂性科学原理的工程智能化范式框架,如图2所示,期望体现出以下特征:
多层次:在接收输入数据后,首先判断数据的来源层次,以确定是进行单层次还是多层次复杂系统的处理,随后将任务分配给相应的层次处理。例如,在化学工程领域,一般会涉及化学反应工艺、反应器、过程系统工程三个层次。
图 2. 基于多层次复杂性原理的工程智能化范式。
每个层次表现为多尺度的结构:复杂结构出现在介于单元和系统之间的介尺度上,基于此,通过物理分析或AI推理分析,确定每个层次的两个主导机制A和B,区分三个区域(regime)即A区域、A/B区域和B区域,并构造它们各自的稳定性约束条件,分别为A→min、
、B→min。A区域和B区域的的结构比较简单,但A/B区域(介区域)的结构要复杂的多,有序行为和无序行为在其中并存,受到两个极值条件的控制,即A→min和B→min此时产生了竞争中的协调。
三区域的AI建模:在A区域或B区域,可用一般的数学和统计方法在其对应的稳定性条件约束下来处理;若处于复杂A/B区域(介区域),则需在
主导的稳定性条件约束下进行AI建模,如文献[14]。当然,在三个区域之间定义两个临界点是一个有待解决的问题[6]。
A/B区域的AI求解:求解介区域的问题对于整个复杂科学界都是个很大的挑战。一个可能的解决方案是在两机制同等重要的假设下,A/B介区域的稳定性条件约束转换为一个单目标优化问题:
以此为首要约束进行建模训练。其中最关键且重要的步骤是得到主导机制A和B的解析表达,这方面物理原理解析和AI辅助分析可以互相促进。
数据集:理论上,所有数据必须满足以上操作的要求才能纳入数据集[16]。在实际应用场景中,由于当前数据获取技术的限制,某些数据可能无法完全满足要求,此时应当予以明确标注,以便于后续进行修正。
软件/硬件系统:以上述逻辑架构为基础,构建AI所需的软件系统和硬件平台。这涉及计算科学领域深层次的问题,暂不赘述。
总之,实现以复杂性原理为核心的工程智能化的途径在于确保数据集、AI模型、建模方法、硬件平台逻辑结构的一致性,这也是基于复杂性共同原理发展AI的科学选择。因此,AI的发展和复杂性原理的研究应当相互促进、相辅相成,在这一过程中,摆脱惯性思维的交叉科学的发展和广泛的多领域合作十分重要。
综上所述,在AI持续的进化过程中,逐步引入复杂性原理的新进展将成为其进一步发展的关键方向。特别是对有序与无序共存的时空动态结构的逻辑架构的理解和处理,将是一条极具潜力且可行的路径。以上基于介科学对多层次复杂性的认识可以作为一个起点,以此推动介科学和AI融合的交叉研究,这十分重要。
最后需要说明的是,本文观点基于作者在工程实践中积累的个人认知,由于该领域研究尚不成熟,这些认识难免存在局限性。若读者发现本文论述中有疏漏或不足之处,我们将非常乐意接受任何批评与建议。
致谢
作者衷心感谢董超、陈建华、王维、葛蔚对本文提出的宝贵意见,感谢王健在撰稿过程中的帮助。感谢中国科学院和盖茨基金会的支持。
参考文献
文章信息:
The Development of Artificial Intelligence: Toward Consistency in the Logical Structures of Datasets, AI Models, Model Building, and Hardware?
人工智能的发展:实现数据集、AI模型、建模软件和硬件体系逻辑结构的一致性?
作者:
郭力,李静海*
引用:
Li Guo, Jinghai Li, The Development of Artificial Intelligence: Toward Consistency in the Logical Structures of Datasets, AI Models, Model Building, and Hardware?, Engineering, 2025
开放获取论文: