PhysicsX从底层几何表示入手，破解训练AI CAE代理模型多种挑战
这是AIE加速工业进化【AI+CAE的现状和未来】系列的第5篇，主要介绍PhysicsX公司的底层技术架构。
为此，AI CAE创业公司PhysicsX 公司（PhysicsX.ai）开拓了一条新的技术路线，从最底层的几何模型的表示层面入手，先将几何网格模型转换为一个低维度的参数化潜在表示，再用这个潜在表示来训练对应的AI代理模型。
该方法克服了过拟合以及训练成本高的挑战，且更易对设计进行修改和探索。该技术路线在目标上与nTop和Luminal Cloud合作的项目颇为相似，只是采用的路线有所不同，两者都代表了AI CAE的进一步发展方向。
PhysicsX 公司通过一篇技术博客更具体的对该技术方案进行了介绍，以下是该博文内容的翻译和整理。原文链接见“阅读原文”。
几何在现代科学和工程中起着至关重要的作用。工程师通过结合设计调整和数值模拟，持续迭代和优化设计。为了有效地将AI（机器学习ML和深度学习DL）应用于此，开发与现代AI技术兼容的几何表示形式至关重要。
解码几何：解锁机器学习的潜在空间
AI应用于几何领域的关键是用什么数据结构表示几何。
3D几何常用的有几种离散格式，如点云（3D空间中的点集）、网格（通过连接点的边和面的信息增强的点云）和体素（编码占用或其他属性的体积元素3D网格）。此外还有函数或隐式表达，如符号距离函数SDF。
网格和点云是最常用的表示方法之一，但每种表达方法都有其自身局限性，常见挑战有：输入空间维度非常高、输入大小可变、架构复杂以及跨表示模型泛化能力有限等。总之，几何相比于列表或序列数据而言，对于机器学习仍不太友好，列表或序列更常用标量、向量或矩阵来表示结果，这些对于机器学习捕获和利用数据是最简洁和有效的方式。
现代工程和设计的目标，是创建和制造满足特定性能目标并满足一组约束条件的最佳几何形状，为了评估设计的性能，工程师通常采用数值模拟的方式，使用网格对几何进行表示，但设计师在设计阶段则很少与网格交互，他们使用的是参数化的CAD模型，CAD模型引入了一组有限的可控参数和自由度，用于调整探索设计替代方案。这时，CAD表示通常比相应的模拟网格具有更低的维度，充当组件几何形状的潜在表示。
例如，下图的一个球体网格，其中心位于某个位置（xc,yc,zc），半径为r，并且分辨率逐渐增加。
我们可以使用对应数量的点、边和面来表示任意细节层级的这个球体。然而，直观上球体也可以用一个潜在向量𝑧=[𝑥𝑐,𝑦𝑐,𝑧𝑐,𝑟]来表示，只要假设其底层几何确实是一个球体，这个向量就将完全捕捉所有相关信息。在这种情况下，高维观测中的网格本身以及任何与离散化相关的因素，如点的数量和排列方式，它们之间的连接性等，就变成了“噪声”。
然而，CAD参数化并不总是实用或足以进行全面的设计探索。
创建CAD模型既耗时又需要专业专长，常常成为设计工作流程中的瓶颈。
参数化的固定性质将设计空间限制在模型创建时预期的几何变化范围内。
在许多情况下，特别是处理遗留组件或复杂的有机形状时，可能根本不存在合适的CAD参数化。
最重要的是，给定应用的最佳几何形状可能位于由CAD参数定义的受限空间之外。因此，即使在CAD框架内进行彻底的探索，也可能无法发现最佳设计。
这促使了数据驱动方法的发展，这些方法可以直接从几何数据中发现相似的潜在表示，有可能捕捉超越传统参数化建模约束的设计模式和几何关系。
我们介绍了一种变分自编码器（variational autoencoder）架构的大几何模型（Large Geometry Model，LGM），旨在通过编码器将任意的基于网格的高维几何映射到紧凑的低维潜在表示，同时通过具有极小信息损失的解码器实现原始几何的精确重建。
这种方法基于这样一种假设：即对于某些底层几何的一组高维观测值，存在一个低维的简洁表示，并且有可能从这些（可能存在噪声的）高维测量值中学习到到它们相应的潜在值的映射。
我们在这个架构上对数百万个几何体进行了预训练，以学习跨越广泛可能几何分布的有效潜在表示。
使用代理模型加速设计
为了说明将LGM纳入工作流程的好处，这里以一个新组建设计场景为例。假设某公司正在开发一种旨在超越先前设计的下一代小工具。性能评估使用一组标量指标，这些指标通常通过对组件表面计算出的某个场进行积分得到，而该计算往往缓慢且昂贵。
在设计过程中，该公司已为小工具生成了𝑁组候选几何形状（通常𝑁较小，即𝑁<100），并已评估了这些候选形状的标量指标。为了加速设计周期，该公司现在旨在开发一个基于机器学习的代理模型，该模型可以在不需要为每个新的候选几何形状进行昂贵模拟的情况下预测性能。
传统代理模型构建方法使用一系列候选几何体网络作为数据集，然后训练一个机器学习模型（通常是大型神经网络，如图神经网络GNN）来直接处理这些网格，并在输出层预测一个或多个标量目标。
然而，这种直接方法面临几个关键限制，特别是在典型的工程设计小数据环境中。
网格表示本质上具有高维性，通常包含数千到数百万个顶点，而可用的训练数据集通常规模有限。这种不匹配会导致严重的过拟合风险，因为模型必须在缺乏足够数据来有效约束参数空间的情况下，从几何形状到标量输出的复杂映射进行学习。
大型神经网络，如GNNs，训练起来计算成本高昂，并且需要仔细调整超参数才能获得可接受的性能，这使得开发这些基于网格的替代模型耗时。
此外，当需要重新训练模型时，无论是由于新可用数据加入还是生产中的模型漂移等原因（即由于生产中的未见数据未能得到训练数据的良好覆盖而导致模型预测恶化），开发成本仍然很高。
我们提出利用预训练的LGM将此问题重新表述为一个更易于处理的形式。我们不是直接在高维网格数据上训练替代模型，而是首先将每个几何体编码为低维潜在表示（如之前提到的用一个向量表示一个球体），用这些紧凑的潜在表示来训练一个更轻量级的机器学习回归器，例如高斯过程(Gaussian process，GP )，直接从这些潜在向量中预测标量的值。
大几何模型GLM的优点
我们相信这种方法比之前描述的直接网格到标量方法有几个关键优势：
降低过拟合风险：在低维潜在空间中训练GP可以显著降低参数与数据比率，从而减少在将大型神经网络拟合到小数据集时经常出现的过拟合问题。
模型简单性和计算效率：在紧凑潜在向量上训练的GP需要远少于在网格数据上运行的大型神经网络的计算工作量和架构调整，从而能够在设计周期中更快地进行迭代，并减少所需的建模决策。
内置不确定性量化：GP天生为其预测提供不确定性估计，在用做代理模型时，为预测结果提供了置信区间。这种能力支持风险感知决策，并有助于识别需要额外模拟的区域。
卓越的泛化能力：LGM学习到的结构化潜在空间，捕获了影响性能的基本几何变化，有效地过滤掉了基于网格的模型可能产生混淆的高频噪声和网格特定伪影，有助于改进样本外预测的结果，在探索新设计空间时尤其有价值。
在增强代理建模之外，潜在表示还显著简化了优化几何形状设计的问题。与其在复杂的几何约束下优化数千个网格顶点，公司现在可以专注于修改一个规模小得多的潜在参数集。
换句话说，这种方法允许更有效地在设计输入空间中尝试，以确定使代理模型对目标量的预测最小化（或最大化）的潜在向量。一旦确定了最优潜在向量，解码器将其重建为高分辨率几何形状，然后可以通过数值模拟进行验证，并最终投入生产。
这个低维优化问题比直接在网格上进行优化更容易处理，因为几何空间的维度很高，直接优化很快会变得计算上不可行。此外，GP的不确定性估计可以集成到贝叶斯优化等方法的采集函数中，从而实现对设计空间的智能和有针对性的探索。
挑战与局限
LGM对应的工作流程在创建仿真代理模型和设计优化方面相比现有方法具有明显的优势。然而，也需要考虑一些重要的局限性：
显著的初期投资：开发高质量的LGM需要大量投资。PhysicsX已经在这一方向长期下了战略赌注，训练了GLM模型，并通过这一技术嵌入工作流以提供变革性价值。
特定领域应用的微调需求：尽管LGM是在一个庞大且多样的几何数据集上训练的，但当它应用于与训练分布差异很大的高度专业化或特定细分几何形状时，其潜在表示可能会变得嘈杂或不一致。同样，非常微妙的几何变化可能无法被模型学习到。克服这些限制通常需要面向特定应用的网格数据上微调自动编码器，以生成更准确的潜在表示。这个过程增加了复杂性，需要额外的计算资源，还需要领域专业知识以及访问相关数据。
自动编码器的有损压缩：自动编码器的使用与传统压缩算法密切相关。在设计自动编码器时，潜在表示的大小和重建输入的真实性之间存在固有的权衡。我们的LGM执行了显著的压缩，优先考虑紧凑的潜在空间，牺牲了一些重建精度。相比之下，其他几何模型以不同的方式构建其潜在空间，通常不应用或很少应用压缩，以保留高保真重建。潜在空间的维度在代理建模和优化等下游应用中起着至关重要的作用，使其成为关键的设计考虑因素。
对潜在空间结构的强烈假设：LGM对潜在空间进行了预设，预设了特定架构和分布用于几何潜在表示。虽然所有贝叶斯模型都需要某种形式的预设，但LGM施加的预设特别强烈，并可能显著影响模型性能。如果这些预设与几何的真实结构不一致，那么产生的潜在表示可能不适合预期的任务。此外，在训练后诊断和纠正这种不匹配可能具有挑战性。
GLM的应用潜力远超代理模型等应用场景，还有许多具有影响力和创新性的应用方向等待探索
几何变形：通过这些紧凑的低维几何表示，并具备解码回高分辨率几何的能力，能够推动在网格变形领域超越传统方法的创新。
动力学问题：利用几何潜在空间处理动态和瞬态问题，其中几何随时间演化可能在显式动力学（即碰撞建模）或软物质物理等领域具有高度影响。
逆问题（反演问题，已知观测结果，反推系统内部的模型、参数或源项，如已知地表地震波，反推地下的地质结构）：我们的LGM通过在潜在空间中对几何形状定义分布，为解决逆问题提供了一个自然的框架。通过将LGM解码器作为可微几何前向模型的骨干，我们可以有效地探索与观测数据一致的可能的几何形状空间。这种方法利用嵌入在潜在表示中的学习到的几何先验来正则化逆问题，并引导搜索向物理上合理的解决方案发展。
