技术分享︱航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代

4小时前浏览3

一、背景

数值模拟已广泛应用于航空发动机的设计和研制领域，数值模拟技术的应用可以有效地提高设计精度，减少实验迭代次数和开发成本，缩短开发周期，提高研究效率和质量。

目前在航空发动机领域，部件级仿真技术经过多年发展已经非常成熟，有效促进了航发部件的设计。然而时至今日，航空发动机整机的仿真依旧面临较大挑战。

首先整个航空发动机包含风扇、压气机、燃烧室、涡轮等多个部件，使得整机仿真对网格和计算规模的要求远超以往；其次，部件复杂几何、高速相对运动以及无处不在的多尺度流动，对网格功能与性能提出苛刻的要求；第三，核心能量转化部件燃烧室内多相、喷雾、燃烧、传热、声学等多物理化学过程强烈耦合，给求解器开发带来极大难度。最后，上述三点导致航发仿真求解器在大规模并行时难以获得令人满意的并行效率，从而无法真正利用超级计算机资源。

二、应用概述

我们开创性地在“神威·太湖之光”超级计算机上基于swOpenFoam完成发动机整机模拟。如图1所示，目标发动机由2个轴、2级风扇、10级压气机、一个短环形燃烧室，和7级涡轮组成。网格总量在业界首次达到 50亿，并行规模达到 65336个MPI进程，强扩展性测试中66560核相对8320核并行效率保持在80%以上。在“神威·太湖之光”上投入的总核数为400万核，持续运算性能高达 1384 DP-GFLOP/s 。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图1

图1 目标涡轮风扇发动机模型

三、挑战

1.航空发动机仿真并行规模和问题规模难以增长

航空发动机仿真并行规模和问题规模难以增长有多方面的原因。首先是航空发动机/燃气轮机模拟需要更复杂精细的燃烧模型，以及需要利用高性能计算资源进行超大规模并行计算的专门优化。第二个原因是当网格和并行规模非常大时，网格生成和后处理也成了一道难以逾越的屏障。目前业界在工程实际中仍倾向于使用基于RANS的低保真模拟，未能将强大的超级计算资源应用于航空发动机的真实模拟。

2.在先进超级计算机上，异构众核处理器访存带宽受限

从2010年开始，异构众核处理器成了高性能计算中的主流硬件架构，例如GPU或Intel MIC。“神威·太湖之光”是另一种异构系统，组成它的SW26010芯片采用片上融合的异构众核架构，如图2所示，每块芯片由四个核组组成，每个核组包含一个主核和64个从核。相比于多核架构处理器，异构众核处理器一般访存带宽受限，SW26010在此方面更加显著，并且非结构网格数据分散，因此非结构网格程序在SW26010众核处理器上难以获得较好的性能。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图2

图2 SW2606处理器架构示意图

四、解决之法

1.使用swOpenFOAM

swOpenFOAM是国家超级计算无锡中心“神工坊”团队对OpenFOAM进行深度移植优化形成的一款可以在国产“神威·太湖之光”超级计算机上进行大规模多级并行计算的通用CFD软件。我们对OpenFOAM的多个核心计算模块进行了从核加速，覆盖通量计算和代数求解，涉及大量计算热点，热点最高加速17倍，某风电场算例测试中OpenFAOM整体加速4倍。

2.AMI优化

结合“神威·太湖之光”超级计算机的硬件环境，优化AMI边界处理的并行通信机制，将多个AMI的动态表面和静态表面相结合，有效解决AMI的并行瓶颈。以4000万网格单元的测试为例，在1000个核并行的情况下，单时间步AMI边界插值系数计算需要1300秒才能完成。但是，优化后只需不到20秒的时间。因此，AMI并行优化效率显著提高。

3.“神威·太湖之光”上的非结构计算众核加速策略

我们通过两种网格分段排序策略，即行分段策略和网格多级重排，有效地解决了非结构网格计算在“神威·太湖之光”异构众核芯片上计算效率低下的问题。两种措施都能够有效解决异构众核芯片访存受限情况下，非结构网格计算数据分散的问题，有效提高缓存命中率，最终提升程序效率。

五、性能与结果对比

1.应用介绍

我们采用的涡扇发动机由两个轴、2级风扇、10级压气机、短环形燃烧室和7级涡轮组成，如图3所示。我们使用swOpenFOAM求解器在“神威·太湖之光”超级计算机上，对该发动机的三维非定常流动和燃烧进行计算。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图3

图3 算例中使用涡扇发动机模型

模拟的工况为：高压压气机和高压涡轮转速12290转/分；风扇和低压涡轮转速3505转/分。时间格式采用CFL数固定、时间步长可调的欧拉隐式格式。采用区域分解方法生成燃烧室非结构四面体网格和发动机其余部件的六面体网格，包括风扇、压气机、燃烧室和发动机在内的整个航空发动机网格，如下图所示。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图4

我们设计了三组算例CASE-1 ~ CASE-3来测试并行性能。CASE-3使用65336个SW26010核组来测试峰值性能。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图5

表1 各算例网格数

2.性能与结果分析

首先是弱扩展性测试，我们使用网格量不同的算例CASE-1、CASE-2、CASE-3。如表所示，其中NCPU是SW26010的核心数量，MPIs是进程数量，TN是运行时间，当前测试表明swOpenFOAM具有良好的弱扩展性能。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图6

表2 弱扩展性测试算例配置

强扩展性测试我们使用CASE-1的网格，分为四组并行规模。如表所示SN为并行效率，强扩展性能良好。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图7

表3 强扩展性测试算例配置

持续峰值运行性能测试使用CASE-3的网格，核数为4259840核，网格量51亿，持续峰值性能达到1384.92 DP-GFLOP/s。

图4为整个航空发动机马赫数和温度的仿真结果。结果显示了该航空发动机子午截面上的流速分布，风扇、压气机和涡轮转子叶片的转速以及燃烧室内的燃烧现象。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图8

图4 马赫数云图

图5为整个航空发动机的压力和温度仿真结果。从结果中可以看出，通过数千块叶片的工作，气流在压气机出口处的压力最高。高压气体在燃烧室与燃料混合，充分燃烧，释放出巨大的机械能。高压高能气体驱动涡轮做功，气流经过涡轮后，压力减小，速度增大。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图9

图5 温度云图

最后，图6为高压压气机第6级转子出口处从根部到叶尖总压比沿叶高的模拟分布，并与固定传感器和移动探针的实验测量值进行对比。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图10

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图11

图6 总压分布对比

六、结论

经过上述性能与结果分析，我们认为在本次仿真应用中实现了高保真模拟，设计人员可以捕捉部件相互作用造成的复杂现象，并在设计的中后期阶段对航空发动机的性能进行合理准确的预测，从而缩短发动机研发周期、降低研发成本。

在第18届中国CAE工程分析技术年会暨第4届中国数字仿真论坛上，本次应用斩获2022数字仿真科技奖“卓越应用奖”。

航空发动机360度整机数值模拟——超算助力工业仿真迈向系统级高保真时代的图12

技术分享︱基于非结构网格的仿真——太湖之光上的巨大挑战

一、背景在过去数十年中非结构网格被广泛应用于工业仿真领域，例如著名商业CFD软件Fluent以及开源CFD软件OpenFOAM都采用了基于非结构网格的有限体积法，而大多数结构分析软件例如Abaqus、Nastran等都采用了基于非结构网格的有限元法。非结构网格的流行不是没有原因的。几乎所有的工程几何结构都是非常复杂的，结构化网格虽然在精度和收敛性等方面有优势，但复杂几何高质量结构化网格生成的难度和效率却限制了其通用性。相反，非结构网格以其生成快速和适应复杂几何的特性，成为工业仿真领域的主流。结构化网格（上）与非结构化网格（下）二、挑战由于数据结构的原因，非结构网格相比于结构化网格，其算法计算访存比更低，同时访存更加离散。另一方面，随着超级计算机架构演变，相较浮点性能的大幅提升，内存带宽日益成为瓶颈，让非结构网格仿真计算更加受限。架构演变也催生了多样的编程模型和加速库。在太湖之光等先进超级计算机上，对非结构网格算法进行优化加速，往往十分复杂且开发量巨大。这四方面的问题，让非结构网格仿真计算在太湖之光上的性能，成为一个巨大的挑战。太湖之光上非结构网格“四大问题”离散访存：非结构网格不同于结构化网格，其相关数据在内存中无法以规则的方式存储，导致访问具有分散和不连续的特性。换句话说，在仿真计算中，我们需要进行大量的临近插值积分，但是非结构网格单元的邻居却无法像结构网格一样连续规则地在内存中找到。离散访存的结果，就是让连续获取数据中有大量无效数据，或者只能跳跃地获取数据片段，从而损失有效的内存带宽。低计算密度：非结构网格拓扑复杂，同时仿真对数值稳定性要求较高。因此，在非结构网格上进行仿真计算，一般采用紧致的数值格式，其阶数相对较低。简单来理解，就是在进行插值积分时，用尽量少的网格单元邻居，邻居的邻居以及更远的临近关系基本不考虑。这样一来，在网格单元数据上执行的计算操作就少了。因此，非结构网格上的算法往往具有较低的计算访存比。以四面体网格有限体积离散的稀疏矩阵向量乘为例，其访存与计算之比仅为1/12浮点操作/字节。近年芯片浮点性能和内存带宽增长曲线[1]内存带宽瓶颈：限于单个核心性能提升的瓶颈，高性能计算机处理器架构由多核全面转向异构众核。例如，“神威·太湖之光”超级计算机就是采用纯国产异构众核芯片研制的千万核心计算系统。但是近年来，高性能处理器的浮点性能保持近似对数增长的同时，内存带宽却呈现出极为缓慢的增长态势。以太湖之光sw26010芯片为例，目前的浮点性能-内存带宽比，已高达20浮点操作/字节。这意味着1/12浮点操作/字节计算密度的稀疏矩阵向量乘，在sw26010芯片内存带宽满载时，仅能发挥出0.4%的理论浮点性能。算法与硬件间失衡的性能天平巨量开发：太湖之光绝大部分性能来自异构众核芯片sw26010上的8x8从核阵列，因此利用好从核是发挥太湖之光性能的核心。然而，以数十行代码的稀疏矩阵向量乘为例，直接利用在太湖之光上的基础加速库进行众核加速开发，如欲达到较为理想的性能，一般需要上千行代码和大量调试。对于复杂的工业仿真软件来说，这样的开发量是无法接受的。以开源CFD软件OpenFOAM为例，其代码量高达数百万行，热点核心遍布。如果全面采用手动加速开发，工作量无疑等同于再开发一个OpenFOAM。三、解决之法---UNATUNAT全称为“UNstructuredAccelerationToolkit”，是在太湖之光超级计算机进行非结构网格仿真计算加速开发的工具套件。UNAT具有友好接口，方便开发者快速在太湖之光上进行加速开发。UNAT底层实现了自动的数据结构优化，自动的并行遍历算法，用户只需关心具体操作实现，并免于大量调试。这些都大大缓解了，太湖之光上非结构网格计算加速的巨量开发问题和离散访存问题。UNAT更是通过一套耦合算子机制，将热点进行分解融合，采用循环时空二维分解，跨循环数据复用等策略，有效缓解了非结构网格计算密度低的问题和硬件上的内存带宽瓶颈。其中原理较为复杂，具体可以参考文末论文[2]（见文章底部“阅读原文”）。UNAT原理图下面通过几个典型应用，看一下UNAT的应用效果。稀疏矩阵向量乘：用COO格式稀疏矩阵向量乘进行测试。随着矩阵元素维度变化，UNAT最高加速比和单核组Flops分别达到近27倍和3.5GFlops（0.46%理论性能）。与手工优化的代码相比，UNATAPI实现了其大约70%的性能。考虑到兼容性和通用性带来的额外开销，其效果是相当可观的。COO稀疏矩阵向量乘加速比及浮点性能某CFD求解器加速：一个开发者仅用1周时间，采用UNAT对其中主要6个热点核心进行了加速开发。热点核心众核加速比平均在19倍左右，整体加速也达到了10倍。某CFD求解器优化加速OpenFOAM风资源评估应用：利用UNAT加速工具，我们对OpenFOAM某风资源评估应用大部分热点进行了加速，众核加速比在8-15倍之间。由于UNAT卓越贡献，最终该应用在太湖之光上取得了整体4倍加速。OpenFOAM风资源评估应用优化加速燃烧仿真应用：利用UNAT加速工具，单个开发者2周内完成了15万行某燃烧仿真程序优化，使得该程序最终在太湖之光上取得了整体5.4倍加速。由于性能提升，该软件可使用10亿级网格，在合理的时间内，进行航空发动机全环燃烧室高保真数值模拟。燃烧仿真应用优化加速参考文献：[1]Vincent,P.,Witherden,F.,Vermeire,B.,Park,J.S.,&Iyer,A.(2016).TowardsGreenAviationwithPythonatPetascale.SC16:InternationalConferenceforHighPerformanceComputing,Networking,StorageandAnalysis.doi:10.1109/sc.2016.1[2]Liu,H.,etal."UNAT:UNstructuredAccelerationToolkitonSW26010many-coreprocessor."EngineeringComputations:IntJforComputer-AidedEngineering(2020).