学术成果｜高性能跨平台的神经网络使能大气资料同化系统

21天前浏览1025

导读

近期，由国家超级计算无锡中心、清华大学等单位联合撰写的论文“Rapid Simulations of Atmospheric Data Assimilation of Hourly-scale Phenomena with Modern Neural Networks”在SC23上发表。大气资料同化是数值天气预报中的关键技术。集合资料同化的精度依赖于大量的模式成员运算，因此被认为是当前一个具有挑战性的计算任务。文章创新地设计并建立了一个高性能、可跨平台迁移的集合资料同化系统原型，提出并实现了一个基于UNet网络的生成模型完成模式集合替代的功能。并在此基础上，系统框架实现了Fortran编写的科学计算模块与Python 编写的深度学习模块高效耦合，框架自身具有良好的整体性能，支持方便的跨平台迁移。

成果简介

文章中构建了一个高效、低计算成本同时兼顾可扩展性、跨平台迁移的集合资料同化系统DIDA。该系统中包含了：(1) 一个可跨平台迁移，支持子模块灵活部署，以及子模块间跨语言高性能通信的系统框架；(2) 一个基于UNet 网络，能够生成同时满足准确性与鲁棒性的模式集合成员生成模型；(3) 一个配备了新的高性能特征值求解，且性能几乎线性强可扩展的改进LETKF 算法及实现。通过在新一代神威超级计算机和大规模通用集群上的实验表明，融合深度神经网络的集合资料同化系统，可以支持数百个集合成员的集合同化，具备良好的强可扩展性，相比传统方案可取得数量级的计算性能提升或计算资源降低。

图1：DIDA系统架构

图2：垂直分块的并行LETKF实现

图3：机器学习模型的在线验证结果

图4：DIDA 系统性能的强可扩展性

团队简介

本文的主要贡献作者为来自高性能计算研究中心气候气象部门的成员。气候气象部主要科研目标是融合高性能计算、气候气象科学与人工智能等信息技术，有力支撑和加快数值天气预报和气候预测系统的建设与研发工作。目前，不仅承担了多项国家重点研发项目，也与国内多家行业顶尖的科研机构和公司建立了紧密的合作关系。

SC23 简介

SC会议全称为高性能计算、网络、存储和分析国际会议(TheInternational Conference for High Performance Computing, Networking, Storage,and Analysis)，致力于探讨全球IT科技领域在高性能计算、网络、存储及分析方面的最新技术、产品和发展趋势。

文章来源：国家超级计算无锡中心

来源：神工坊