由北京邮电大学-中国移动研究院联合创新中心主办的“预见6G”前沿技术系列讲座第十二期邀请电子科技大学通信抗干扰全国重点实验室武刚教授在线讲授"面向无蜂窝网络的分布式双层深度强化学习框架"。讲座时间为2023年6月21日19:30—21:00，将在仿真秀官网和APP同步直播，本课程为直播回放。

一、专家简介

武刚，电子科技大学通信抗干扰全国重点实验室教授、博士生导师，科技部先进无线通信技术国际联合研究中心副主任，科技部国家6G技术研发总体组专家组成员，中国通信学会高级会员与信息通信测试专委会委员，中国电子学会通信分会委员，《中国科学-信息科学》《Science China Information Science》编委，IEEE ComSoc Chengdu Chapter主席，IEEE成都分部秘书，发表期刊与会议论文200余篇，申请发明专利31项（其中授权21项），获2012年IEEE GLOBECOM最佳论文奖。

二、讲座内容

题目：面向无蜂窝网络的分布式双层深度强化学习框架

摘要：无线网络一直被期望具有自配置和自优化的智能能力，以适应各种环境部署需求。在本报告中，我们介绍了一种基于不同时间尺度双层控制网络的分布式分层深度强化学习（DHDRL）框架，以优化由多个分布式接入点（AP）和用户终端（UT）组成的下行链路无蜂窝多输入单输出（MISO）网络的长期频谱效率（SE）。为了实现所提出的双层控制策略，该优化问题被分解为两个子问题，AP-UT关联（AUA）以及波束成形和功率分配（BPA），从而产生马尔可夫决策过程（MDP）和部分可观测MDP（POMDP）。所提出的方法由两个神经网络组成。在系统级引入了一种分布式高级神经网络来在大尺度上优化无线网络结构。而在链路级则基于一种分布式低层神经网络来减轻AP间干扰，并在小时间尺度上提高传输性能。仿真结果表明，在频谱效率、信号开销和满意概率方面，所提方法能有效解决高维问题是有效的，并可被推广到多目标问题。

Topic: Distributed Two-tier DRL Framework for Cell-Free Network

Abstract: Intelligent wireless networks have long been expected to have self-configuration and self-optimization capabilities to adapt to various environments and demands. In this talk, we introduce a novel distributed hierarchical deep reinforcement learning (DHDRL) framework with two-tier control networks in different timescales to optimize the long-term spectrum efficiency (SE) of the downlink cell-free multiple-input single-output (MISO) network, consisting of multiple distributed access points (AP) and user terminals (UT). To realize the proposed two-tier control strategy, we decompose the optimization problem into two sub-problems, AP-UT association (AUA) as well as beamforming and power allocation (BPA), resulting in a Markov decision process (MDP) and Partially Observable MDP (POMDP). The proposed method consists of two neural networks. At the system level, a distributed high-level neural network is introduced to optimize wireless network structure on a large timescale. While at the link level, a distributed low-level neural network is proposed to mitigate inter-AP interference and improve the transmission performance on a small timescale. Numerical results show that our method is effective for high-dimensional problems, in terms of spectrum efficiency, signaling overhead as well as satisfaction probability, and generalize well to diverse multi-object problems.

三、关于电波科学学报

《电波科学学报》是中国科协主管、中国电子学会主办、中国电波传播研究所支持的国内外公开发行的学术性刊物，是中文核心期刊，被CSCD、CNKI、CSAD、CSTPCD、SCOPUS、JST和WJCI等数据库收录。自创刊以来，《电波科学学报》始终把反映我国电波科学事业的进步、促进国内外电波科学领域的学术与成果交流作为办刊宗旨。刊载的文章内容涵盖整个电波科学的基础科学、理论研究、试验研究、工程应用等方面的创新科研成果，包括电磁场、电波传播、天线，以及无线电系统、地球物理、空间科学、电磁兼容、生物电磁、人工智能等领域中涉及的电波科学与技术内容。