0   引　言

飞翼布局飞行器采用翼身融合设计方式，气动和隐身性能良好^[1]。迄今为止，采用飞翼布局的飞行器均是对机动性能要求相对不高的轰炸机，主要原因在于飞翼布局飞行器缺少垂尾，航向静不稳定，横向稳定性差。当飞行器进入大迎角区域作过失速高机动动作时，飞行器存在流动分离、旋涡破裂、涡系之间的相互干扰等一系列复杂流动现象^[2-3]。此时气动力不仅受飞行器姿态的影响，而且依赖于飞行器运动的振幅、频率和时间历程^[4]。气动与运动相互耦合，使得气动力和飞行状态出现强非线性、强非定常特性。当飞翼布局飞行器进入大迎角区域，翼面背风侧出现大面积流动分离并形成非对称涡，横向稳定性丧失，横航向不稳定性耦合在一起，引起飞行器发生横航向耦合的非指令运动^[5]。为增强飞翼布局飞行器在未来空战中的作战效能、提高生存能力^[6]，必须解决飞行器在大迎角区域飞行中存在的问题，尤其是横航向非指令运动问题。

飞行器在大迎角机动过程中发生的非指令运动，必须进行快速抑制。但在大迎角飞行时，飞行器传动气动舵面的控制效能不足^[7]，难以及时抑制非指令运动。主动射流控制技术具有响应速度快、操作简单和易于实现等优点，是抑制大迎角非指令运动的优选方案。利用主动射流控制技术向旋涡中增加动量、涡量等，可以控制机翼、机身脱落涡的强度、结构和位置，从而增加有效展长，产生滚转控制力矩^[8]。冯立好等^[9]在飞翼布局飞行器机翼前缘布置了合成射流激励器，能够有效增强前缘涡，改善横向稳定性。罗振兵等^[10]在无人机飞行试验中验证了合成双射流环量控制技术的滚转控制能力。Williams和Seidel^[11]在ICE-101无人机模型前缘和中间部位布置了射流激励器，通过交叉驱动方式实现了对飞行器无侧滑的航向控制。赵霞等^[12]开展了沿飞翼布局飞行器头部表面切向的吹气实验，结果表明切向吹气能够提供偏航所需偏航力矩。Pedreiro等^[13]采用前体切向吹气方式抑制横航向发散，采用叠加吹气方式实现线性化，并设计了闭环控制律，在风洞实验中实现了对阶跃输入的瞬态响应。孙全兵等^[14]利用射流环量控制和反向射流控制技术，实现了飞行器的无舵面飞行姿态控制，其中多种射流组合的控制方式，对飞翼布局飞行器横航向控制起到了关键作用。

为使飞翼布局飞行器具有较强的横航向操纵能力，必须采用组合式射流控制方案。但不同射流控制方式之间存在高耦合性与强非线性，这使得最优控制律的设计充满挑战。近年来，数据驱动方法在流动控制领域取得了很大进展，使得兼顾控制律的鲁棒性与自适应能力成为可能，通过结合主动流动控制与人工智能方法，实现智能化、自适应流动控制^[15]。深度强化学习（Deep Reinforcement Learning, DRL）技术是解决复杂控制律设计问题的一种有效途径。Rabault等^[16]利用PPO（Proximal Policy Optimization）方法和一个全连接的神经网络，训练得到主动射流控制策略，在二维模拟中，使圆柱绕流阻力减小了8%。同样的圆柱绕流问题也在实验中得以验证^[17]，在没有先验知识的情况下，通过合理设计强化学习的奖励函数，获得了有效的主动流动控制策略。在抑制翼型分离流动控制的研究中，姚张奕等^[18]运用深度强化学习方法得到的智能体不仅成功抑制了翼型流动分离，还使吹气费效比比定常控制策略降低了50%。

综上所述，关于飞翼布局飞行器大迎角横航向耦合状态主动流动控制的研究较少，控制律设计复杂。本文通过风洞静态测力实验和风洞虚拟飞行实验，探究大迎角条件下飞翼布局飞行器的横航向气动特性和非指令运动现象；基于现有的两种主动射流控制技术，在实验模型上布置两组射流激励器，通过测力实验分析两组激励器的控制效果，利用传统比例–积分–微分（PID）方法尝试抑制横航向非指令运动，并分析传统PID方法控制的难点；采用强化学习方法训练得到策略控制的智能体模型，并通过风洞虚拟飞行实验验证深度强化学习方法的控制效果。

1   实验模型及设备

1.1   实验模型

本文旨在研究飞翼布局飞行器大迎角横航向非指令运动的抑制。实验模型选用典型飞翼布局飞行器—SACCON（Stability and Control Configuration）无人飞行器外形^[19-20]。模型缩比0.312，前缘后掠角53°，翼根弦长c_r=0.331 m，机翼展长b=0.480 m，重心距机头尖端0.193 m，机翼面积S_jy=0.075 m²。如图1所示。

图  1  SACCON平面图与几何参数

Fig.  1  Configuration of SACCON

下载: 全尺寸图片 幻灯片

实验模型采用3D打印技术加工制作。实验中需释放飞行器两个自由度，在满足强度要求前提下，模型质量和转动惯量应尽可能小，模型材质选用ABS工程塑料。

为在实验中释放飞行器横航向两个自由度，设计了一个二自由度释放机构，如图2所示。二自由度释放机构旋转中心与实验模型重心重合，连接部分均采用NSK精密轴承，模型可以作滚转、偏航两自由度运动。将实验模型、二自由度释放机构和支撑杆安装于迎角机构上，如图3所示。

图  2  二自由度释放机构

Fig.  2  Two-degree-of-freedom device

下载: 全尺寸图片 幻灯片

图  3  风洞实验模型安装图

Fig.  3  Wind tunnel experiment model setup

下载: 全尺寸图片 幻灯片

1.2   实验风洞

在南京航空航天大学1 m低湍流度风洞中进行了风洞静态测力实验、自由度释放的风洞虚拟飞行实验和飞行器姿态控制实验。该风洞为低速、回流、开口式风洞，实验段长1.9 m，截面尺寸1.5 m × 1.0 m，最大风速30 m/s，湍流度小于0.3%，本文所有实验中的风速均为10 m/s。

1.3   气动力天平

在静态测力实验中，采用Φ14六分量杆式应变天平测量实验模型的气动力和气动力矩，天平的载荷和校准精度如表1所示。在体轴系中，X、Y、Z分别代表气动力的3个坐标分量，M_x、M_y和M_z分别代表滚转、俯仰和偏航力矩。

表  1  Φ14 六分量杆式天平载荷与精度

Table  1  Load capacities of Φ14 beam balance

参数	设计载荷	准确度%	精确度%
X	15.68 N	0.49	0.08
Y	58.80 N	0.10	0.03
Z	21.56 N	0.48	0.06
Mx	2.060 N·m	0.40	0.02
My	1.37 N·m	0.46	0.01
Mz	3.72 N·m	0.13	0.08

下载: 导出CSV 

| 显示表格

1.4   射流控制系统

实验中采用博莱特空压机BLT/20A供气，经储气罐、减压阀后，连接至小型电气比例控制阀PVQ–31，最终通过管路向实验模型上的射流激励器供气。控制信号由计算机程序发出，STM32单片机将串口信号转化为电压模拟信号，最终传至电气比例控制阀，驱动电气比例控制阀产生相应流量。射流控制系统如图4所示。

图  4  射流控制系统示意图

Fig.  4  The jet control system

下载: 全尺寸图片 幻灯片

在实验模型上布置了两组射流激励器，如图5所示（图5中同时还标注了坐标系）。一组射流激励器位于机头两侧上表面，沿机翼展向吹气（展向射流）。圆形吹气孔直径4 mm，且与xOy平面夹角15°。其原理是沿涡核吹气，向旋涡注入能量，推迟涡破碎^[21]。另一组激励器位于两侧机翼上表面，沿机翼弦向吹气，方向与来流方向相反（反向射流），起到类似于阻力舵的效果，为飞行器提供航向控制力矩^[22]。反向射流进气孔直径4 mm，从机翼中穿过，经导流后从射流缝（宽1 mm，长10 mm）向机翼外吹气，吹气方向与xOy平面夹角30°。

图  5  射流激励器布置示意图

Fig.  5  Position of jet actuators

下载: 全尺寸图片 幻灯片

2   横航向非指令运动及PID控制

2.1   横航向气动特性与非指令运动

实验测得的飞翼布局飞行器横航向力矩系数的静稳定导数如图6所示。由图可知，该构型飞行器的横向静稳定性在迎角21°前后发生变化：小于21°时，平衡点处的滚转力矩系数导数C_lβ＜0，横向静稳定；随着迎角增大，飞行器机翼上方涡破碎，飞行器横向失稳。偏航力矩系数导数C_nβ在迎角26°前后也发生了符号变化，随着迎角增大，飞行器由航向弱静稳定变为航向静不稳定。在本文所研究的迎角范围内，该构型飞行器的横航向静稳定性可分为3组状态：弱静稳定状态、单一静不稳定状态和双静不稳定状态。在双静不稳定状态下，横航向气动特性更为复杂。本文研究针对弱静稳定状态和单一静不稳定状态开展。

图  6  横航向力矩系数导数曲线

Fig.  6  Derivative of roll and yaw moment coefficient

下载: 全尺寸图片 幻灯片

利用二自由度释放机构搭建了虚拟飞行实验平台，用以探究飞翼飞行器实验模型在大迎角状态下的横航向运动特性。实验模型转动惯量为：I_ox=0.033 kg·m²，I_oz=0.207 kg·m²。俯仰角为18°和22°时的二自由度释放实验结果如图7和8所示。从图中可以看出：在两个初始迎角状态下，模型释放横航向两个自由度，风洞开启后，出现不稳定状态，随后发展为非零中心的振荡运动；当俯仰角一定时，滚转角和偏航角的运动规律基本一致，但振荡的幅值大小不同。

图  7  18°迎角下模型姿态角随时间变化

Fig.  7  Roll and yaw angel time history at α=18°

下载: 全尺寸图片 幻灯片

图  8  22°迎角下模型姿态角随时间变化

Fig.  8  Roll and yaw angel time history at α=22°

下载: 全尺寸图片 幻灯片

对比两个俯仰角下的实验结果，释放自由度后，均是滚转角先发生变化，偏离平衡点，进而带动偏航角发散，最终滚转角和偏航角趋于规律性振荡运动。俯仰角为18°时，横航向非指令运动的滚转角振荡中心为4.97°，偏航角振荡中心为2.16°；俯仰角为22°时，滚转角振荡中心为11.73°，偏航角振荡中心为1.88°。

2.2   射流控制测力实验结果分析

实验中，射流流量通过流量计测量，并采用以下公式将其转化成无量纲的射流动量系数：

式中，$ \dot{m} $为射流的质量流量，u_j为射流速度，q_∞为气流动压，S为实验模型的参考面积，A_j为射流出口面积。实验中的射流流量与对应的射流动量系数如表2所示。实验迎角α范围为16～32°，Δα=2°；侧滑角β范围为−20～20°，Δβ=2°。

表  2  射流流量与射流动量系数对应关系

Table  2  Jet flow rate and jet momentum coefficient

射流流量/（L·min−1）	射流动量系数
	展向射流	反向射流
0	0	0
25	0.0005	0.0075
35	0.0010	0.0147

下载: 导出CSV 

| 显示表格

图9和10分别给出了18°迎角（弱静稳定状态）和22°迎角（单一静不稳定状态）射流激励器作用下的飞行器滚转和偏航力矩系数曲线。实验模型和激励器都沿中轴线左右对称；实验中，均为右侧激励器单独工作。从图中可以看出：1）在弱稳定状态的18°迎角下，滚转力矩的控制量较小，两组射流激励器产生的滚转控制力矩随射流动量系数增大而增大；两组激励器的偏航力矩控制效果相反，在相同射流流量下，反向射流控制量大于展向射流控制量。2）在单一静不稳定状态的22°迎角下，两组射流激励器的滚转力矩控制效果较18°迎角提高显著；当飞行器右侧滑（侧滑角β＞0）时，展向射流控制效果更好，而左侧滑时，反向射流产生的控制量更大；偏航力矩的控制规律与18°迎角下一致。

图  9  18°迎角下的飞行器横航向力矩系数

Fig.  9  Roll and yaw moment coefficient at α=18°

下载: 全尺寸图片 幻灯片

图  10  22°迎角下的飞行器横航向力矩系数

Fig.  10  Roll and yaw moment coefficient at α=22°

下载: 全尺寸图片 幻灯片

总结来说，横向控制方面，展向射流与反向射流控制规律一致：右侧激励器吹气产生负的滚转力矩，飞行器左滚转。航向控制方面，展向射流与反向射流控制规律相反：右侧激励器吹气，展向射流产生负的偏航力矩，反向射流产生正的偏航力矩。展向射流主要起横向控制作用，反向射流主要起航向控制作用。

2.3   经典PID控制分析

风洞测力实验结果表明两组射流激励器存在一定的控制规律。本文尝试利用传统的PID控制算法抑制横航向非指令运动。针对横航向控制问题，引入滚转角、偏航角反馈PID控制，控制目标是滚转角和偏航角均为0°。控制原理如图11所示。

图  11  PID控制原理图

Fig.  11  Schematic of the PID algorithm in this work

下载: 全尺寸图片 幻灯片

实验中，将滚转角反馈PID控制器与展向射流激励器对应，偏航角反馈PID控制器与反向射流激励器对应。通过调节PID控制器的参数，得到如图12和13的结果。图12为18°初始迎角下的实验结果（PID控制器参数K_p =1.1、K_i=0.005、K_d =0），此时PID控制器可以使横航向非指令运动幅值降低，但仍不能完全抑制横航向非指令运动。图13为22°初始迎角下的实验结果（PID控制器参数K_p=11、K_i=0、K_d=0），此时仅比例控制器能使飞行器稳定在一定角度，增加积分和微分控制器并不能取得更好的控制效果。

图  12  18°初始迎角PID控制结果

Fig.  12  The time history of roll and yaw angel with PID controller at α=18°

下载: 全尺寸图片 幻灯片

图  13  22°初始迎角PID控制结果

Fig.  13  The time history of roll and yaw angel with PID controller at α=22°

下载: 全尺寸图片 幻灯片

从PID控制原理可知，比例器能够快速减小系统的稳态误差，但并不能够完全消除稳态误差，如图13所示；加入积分器后，可以进一步消除稳态误差，但不能够消除振荡，如图12所示。在实验中，调节设置了大量参数，但均不能很好地抑制实验模型横航向非指令运动，暴露出传统PID控制方法在复杂系统中控制律设计复杂的问题。

3   基于深度强化学习的智能射流控制

3.1   深度强化学习方法

针对飞行器横航向流动不稳定、非线性和高耦合问题，以及传统PID控制效能不足、需要人工调参的问题，本文提出一种基于深度强化学习方法的智能射流控制方案。

在强化学习（Reinforcement Learning, RL）的组成要素中，最重要的是智能体和环境。强化学习的核心目标是令智能体的累积奖励最大化，其主要特征包括试验试错和延迟奖励。除了智能体与环境，强化学习的组成要素还包括策略、奖励函数、价值函数和环境的模型（非必要）。图14为智能体–环境的循环交互示意图。如图所示，在强化学习系统中，智能体通过观察环境来执行动作，并对环境产生影响，环境反馈给智能体下一时刻的观测量以及奖励，直至累计奖励最大化。

图  14  智能体–环境的循环交互

Fig.  14  The basic Reinforcement Learning scenario

下载: 全尺寸图片 幻灯片

本文以TD3（Twin Delayed Deep Deterministic Policy Gradients）算法为框架^[23]，通过姿态角传感器获取飞行器姿态角作为观测量，智能体给出相应动作，改变射流激励器的工作状态（射流速度、组合方式等），进而抑制飞行器大迎角横航向非指令运动。实验中的观测量包括飞行器滚转角（ϕ）及滚转角速度（$ \dot{\phi } $）、偏航角（ψ）及偏航角速度（$ \dot{\psi } $）。实验采用分布式奖励函数，其形式为：

式中，r₁为滚转角约束，r₂为偏航角约束。实验模型的滚转角、偏航角越接近0°，智能体所获得的奖励值越大。

实验中选取两个典型工况：初始迎角18°和22°。训练过程中，每一幕有1000个时间步，时间为10 s；每一个时间步都会有一个奖励值，则每一幕的总奖励为1000步奖励值的总和。在训练阶段，对输出动作加入了随机噪声，因此训练时的奖励值并不能准确反映智能体控制效果。针对此问题，在实验中每5幕测试评估一次当前智能体的控制效果。评估过程中，保存满足预设奖励值的智能体模型，并在之后对智能体进行测试。

3.2   智能射流控制分析

图15和16为在初始迎角18°和22°工况下所训练的智能体测试结果，测试时间为10 s，实验模型的初始状态随机。测试实验系统与训练时保持一致，整个实验系统的响应速度受姿态角传感器采集频率的限制，智能体模型输出动作频率也为100 Hz。从图中可以直观地看出：在智能体控制下，实验飞行器滚转角、偏航角稳定在0°附近，大迎角横航向非指令运动得到了抑制。整个输出动作大致分为两个部分：前4 s，智能体输出动作使实验飞行器滚转角、偏航角回到0°；后6 s，智能体输出动作使实验飞行器维持在平衡位置。

图  15  18°初始迎角下的模型测试结果

Fig.  15  The time history of roll and yaw angel with blowing momentum coefficient during tests at α=18°

下载: 全尺寸图片 幻灯片

深度强化学习训练所得的控制策略，是通过强化学习智能体不断试错而得到的。利用人工神经网络虽能解决大多数非线性、高耦合问题，但通过深度神经网络中的参数分析其策略仍然十分困难^[16]。深度强化学习将深度神经网络中的神经元参数与强化学习相结合，建立了实验飞行器姿态与射流激励器状态之间的内部表达形式，反映了在给定飞行状态下激励器工作状态对飞行器姿态和奖励值的影响。

深度强化学习通过迭代获取经验而得到的智能体模型是一个“黑箱”，难以直接对其策略进行分析。因此，本文结合智能体输出动作和激励器本体特性，探索智能体的控制策略。

在图15所示的18°初始迎角工况下，左侧反向射流激励器先吹气，产生负的偏航力矩，飞行器左偏航，同时产生正的滚转力矩，飞行器右滚转。约0.8 s后，左侧展向射流激励器开始吹气，产生正的滚转力矩和正的偏航力矩，此时滚转角已过峰值并开始减小，偏航角也在反向射流作用下开始接近0°，此时左侧展向射流可以起到“刹车”作用。约1.4 s时，右侧反向射流激励器吹气，产生负的滚转力矩和正的偏航力矩；两侧展向射流激励器同时吹气（且在一段时间内以最大射流吹气）。此阶段飞行器偏航角由负变为正，滚转角进一步接近0°。约2.8 s时，右侧反向射流激励器和左侧展向射流激励器吹气，二者均产生正的偏航力矩，偏航角迅速由负回至0°附近，而两种射流激励器产生不同的滚转力矩，滚转角也缓慢稳定于0°附近。4 s后，两侧两组激励器均交替吹气，动态调整吹气方式，使飞行器稳定于平衡位置附近。从图中可以看出，展向射流与反向射流激励器左右侧交替工作，两种射流激励器不会同侧同时吹气。根据静态测力实验结果，同侧两个射流激励器吹气时，两者都会产生滚转力矩，容易造成飞行器横向发散。

在图16所示的22°初始迎角工况下，也有和18°初始迎角工况类似的过程：两种射流激励器先单侧工作，滚转角和偏航角都接近0°时，两种射流激励器左右侧交替工作，维持飞行器平衡。不同点在于，在维持飞行器平衡时，两组射流激励器的吹气量不同：初始迎角18°时，两种射流激励器的吹气量从最小至最大均有；初始迎角22°时，展向射流动量系数在0.0005～0.0025之间，反向射流动量系数在0～0.04之间。造成二者差异的原因在于：不同初始迎角下，飞行器横航向非指令运动幅值频率不同，前者（初始迎角18°）为弱静稳定状态，同时展向射流控制量较小，需要更大的射流动量系数；结合射流控制测力实验结果可知，当展向射流增强时，反向射流也需增大射流动量系数，以满足航向控制的需求；后者（初始迎角22°）为单一静不稳定状态，展向射流的控制效果比初始迎角18°工况下更好，无需更大的射流动量系数即可维持平衡。

图  16  22°初始迎角下的模型测试结果

Fig.  16  The time history of roll and yaw angel with blowing momentum coefficient during tests at α=22°

下载: 全尺寸图片 幻灯片

4   结　论

本文针对飞翼布局飞行器大迎角横航向非指令运动，在弱静稳定状态和单一静不稳定状态下开展研究。采用主动射流控制技术，探究了展向射流和反向射流两种激励器的控制效果，对比了传统PID方法与深度强化学习方法，并利用深度强化学习方法抑制了所研究状态下的横航向非指令运动。初步得到以下结论：

1）在大迎角下，飞翼布局飞行器横航向存在一定的非指令运动。弱静稳定状态和单一静不稳定状态均为周期性运动，在不同初始迎角下，运动的周期频率并不相同。

2）在复杂情况下，传统PID方法存在控制律设计难与调参复杂等问题。面对复杂流动控制问题，设计更复杂的控制器十分困难。

3）针对复杂流动，深度强化学习方法可以建立起飞行器姿态与射流激励器状态之间的内部表达形式，得到相应的控制策略，但智能体控制策略的分析还需开展深入研究。

本文针对飞翼布局飞行器大迎角高耦合、非线性问题，提供了一套新型的智能控制策略求解方法；但对于更复杂的双静不稳定状态控制问题，需要开展更深入的研究。