基于强化学习的电磁悬浮型磁浮列车悬浮控制

摘要

为了保证磁浮列车的安全、可靠运行，研究了悬浮系统在参数摄动条件下的悬浮控制问题。首先，对电磁悬浮（EMS）型磁浮列车的基本悬浮单元建模，给出了电流控制模型；然后，建立了悬浮系统的强化学习环境以及软演员-评论家（SAC）智能体，并设计了加速训练的奖励函数与“吸死”处理方案；最后，提出了基于强化学习的悬浮控制方法。与传统比例-积分-微分（PID）控制方法的对比结果表明，本方法具有更快的动态响应，在损失50%线圈匝数或磁极面积变化时具有更好的跟踪精度。

关键词

电磁悬浮（EMS）型磁浮列车; 悬浮控制; 强化学习控制; 软演员-评论家（SAC）智能体; 奖励函数设计

高速磁浮由电磁力实现非接触的支承、导向、牵引以及部分制动，并且通过长定子和非接触供电的形式获取动力和列车所需电能，可摆脱黏着利用和滑动受流这2个制约传统轮轨速度的主要因素，实现更高速度的运行^［1］。常压条件下，高速磁浮的经济可用时速达600 km•h^-1，填补了高速铁路与航空运输之间的速度空白，为超大城市间的快速出行提供条件^［2］。600 km•h^-1高速磁浮系统样机的成功联调标志着我国电磁悬浮（EMS）型高速磁浮交通研究已达到新的阶段^［3］。

悬浮系统作为EMS型高速磁浮列车实现无接触运行的关键一环，其性能直接决定了列车的乘坐舒适度以及运行安全性。奇然等^［4］提出了一种渐起渐落的策略，提高了磁浮列车起浮/降落过程的平稳性。Munderh等^［5］基于最优控制，提出了一种线性二次型调节（LQR）悬浮控制器，相比于比例-积分-微分（PID）控制器，该控制器提高了系统稳定性，并且具有更快的响应速度。然而，上述方法的本质仍然是线性控制，存在着对扰动敏感的问题。为此，Ni等^［6］引入了反馈线性化，对轨道齿槽效应和负载扰动进行了补偿，取得了较好的悬浮效果。孙友刚等^［7］提出了基于滑模控制的悬浮控制方法，提高了系统的鲁棒性。在此基础上，靖永志等^［8］根据当前状态，利用自适应控制对滑模趋近率进行在线调节，提高了系统的动态性能。佟来生等^［9］将哈密顿-雅可比不等式（HJI）理论引入滑模控制，实现了在轨道不平顺激励下的悬浮间隙稳定。

针对外界干扰造成悬浮间隙波动的问题，余建国等^［10］提出了基于线性自抗扰控制（LADRC）的悬浮控制器，并和PID控制和滑模控制进行了对比，结果表明LADRC具有更好的抗干扰性能。陈萍等^［11］融合了滑模控制和自抗扰控制的优点，提出了滑模自抗扰悬浮控制算法，在取得较好悬浮控制效果的同时，实现了部分传感器失效下的稳定悬浮。Hu等^［12］在模型预测控制的基础上考虑了状态约束，在获得较好抗干扰性能的同时优化了系统能耗。Klauco等^［13］针对模型预测控制计算量大的问题，将离线分段仿射函数和二进制搜索树相结合，实现了亚毫秒级的悬浮系统模型预测控制。Zhang等^［14］针对不同电感参数引起的悬浮间隙波动问题，提出了多平衡点反馈线性化方法，从而提高了系统的动态性能。Sun等^［15］提出了一种幅值饱和的自适应控制方法，可准确估计悬浮点的质量，并实现位置的准确跟踪。

随着处理器的发展，越来越多的智能算法也被应用于悬浮控制。陈琛等^［16］在滑模控制的基础上，引入了加速度反馈，并通过径向基函数神经网络对振动进行了抑制。王强^［17］利用神经网络的逼近功能，对外界扰动进行抑制，实现了非线性负载力和不平顺扰动下的平稳悬浮。欧阳清华等^［18］提出了自适应径向基函数悬浮控制方法，并验证了该方法性能优于滑模控制。Sun等^［19］利用神经网络对时变的质量进行估计，并对输入延时进行补偿。Sun等^［20］结合了滑模控制、自适应模糊估计器以及神经-模糊切换率，提出了一种可对参数摄动进行补偿的悬浮控制方法。

上述研究更多地关注外界扰动下控制系统的鲁棒性。在悬浮列车运行过程中，线圈匝数可能因匝间短路而变化，电磁铁磁极面积也可能因车体过弯或晃动而变化。针对上述悬浮系统参数的变化，目前相关研究相对较少。为此，提出了一种基于强化学习的悬浮控制算法，用于减小系统参数摄动对系统性能的影响。首先，给出了悬浮系统的状态空间、动作空间以及模拟环境；其次，分析了悬浮系统环境中奖励函数对于智能体训练的影响，并提出了可实现快速训练的奖励函数；然后，基于软演员-评论家（SAC）智能体，提出了抗参数摄动的悬浮系统控制算法；最后，通过与传统方法的对比，对所提算法的有效性进行了验证。

1 悬浮系统建模

EMS型高速磁浮列车利用悬浮电磁铁与轨道之间的电磁吸力平衡车体重力和扰动，实现磁浮车体的稳定悬浮，悬浮系统结构如图1所示。一节列车由若干悬浮架组成，每个悬浮架由4个基本悬浮单元组成。每个悬浮单元包括一套完整的悬浮系统，由悬浮电磁铁、悬浮控制器以及悬浮传感器等组成，具体结构如图1左图所示。间隙传感器和电流传感器将间隙和电流信息反馈至控制器，通过计算得到参考电流i_m，ref，由斩波器调节电磁铁电流i_m，输出合适的电磁力，从而保持车体的悬浮。由此可见，对悬浮单元进行研究，具有一定的代表性。

图1  EMS型高速磁浮悬浮系统示意图^［6］

Fig.1  Schematic diagram of EMS high-speed magnetic suspension system^[6]

假设电磁中铁磁材料的磁导率无穷，磁势均匀地降落在气隙上，并且忽略绕组的漏磁通，可以得到电磁铁的电感为

$$L(c,i)=\frac{N}{i(t)}{\phi }_{\mathrm{T}}=\frac{N}{i(t)}\frac{Ni(t)}{R_{\mathrm{T}}}=\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A}{\mathrm{2}c(t)}$$

（1）

式中：N为电磁铁绕组匝数；${\phi }_{\mathrm{T}}$为主极磁通；$R_{\mathrm{T}}$为磁路磁阻；A为铁芯面积；$i(t)$为控制电流；${\mu }_{\mathrm{0}}$为真空磁导率；c（t）为悬浮间隙。

由式（1）可知，电磁铁电感与悬浮间隙有关，是一个时变量。当悬浮间隙波动时，电感随之波动。电磁铁吸力计算式为

$$F_{\mathrm{e}}(i,c)=\frac{B^{\mathrm{2}}A}{{\mu }_{\mathrm{0}}}=\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A}{\mathrm{4}}{\left(\frac{i(t)}{c(t)}\right)}^{\mathrm{2}}$$

（2）

$$B\approx \frac{{\phi }_{\mathrm{T}}}{A}=\frac{{\mu }_{\mathrm{0}}Ni(t)}{\mathrm{2}c(t)}$$

（3）

可以发现，电磁铁吸力和悬浮间隙的平方成反比，即气隙越小吸力越大，这是悬浮系统不稳定的原因所在。在垂直方向上，电磁铁的运动方程为

$$m\frac{{\mathrm{d}}^{\mathrm{2}}c(t)}{\mathrm{d}{t}^{\mathrm{2}}}=mg+f_{\mathrm{d}}(t)-F_{\mathrm{e}}(i,c)$$

（4）

式中：m为电磁铁等效质量；$f_{\mathrm{d}}(t)$为外界干扰。

在平衡点处，有

$$mg=F_{\mathrm{e}}\left(i_{\mathrm{0}},c_{\mathrm{0}}\right)$$

（5）

式中：i₀为平衡点电流；c₀为平衡点悬浮间隙。由此，可以得到电流控制的基本悬浮单元模型，如下所示：

$$\left\{\begin{array}{l}{F}_{\mathrm{e}}(i,c)=\frac{B^{\mathrm{2}}A}{{\mu }_{\mathrm{0}}}=\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A}{\mathrm{4}}{\left(\frac{i(t)}{c(t)}\right)}^{\mathrm{2}}\\ m\frac{{\mathrm{d}}^{\mathrm{2}}c(t)}{\mathrm{d}{t}^{\mathrm{2}}}=mg+f_{\mathrm{d}}(t)-F_{\mathrm{e}}(i,c)\\ mg=F_{\mathrm{e}}\left(i_{\mathrm{0}},c_{\mathrm{0}}\right)\end{array}\right.$$

（6）

由于式（6）中存在非线性项，难以用工程中常用的线性控制方法进行控制器设计，因此在平衡点（i₀，c₀）线性化展开，略去高阶项后得到

$$\left\{\begin{array}{l}{F}_{\mathrm{e}}(i,c)=F_{\mathrm{e}}(i_{\mathrm{0}},c_{\mathrm{0}})+K_{\mathrm{I}}\mathrm{\Delta }i(t)-K_{\mathrm{C}}\mathrm{\Delta }c(t)\\ K_{\mathrm{C}}={\left.\left(\frac{\partial F_{\mathrm{e}}}{\partial c}\right)\right|}_{\left(i_{\mathrm{0}},c_{\mathrm{0}}\right)}=\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A{i}_{\mathrm{0}}^{\mathrm{2}}}{\mathrm{2}{c}_{\mathrm{0}}^{\mathrm{3}}}\\ K_{\mathrm{I}}={\left.\left(\frac{\partial F_{\mathrm{e}}}{\partial i}\right)\right|}_{\left(i_{\mathrm{0}},c_{\mathrm{0}}\right)}=\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A{i}_{\mathrm{0}}}{\mathrm{2}{c}_{\mathrm{0}}^{\mathrm{2}}}\end{array}\right.$$

（7）

取悬浮间隙以及电磁铁速度（向下为正）为状态量$\mathit{X}={(\mathrm{\Delta }c,\mathrm{\Delta }\dot{c})}^{\mathrm{T}}$，电流$\mathrm{\Delta }$i为系统输入，间隙$\mathrm{\Delta }$c为输出，可以得到系统状态方程为

$$\left\{\begin{array}{l}\dot{\mathit{X}}=\left[\begin{array}{cc}\mathrm{0}& \mathrm{1}\\ K_{\mathrm{C}}/m& \mathrm{0}\end{array}\right]\mathit{X}+\left[\begin{array}{c}\mathrm{0}\\ -K_{\mathrm{I}}/m\end{array}\right]\mathrm{\Delta }i\\ \mathit{Y}=\left[\begin{array}{ll}\mathrm{1}& \mathrm{0}\end{array}\right]\mathit{X}\end{array}\right.$$

（8）

由式（8）可知，系统的开环极点为$\pm \sqrt[]{K_{\mathrm{C}}/m}$，存在复平面右侧的极点，说明该系统不稳定，需要引入反馈控制。

2 基于SAC算法的悬浮控制算法设计

通过智能体与环境之间的交互学习，强化学习方法可获取当前状态以及相应的奖励，然后调整输出以获得最大化的奖励回报，从而实现目标。通常，强化学习方法为了获取回报最大化的策略，容易陷入局部最优；而SAC算法在奖励中加入了策略的熵，使算法尽可能多地探索可行解，从而获得更优解^［21］。因此，采用SAC算法对EMS型高速磁浮的悬浮系统进行控制，提高控制系统对于参数摄动的鲁棒性。

2.1　马尔可夫决策过程

一个马尔可夫决策过程包含状态空间S、动作空间A、状态转移概率$p(s_t\mid s_{t-\mathrm{1}},a_{t-\mathrm{1}})$、奖励函数$r(s,a):S\times A\to R$以及折扣因子$\gamma$，$s_t\mathrm{、}{a}_t$为当前的状态和动作。强化学习的智能体通过策略$\pi :S\to A$和环境进行交互，通过优化策略使累积奖励（即回报）最大，计算式如下所示：

$$\underset{\mathrm{\pi }\in P}{\mathrm{m}\mathrm{a}\mathrm{x}}J(\pi )=\underset{\mathrm{\pi }\in P}{\mathrm{m}\mathrm{a}\mathrm{x}}E\left({\displaystyle \sum _{t=\mathrm{1}}^T}{\gamma }^{t-\mathrm{1}}{r}_t\mid \pi \right)$$

（9）

式中：P为策略空间；T为总步数；t为当前步数；$r_t$为当前奖励；E为期望。

2.2　SAC算法

如前所述，通常强化学习方法以获取最大化回报为目的对策略进行学习，即：

$${\pi }^{\mathrm{*}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\pi }{\mathrm{m}\mathrm{a}\mathrm{x}}{E}_{\left(s_t,a_t\right)~{\rho }_{\pi }}\left(\sum _{t}R(s_t,a_t)\right)$$

（10）

式中：${\pi }^{\mathrm{*}}$为最优策略；${\rho }_{\pi }$为策略$\pi$轨迹分布的边际。然而，该算法容易集中于某一个动作，从而陷入局部最优。为了改善这一情况，可在学习过程中加入策略熵^［22］，从而增加输出动作的分散程度，增强智能体的探索能力，如下所示：

$$\left\{\begin{array}{l}{\pi }^{\mathrm{*}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\pi }{\mathrm{m}\mathrm{a}\mathrm{x}}\sum _t{E}_{\left(s_t,a_t\right)~{\rho }_{\pi }}\left(r\underset{\mathrm{奖励}\mathrm{函数}}{\underbrace{(s_t,a_t)}}+\alpha \underset{\mathrm{策略}\mathrm{熵}}{\underbrace{H(\pi (\cdot \mid s_t))}}\right)\\ H(\pi (\cdot \mid s_t))=E_{\left(s_t,a_t\right)~{\rho }_{\pi }}(-\mathrm{l}\mathrm{o}\mathrm{g}{\pi }_t(a_t\mid s_t))\end{array}\right.$$

（11）

式中：$\alpha$为温度系数，用于调节探索程度。可以看出，在相同奖励条件下，智能体倾向于选择熵大的策略，从而拓宽探索的范围。在最大熵条件下，贝尔曼方程$Q\left(s_t,a_t\right)$修正为

$$\left\{\begin{array}{l}Q\left(s_t,a_t\right)\triangleq r\left(s_t,a_t\right)+\gamma E_{s_{t+\mathrm{1}}}(V(s_{t+\mathrm{1}}))\\ V\left(s_t\right)=E_{a_t~\pi }(Q(s_t,a_t)-\alpha \mathrm{l}\mathrm{o}\mathrm{g}\pi (a_t\mid s_t))\end{array}\right.$$

（12）

式中：$V\left(s_t\right)$为状态价值函数。

策略的迭代更新包括策略评估以及策略更新，前者可由式（12）实现，后者由下式实现：

$${\pi }_{\mathrm{n}\mathrm{e}\mathrm{w}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\pi \in \mathit{\Pi }}{\mathrm{m}\mathrm{i}\mathrm{n}}{D}_{\mathrm{K}\mathrm{L}}\left({\pi }^{\text{'}}(\cdot \mid s_t)\Vert \frac{\mathrm{e}\mathrm{x}\mathrm{p}\left(\frac{\mathrm{1}}{\alpha }{Q}_{{\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}}(s_t,\cdot )\right)}{Z_{{\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}}(s_t)}\right)$$

（13）

式中：$\mathit{\Pi }$为策略分布的集合（本研究中为高斯分布）；$Q_{{\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}}(s_t,\cdot )$为更新前的Q函数；$Z_{{\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}}(s_t$）为配分函数，用于归一化；D_KL为Kullback-Leibler旋度，求其最小值使得策略分布向软Q函数的指数更新。

为了保证模型的性能，采用深度神经网络对软Q函数以及策略分布进行近似。软Q网络的参数θ可通过最小化软贝尔曼误差实现，如下所示：

$$J_Q(\theta )=E_{\left(s_t,a_t\right)~D}\left(\frac{\mathrm{1}}{\mathrm{2}}\left(Q_{\theta }(s_t,a_t)-(r(s_t,a_t)+\gamma E_{{\mathit{s}}_{t+\mathrm{1}}}(V_{\overline{\theta }}(s_{t+\mathrm{1}}{)))}^{\mathrm{2}}\right)\right)$$

（14）

式中：$D$为经验回放池；θ为Q值网络的参数；$\overline{\theta }$为目标Q值网络的参数。V值可通过式（12）利用Q值进行参数化。式（14）可通过随机梯度求最小值，计算式如下所示：

$${\widehat{\nabla }}_{\theta }{J}_Q(\theta )={\nabla }_{\theta }{Q}_{\theta }(s_t,a_t)(Q_{\theta }(s_t,a_t)-(r(s_t,a_t)+\gamma (Q_{\overline{\theta }}(s_{t+\mathrm{1}},a_{t+\mathrm{1}})-\alpha \mathrm{l}\mathrm{o}\mathrm{g}({\pi }_{\varphi }(a_{t+\mathrm{1}}\mid s_{t+\mathrm{1}}))))$$

（15）

式（14）和式（15）中的$\overline{\theta }$由下式进行更新：

$$\overline{\theta }\leftarrow \tau \theta +(\mathrm{1}-\tau )\overline{\theta }$$

（16）

式中：τ为0至1之间的数。

策略网络的参数可以通过最小化式（13）实现，利用式（17）对策略重参数化可得式（18），如下所示：

$$a_t=f_{\varphi }({\epsilon }_t;s_t)=f_{\varphi ,\mu }(s_t)+{\epsilon }_t\odot f_{\varphi ,\sigma }(s_t)$$

（17）

$$J_{\pi }(\varphi )=E_{s_t~D,{\epsilon }_t~N}(\alpha \mathrm{l}\mathrm{o}\mathrm{g}{\pi }_{\varphi }(f_{\varphi }({\epsilon }_t;s_t)\mid s_t)-Q_{\theta }(s_t,f_{\varphi }({\epsilon }_t;s_t)))$$

（18）

式中：N为高斯分布；$\varphi$为策略网络的参数；${\epsilon }_t$为高斯噪声；$f_{\varphi }$输出均值和方差。式（17）可通过下式的近似梯度进行迭代求解：

$${\widehat{\nabla }}_{\varphi }{J}_{\pi }(\varphi )={\nabla }_{\varphi }\alpha \mathrm{l}\mathrm{o}\mathrm{g}({\pi }_{\varphi }(a_t\mid s_t))+({\nabla }_{a_t}\alpha \mathrm{l}\mathrm{o}\mathrm{g}({\pi }_{\varphi }(a_t\mid s_t)-{\nabla }_{a_t}Q(s_t,a_t)){\nabla }_{\varphi }{f}_{\varphi }({\epsilon }_t;s_t)$$

（19）

为了实现温度系数的自适应调整，在新的区域扩大探索范围，在旧的区域缩小探索范围，Haarnoja等^［21］将其归纳为期望熵约束下最大化期望回报，如下所示：

$$\underset{{\pi }_{\mathrm{0}:T}}{\mathrm{m}\mathrm{a}\mathrm{x}}{E}_{{\rho }_{\pi }}\left({\displaystyle \sum _{t=\mathrm{0}}^T}r(s_t,a_t)\right)$$

$$\mathrm{s}.\mathrm{t}.E_{\left(s_t,a_t\right)~{\rho }_{\pi }}(-\mathrm{l}\mathrm{o}\mathrm{g}({\pi }_t(a_t\mid s_t)))\ge H, \forall t$$

（20）

2.3　基于SAC的悬浮控制算法

2.3.1　智能体设定

对于悬浮系统来说，智能体的状态空间可设为各传感器的值或可从传感器推导得到的值，包括悬浮间隙、电磁铁运动速度，即$S=\left\{\mathit{c},\dot{\mathit{c}}\right\}$。根据悬浮系统实际情况，间隙范围为［c_min，c_max］，速度范围为［${\dot{c}}_{\mathrm{m}\mathrm{i}\mathrm{n}}$，${\dot{c}}_{\mathrm{m}\mathrm{a}\mathrm{x}}$］。智能体的动作为控制量i，即$A=\left\{i\right\}$。由于SAC算法中用tanh函数将输出动作限制在了［-1，1］，因此需要将SAC输出的动作进行线性变换，将其映射至实际电流范围［i_min，i_max］。

2.3.2　环境模型

环境模型为智能体提供了当前动作和状态的奖励，以及该条件下的下一状态。对于悬浮系统而言，下一状态可通过对式（6）进行离散化获取，如下所示：

$$\left\{\begin{array}{l}\ddot{c}(t)=g+\frac{f_{\mathrm{d}}}{m}-\frac{{\mu }_{\mathrm{0}}{N}^{\mathrm{2}}A{i}^{\mathrm{2}}(t)}{\mathrm{4}m{c}^{\mathrm{2}}(t)}\\ \dot{c}(t+\mathrm{1})=\ddot{c}(t)T_{\mathrm{s}}\\ c(t+\mathrm{1})=\dot{c}(t)T_{\mathrm{s}}\end{array}\right.$$

（21）

式中：T_s为系统采样时间。

由于机械结构对于电磁铁运动范围的限制，因此电磁铁的运动速度存在以下限制：

$$\dot{c}=\left\{\begin{array}{l}\mathrm{0},c\le c_{min}\mathrm{且}{F}_e<\mathrm{0}\\ \mathrm{0},c\ge c_{max}\mathrm{且}{F}_e>\mathrm{0}\\ \dot{c},\mathrm{其他}\end{array}\right.$$

（22）

Zhao等^［23］参照LQR的能量函数，同时考虑状态误差与消耗能量，使策略π向设定间隙靠近，并且减少能量消耗、减小间隙波动，从而给出悬浮系统的奖励函数，如下所示：

$$r(s_t,u_t)=-(c_t-c_{\mathrm{0}}{)}^{\mathrm{2}}-\mathrm{0.1}{\dot{c}}_t^{\mathrm{2}}-\mathrm{0.05}{u}_t^{\mathrm{2}}$$

（23）

由于采用电压控制方案，因此存在电压项u_t，其余2项分别为悬浮间隙偏离项以及系统振动项。

本质上来说，式（23）是一种负奖励函数，智能体容易选择提前结束本次回合来提高奖励回报。为此，文献［23］中未设置提前结束的条件，而是设置了固定的回合步数。然而，由式（6）可知，电磁铁吸力与间隙的平方成反比，间隙越小吸力越大，未经良好训练的智能体容易发生“吸死”现象。在“吸死”现象发生后，悬浮间隙不再发生变化，此后的步数对于智能体的训练效果较差，这可能导致智能体的训练收敛较慢。因此，从正向奖励的角度设计奖励函数。对于靠近控制目标的状态和动作给予更高的奖励，反之则给予较小的奖励。如此，智能体将避免回合结束来保证回报的最大化。为了实现这一目的，采用指数函数形式的奖励函数，如下所示：

$$r(s_t,i_t)=\mathrm{0}.{\mathrm{9}}^{(\mathrm{1}\mathrm{000}(c_t-c_{\mathrm{0}}{))}^{\mathrm{2}}}+\mathrm{0.005}\times \mathrm{0}.{\mathrm{9}}^{c_t^{\mathrm{2}}}+\mathrm{0.05}\times \mathrm{0}.{\mathrm{9}}^{i_t}$$

（24）

0.9为大于0小于1的值，可以通过调整其值来调节奖励函数对于不同误差的敏感程度。图2给出了不同底数条件下奖励函数对于间隙误差的敏感性。通过实际测试，取底数为0.9。在此种条件下，可以设置发生“吸死”条件即为回合结束，从而提高智能体训练效率。

图2  指数函数形式的间隙误差奖励函数

Fig.2  Reward function of gap error with exponential function form

2.3.3　控制算法流程

基于SAC算法的悬浮控制框架如图3所示。Actor由包含2个全连接层的神经网络组成，神经元个数分别为400和300，激活函数为ReLU函数。得到均值μ和方差σ之后，采样得到动作a_t，并通过tanh函数进行幅值映射。Actor通过动作a_t与环境进行交互，环境给出下一状态s_t以及奖励r_t，获取经验$(s_t,a_t,r_t,s_{t+\mathrm{1}})$并存入经验回放池D。Critic中采用了2个Q网络以提高训练的稳定性，取2个网络输出的最小值。

图3  基于SAC的悬浮控制框架示意图

Fig.3  Schematic diagram of SAC-based suspension control framework

控制算法包括训练和实际控制两部分，分别如图4、5所示。

图4  基于SAC的悬浮控制智能体训练算法

Fig.4  SAC-based agent training algorithm for suspension control

图5  基于SAC的悬浮控制

Fig.5  SAC-based suspension control

3 算法验证与分析

为了验证基于SAC的悬浮控制方法的性能，将该方法与传统的PID控制分别在损失50%线圈和过弯道时磁极面积变化下的控制性能进行对比。

3.1　智能体训练结果

设置总环境更新步数M为350 000次，单回合最大步数W为1 000，采样/控制周期为0.001 s，系统参数如表1所示。为了表明所提奖励函数对于提高训练效率的有效性，分别在式（23）（电压项修改为电流项）和式（24）奖励函数条件下对智能体进行多次训练，结果分别如图6、7所示。可以发现：式（23）奖励函数条件下，在训练步数达到最大值35×10⁴之后，算法仍然没有收敛；而在式（24）奖励函数条件下，算法在22×10⁴处基本都实现收敛。相比于式（23）奖励函数，式（24）奖励函数可极大地提高智能体的训练效率，节约训练时间。

表1  系统参数

Tab.1  System parameters

物理参数	参数值
悬浮块质量/kg	750
线圈匝数	270
目标间隙/m	0.008
电磁铁面积/m2	0.115
真空磁导率/（H∙m-1）	4π×10-7
线圈电阻/Ω	3.84
等效负载/kN	24.5

图6  式（23）奖励函数下的每回合累积回报

Fig.6  Return of each episode with reward function (23)

图7  式（24）奖励函数下的每回合累积回报

Fig.7  Return of each episode with reward function (24)

3.2　与传统算法的对比验证

为了验证基于SAC悬浮控制方法的抗参数摄动性能，将该方法与传统PID控制在各类情况下的控制性能进行对比。依据模型（7）以及文献［16］的参数整定方法，所用的PID参数为k_p=20 000，k_i= 1 200，k_d=1 000。为了更加真实地反映运行条件，仿真采用式（6）的非线性模型，而非式（7）的线性化模型。在以下所有仿真中，都对电磁铁施加 ［-10 000，10 000］ N的随机干扰力。

3.2.1　静态起浮

图8为静态起浮时PID控制和SAC控制下的间隙误差和控制电流。从图8a可以看出，SAC控制和PID控制均有较好的控制效果，可以达到较为平稳的悬浮状态。相较而言，SAC控制比PID控制具有更快的动态响应，SAC控制在0.05 s时即可到达平稳悬浮状态，而PID控制则需花费0.24 s左右。由于随机干扰的存在，电磁铁电流需要进行调整，使悬浮间隙保持稳定。可以发现，SAC控制的电流相比于PID控制的电流波动更小，平稳性更好。。

图8  静态起浮时SAC与PID控制性能对比

Fig.8  Comparison of performance between SAC and PID in term of static suspension

3.2.2　电磁铁线圈匝数变化

图9为悬浮条件下发生电磁铁线圈短路故障，有效线圈匝数从270变为135时PID控制和SAC控制的间隙误差和控制电流。当故障发生后，SAC控制下的间隙误差为0.96 mm，PID控制下的间隙误差为2.45 mm，PID控制的间隙误差相较于SAC控制大了1.49 mm。悬浮间隙存在限制且相对较小，大的间隙误差增加了电磁铁触轨的风险。从图9b可以看出，当有效线圈匝数减小之后，因为PID控制的间隙误差较大，其悬浮所需的电流也相应增大，从而增加了悬浮系统的能耗。

图9  线圈匝数改变时SAC与PID控制性能对比

Fig.9  Comparison of performance between SAC and PID in term of coil turn change

3.2.3　电磁铁磁极面积变化

磁浮列车运行过程中，在弯道时电磁铁磁极面积将发生变化。图10为磁极面积从0.1150 m²在1 s内逐步减小至0.0575 m²时PID控制和SAC控制的间隙误差和控制电流。

图10  磁极面积变化时SAC与PID控制性能对比

Fig.10  Comparison of performance between SAC and PID in term of pole area change

由图10a可知：磁极面积的变化对于SAC控制下的悬浮间隙影响不是很大，仅产生了0.3 mm左右的间隙误差；而对于PID控制下的悬浮间隙而言，间隙误差达到了1 mm，相比SAC控制增加了0.7 mm。SAC控制的间隙误差只有PID控制的30%。图8b中两者的电流相差相对较小，这是因为两者的绝对误差相对较小。

综合上述，SAC控制比PID控制具有更好的平稳性并且具备更快的响应速度。对于电磁铁线圈匝数减半、磁极面积减半等情况，相当于引入了较大的参数变动甚至是故障状态，使得被控系统与原系统产生了较大的差异，控制器难以实现对参考间隙的准确跟踪。此种条件下，SAC算法相比PID算法具有更好的性能，可在一定程度上减小间隙误差。

4 结语

针对磁浮列车动态条件或者故障条件下参数变化引起的传统悬浮控制性能下降问题，提出了一种基于强化学习的悬浮控制方法。建立了悬浮系统的强化学习环境，利用SAC算法的全局探索能力减小了悬浮系统在不同系统参数下的间隙跟踪误差。此外，针对悬浮系统存在的“吸死”现象，提出了奖励函数，提高了强化学习智能体的训练效率。与传统的PID控制算法相比，所提的SAC控制算法具有更优越的性能。SAC算法的起浮时间仅为PID算法的20.83%；在50%电磁铁线圈匝数损失时，SAC算法的间隙误差仅为PID算法的39.18%；在磁极面积缓慢变化减小时，SAC算法的间隙误差为PID算法的30%。由于目前的悬浮控制器算力性能无法支持所提的SAC悬浮控制算法的实时在线实施，下一阶段将对网络模型的小型化进行研究，从而实现基于SAC的在线悬浮控制。

作者贡献声明

胡轲珽：设计、编写算法及撰写论文。

徐俊起：模型构建及数据支持。

刘志刚：提供研究思路。

林国斌：技术指导及论文审定。