摘要
基于序列二次规划算法构造了求解实对称互补特征值问题的一类积极集方法。 通过特殊的积极集指标选取策略,该积极集方法计算得到的迭代序列具有单调下降特征,并从理论上证明了该方法的收敛性。 数值实验结果表明该方法是行之有效的,并且在互补性和迭代时间上均优于Matlab软件的内置算法。
互补特征值问
目前关于互补特征值问题研究主要集中于2类常用的自对偶锥:非负锥和二阶
(1) |
称满足
与线性或非线性互补问题类似,利用非线性互补函数可以将Pareto特征值问题等价地转化成一个非光滑方程组,然后用半光滑牛顿方法求
序列二次规划(SQP)算法是求解非线性规划问题的一种高效算
主要讨论对称Pareto特征值问题,即矩阵、都是对称矩阵,其中是对称正定矩阵。当矩阵非正定,可以找到一个足够大的正常数,使得矩阵是正定的。若是矩阵对的Pareto特征值和特征向量,则由
在求解对称Pareto特征值问题时,可以将原问题(1)转化为如下约束优化问题:
(2) |
其拉格朗日函数为
(3) |
显然问题(2)的稳定点满足如下KKT(Karush-Kuhn-Tucker)条件:
(4) |
式中:、为相应等式约束和不等式约束的拉格朗日乘子。从
首先由当前迭代点构造二次规划子问题:
(5) |
其中矩阵是个对称正定矩阵。当可行域非空时,问题(5)有解且有唯一解,记问题(5)的解为。用作为第次迭代的搜索方向,再选取适当步长,从而由迭代格式为生成序列。可以证明当问题(5)的解时,就是原问题(1)的一个Pareto特征向量。
下面定义一个罚函数:
(6) |
式中:是罚参数,。 在经典的序列二次规划算法中,当给定的罚参数对所有的都满足,其中是问题(5)等式约束的拉格朗日乘子,则是罚函数的下降方向。又因为罚函数有下界,故算法可收敛。在文献[
简单描述用SQP算法求解对称正定矩阵Pareto特征值的基本框架如下。
(1)初始值。①给定对称正定矩阵;②选取对称正定矩阵和罚参数;③选取误差参数和初始迭代点,。
(2)迭代。①求出子问题(5)唯一解;②如果,则算法停止,输出。否则,转至步骤③;③选取恰当的步长,使得;④,,转至步骤①。
从上面算法可知,利用序列二次规划问题求Pareto特征值问题需要找到适当的步长,使得。在研究过程中发现函数在区间上是分段连续函数,可以直接计算出需要的步长,这里就不赘述求解过程,直接给出结果(详见文献[
定理 1 设和由算法SQP生成,假设且,其中是矩阵的谱半径。如
众所周知,积极集方法被认为是求解中小规模二次规划问题的高效的算法之一。本节主要目的是构造一类有效求解子问题(5)的解的积极集方法。已知当前点,为了简洁,将下面的量重新进行标记: ,,,则可行域可简记为。进而子问题(5)可以简写为
(7) |
对于对称正定矩阵,当可行域非空时,易知问题(7)存在唯一解。那么是问题(7)的解当且仅当存在满足下面KKT条件:
(8) |
其中、分别是等式约束和不等式约束的拉格朗日乘子。
下面定义2个指标集:称为问题(7)在点处的积极集,其中。若是问题(7)的解,不难发现也是如下二次规划问题的稳定点:
(9) |
引理1 若问题(9)有解,则其解为
其中满足下面方程:
(10) |
证明 不失一般性,对矩阵和向量进行如下分块:
其中表示抽取矩阵的行和列上的元素组成的主子矩阵,。令
则问题(9)转化为
(11) |
又因为,所以只需要求出的值即可。显然可以通过解下面优化问题得到要求的值。
(12) |
问题(12)的解满足KKT条件:
其中是其相应的拉格朗日乘子,显然解是下面方程的解:
证毕。
综上可知,二次规划问题(7)的解也是问题(9)的解,可通过求解问题(9)来找到问题(7)的解。由于问题(9)依赖于问题(7)的最优解,所以解决问题(7)的关键步是确定哪些不等式约束是积极的,即设计一类确定指标集的策略。
下面建立积极集法求解子问题(7)的基本框架。
(1)初始值。①给定对称正定矩阵,向量,,及标量;②选取初始点,令,为空集;③确定初始积极集:,。
(2)迭代。①求问题(9)的解;②求;③判断。(a)若,且,则算法停止,输出;(b)若,但存在指标使得,则令,显然有,这里又分2种情况讨论:情况1,若,则取,为空集,,;情况2,若,取,,,,其中表示向量中第小的分量;(c)若存在使,即。令,分2种情况讨论:情况1,若,令,,求出使得,则取,为空集,,;情况2,若,求出下面优化问题的解:
(13) |
取,为空集,,;④,转至步骤①。
接下来讨论积极集算法的一些基本性质。
定理 3 设若序列由积极集算法生成,其中,,则有如下性质:①对任意的都有,,即,;②对任意的都有,,且等号成立当且仅当。
证明 (1)用归纳法证明。因为,不妨假设成立,所以只需证即可。在积极集算法的情况(a)、(b)中,是问题(9)的解,显然有。在情况(c)中分2种情况讨论。
情况1:当时,因为,所以对,有。又因为,所以对,有,进而可知。而
综上可知。令,下面证明。
等式约束:。
不等式约束分2种情况如下。①当时,易知,。所以有
②当时,易知。所以有
综上可知,所以。又因为,,显然也满足,,即。
情况2:当时,则是问题(13)的解,显然有。
(2)由上可知、都在可行域内,由于和有多种取法,下面分情况讨论。
当时,且,即是如下问题的解:
①若,那么是问题(9)的稳定点,显然也满足问题(9)的约束条件,则易得,即,等号成立当且仅当。②若,由算法可知,显然有,等号成立当且仅当。③若,即是问题(13)的解,显然也满足问题(13)的约束条件,同①可知,等号成立当且仅当。
当且、或者、或者这3种情况时,在这里就不一一讨论了,与情况且相同,可证,等号成立当且仅当。证毕。
从上面定理3可知由积极集算法生成的序列在可行域内,且保证目标函数下降。
定理 4 若是算法输出的解,则有如下性质:①;②;③;④;⑤,综上可知是问题(7)的解。
证明 由积极集算法和定理3,性质①②③④显然易得,所以只需证明。因为,即
所以
由引理1知,,且满足KKT条件,则
可知,所以。证毕。
定理4表明可以通过积极集算法找到问题(7)的解,即子问题(5)的解。积极集算法相当于是个组合问题,这保证了算法会在有限步结束,接下来讨论算法中一些具体问题,如在算法迭代步③中求解出使得。
定理 5 在积极集算法中,若,则
(14) |
其中,,。
证明 令,则。而
所以
又因为矩阵是正定的,,则有,所以的最小值点为。显然当满足
最后对问题(9)是否有解进行讨论。从引理1可以知道,当方程(10)有解时,显然问题(9)也有解。因为矩阵是正定的,则它的主子矩阵也是正定矩阵,即矩阵可逆,那么有如下2种情况:①,则。系数矩阵行列式不等于零,即矩阵可逆,方程有唯一解。②,则方程无解或有无穷多个解。
为了避免第2种情况出现,即保证,那么可对指标集做如下处理。因为为非零向量,则必可找到一个使得。若,则;若,则指标集保持不变。这样保证了,方程(10)有唯一解,所以在实际计算中可以保证问题(9)有解。
本节详细描述数值算例的设计,尝试通过数值实验验证积极集方法的有效性以及其在计算时间、迭代步数以及互补精度方面均优于已有算法。所有数值实验在操作系统为64位windows 10和处理器为Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19 GHz 的电脑上进行,使用的软件是Matlab R2018b。
SQP算法最不可缺少的部分是子问题(5)中对称正定矩阵的选取。因为本文主要讨论矩阵是对称正定的情况,在这里直接令。为了简洁,用积极集算法求解子问题的序列二次规划问题,记为SQP(J)。又因为Matlab软件中的内置函数“quadprog”能直接求解二次规划,在所有实验中算法SQP(Q)表示直接用内置函数“quadprog”求解子问题(5)。
积极集算法中求解子问题的初始向量的公式如下:
其中,为中第1个分量为正的指标。因为矩阵为正定矩阵,这样的分量一定存在。这样选取保证了在可行域内,也从侧面证明了子问题可行域非空。在第次外迭代后,积极集算法中求解子问题的初始向量为,其中和分别为上一步外迭代得到的步长和子问题的解。另外,积极集算法在迭代步③中(b)的情况2中的选取也会影响迭代次数,在这里取,其中表示小于零的分量的个数。
为了有效地分析算法SQP(J)和SQP(Q)性能,也用算法BA
例1 为了测试算法的可行性,首先计算一个简单的问题。 在这里令
, |
初始向量为,通过算法SQP(J)和算法SQP(Q)得到
, |
这意味这和是矩阵对的Pareto特征值和对应的Pareto特征向量。
例2 为了进一步测试算法的有效性,测试一些随机生成的问题。随机生成5组阶数分别为50、500和1 000的对称正定矩阵对,分别列出了算法BAS、算法SQP(Q)和算法SQP(J)计算矩阵对的Pareto特征值所需的CPU运行时间(s),迭代次数IT以及互补性H,见表1-3。其中,N表示矩阵的阶数。
从
构造了求解实对称互补特征值问题的积极集方法。实验数值结果表明,所提出的算法SQP(J)在迭代步数和计算时间以及互补性上均优于算法BAS和算法SQP(Q)。算法SQP(J)能够快速求解实对称互补特征值问题,主要原因在于积极集算法更加适合求解子问题。如何选取子问题中的矩阵是接下来需要研究的问题。
作者贡献声明
雷 渊:提出研究思路,设计研究方案,修订最终版本。
朱 琳:完成研究方案,进行数值实验,分析数据,起草论文。
李 斌:负责数值实验的编程。
参考文献
SEEGER A. Eigenvalue analysis of equilibrium processes defined by linear complementarity conditions [J]. Linear Algebra and its Applications, 1999, 292(1-3): 1. DOI: 10.1016/S0024-3795(99)00004-X. [百度学术]
韩继业, 修乃华, 戚厚铎. 非线性互补理论与算法 [M]. 上海: 上海科学技术出版社, 2006. [百度学术]
HAN Jiye, XIU Naihua, QI Houduo. Nonlinear complementarity theory and algorithm [M]. Shanghai: Shanghai Scientific and Technical Publishers, 2006. [百度学术]
SEEGER A, TORKI M. On eigenvalues induced by a cone constraint [J]. Linear Algebra and its Applications, 2003, 372(3): 181. DOI: 10.1016/S0024-3795(03)00553-6. [百度学术]
PINTO DA COSTA A, SEEGER A. Cone-constrained eigenvalue problems: theory and algorithms [J]. Computational Optimization and Applications, 2010, 45(1): 25. DOI: 10.1007/s10589-008-9167-8. [百度学术]
QUEIROZ M, JÚDICE J, et al. The symmetric eigenvalue complementarity problem [J]. Mathematics of Computation, 2004, 73(248): 1849. DOI: 10.1090/S0025-5718-03-01614-4. [百度学术]
PINTO DA COSTA A, MARTINS J A C, FIGUEIREDO I N, et al. The directional instability problem in systems with frictional contacts [J]. Computer Methods in Applied Mechanics and Engineering, 2004, 193( 3-5): 357. DOI: 10.1016/j.cma.2003.09.013. [百度学术]
MARTINS J A C, PINTO DA COSTA A. Stability of finite-dimensional nonlinear elastic systems with unilateral contact and friction [J]. International Journal of Solids and Structures, 2000, 37(18): 2519. DOI: 10.1016/S0020-7683(98)00291-1. [百度学术]
PINTO DA COSTA A, MARTINS J A C. A numerical study on multiple rate solutions and onset of directional instability in Quasi-staticfrictional contact problems [J]. Computers and Structures, 2004, 82(17): 1485. [百度学术]
FERNANDES L M, FUKUSHIMA M, JÚDICE J, et al. The second-order cone quadratic eigenvalue complementarity problem [J]. Optimization Methods and Software, 2015, 31(1): 1. DOI: 10.1080/10556788.2015.1040156. [百度学术]
ADLY S, RAMMAL H. A new method for solving second-order cone eigenvalue complementarity problems [J]. Journal of Optimization Theory and Applications, 2015, 165(2): 563. DOI: 10.1007/s10957-014-0645-0. [百度学术]
SEEGER A, VICENTE-PÉREZ J. On cardinality of Pareto spectra [J]. Electronic Journal of Linear Algebra, 2011, 22(1):758. [百度学术]
MA Changfeng. The semismooth and smoothing Newton methods for solving Pareto eigenvalue problem [J]. Applied Mathematical Modelling, 2012, 36(1): 279. DOI: 10.1016/j.apm.2011.05.045. [百度学术]
WÄCHTER A, BIEGLER L T. On the implementation of an interior-point filter line-search algorithm for large-scale nonlinear programming [J]. Mathematical Programming, 2006, 106(1): 25. DOI: 10.1007/s10107-004-0559-y. [百度学术]
JÚDICE J, RAYDAN M, S.ROSA S, et al. On the solution of the symmetric eigenvalue complementarity problem by the spectral projected gradient algorithm [J]. Numerical Algorithms, 2008, 47(4): 391. DOI: 10.1007/s11075-008-9194-7. [百度学术]
LE THI H A, MOEINI M, DINH T P, et al. A DC programming approach for solving the symmetric Eigenvalue complementarity problem [J]. Computational Optimization and Applications, 2012, 51(3): 1097. DOI: 10.1007/s10589-010-9388-5. [百度学术]
BRÁS C P, FISCHER A, JÚDICE J, et al. A block active set algorithm with spectral choice line search for the symmetric eigenvalue complementarity problem [J]. Applied Mathematics and Computation, 2017, 294: 36. DOI: 10.1016/j.amc.2016.09.005. [百度学术]
MURRAY W. Sequential quadratic programming methods for large-scale problems [J]. Computational Optimization and Applications, 1997, 7(1): 127. DOI: 10.1007/978-0-585-26778-4_8. [百度学术]
GOULD N I M, TOINT P L. SQP methods for large-scale nonlinear programming [C]// IFIP TC7 Conference on System Modelling and Optimization. Boston: Springer, 1999:149-178. [百度学术]