穆尔-彭罗斯广义逆

穆尔-彭罗斯广义逆(英语:Moore–Penrose pseudoinverse),通常标记为,是著名的广义逆矩阵之一。

1903年,埃里克·伊瓦尔·弗雷德霍姆提出积分算子的伪逆的概念。穆尔-彭罗斯广义逆先后被E·H·穆尔(1920年)[1]阿尔内·比耶哈马尔英语Arne Bjerhammar(1951年) [2]罗杰·彭罗斯(1955年)[3]发现或描述。

它常被用于求得或简化非一致线性方程组的最小范数最小二乘解(最小二乘法)。

矩阵的穆尔-彭罗斯广义逆在实数域和复数域上都是唯一的,并且可以通过奇异值分解求得。

定义

定义一

PS表示到向量空间S上的正交投影。对于任意一个m乘n的复矩阵A,设R(A)表示A的值域空间。穆尔于1935年证明矩阵A的广义逆矩阵G必须满足的条件:

 

以上两个条件称为穆尔条件。满足穆尔条件的矩阵G称为矩阵A的穆尔逆矩阵。


定义二

彭罗斯于1955年提出了定义广义逆矩阵的另外一组条件[3]

  1.   不一定是单位矩阵,但却不会改变 的列向量。
  2.   是乘法半群弱逆
  3.   埃尔米特矩阵
  4.   也是埃尔米特矩阵

以上四个条件常称穆尔-彭罗斯条件。满足全部四个条件的矩阵G,就称为A的穆尔-彭罗斯广义逆矩阵。

性质

从穆尔-彭罗斯条件出发,彭罗斯推导出了穆尔-彭罗斯广义逆的一些性质[3]

  •  
  •  
  •  
  •     都是幂等矩阵。

存在性和唯一性

伪逆存在且唯一:对于任何矩阵 ,恰好有一个矩阵 满足定义的四个性质。[4]

满足该定义的第一个条件的矩阵被称为广义逆。如果该矩阵也满足第二个定义,它就被称为广义反身逆阵(generalized reflexive inverse)。广义逆矩阵总存在,但一般不唯一。唯一性是最后两个条件的结果。

基本性质

这些性质的证明可以在维基教科书中找到。

  • 如果   有实数项,那么  也有。
  • 如果   是可逆的,它的伪逆就是它的逆矩阵,即:  .[5]:243
  • 零矩阵的伪逆是它的转置。
  • 矩阵伪逆的伪逆是原矩阵,即:  .[5]:245
  • 伪转置与转置、复共轭和共轭转置可以交换:[5]:245
     ,  ,  .
  • 矩阵   的标量乘法的伪逆是   的标量的倒数的乘法:
      对于  .

恒等式

下面的恒等式可以用来判定部分涉及伪逆的子表达式的正确性: 同样的,将   替换为   会得到: 当用   替代   时,会得到: 

埃尔米特情况

伪逆的计算可以简化为其在埃尔米特情况下的构造,这可以通过等价关系实现:  其中   是埃尔米特矩阵。

乘积

 ,下列等式等价:[6]

  1.  
  2.  
  3.  
  4.  
  5.  

下方列出了  的充分条件:

  1.   的列单位正交(此时 ),或
  2.   的行单位正交 (此时  ) ,或
  3.   的列线性无关(此时   ) 同时   的行线性无关(此时  ),或
  4.  ,或
  5.  

下方列出了  的必要条件:

  1.  

由最后一个充分条件得出等式: 注意: 等式   一般不成立,例如: 

投影

   是正交投影算子,即它们是埃尔米特矩阵(  )和幂等矩阵(  )。以下性质成立:

  •   
  •   是正交投影算子,投影到   的值域(也就是  的正交补空间)。
  •   是正交投影算子,投影到   的值域(也就是   的核的正交补空间)。
  •   是正交投影算子,投影到   的核。
  •   是正交投影算子,投影到   的核。[4]

最后两条性质隐含了下列等式:

  •  
  •  

如果   是埃尔米特矩阵和幂等矩阵(当且仅当它为正交投影矩阵),则对于任意矩阵   ,下式成立:[7] 这一条性质可以如此证明:定义矩阵  ,  ,当   是埃尔米特矩阵和幂等矩阵时,通过验证伪逆的性质可以检查   确实是   的一个伪逆。从上一条性质可以看出,当   是埃尔米特矩阵和幂等矩阵时,对于任意矩阵  

 

  是一个正交投影矩阵,则它的伪逆就是它自身,即  


几何结构

如果我们把矩阵看作是一个在数域   上的线性映射  , 那么   可以被分解如下。首先定义符号:   表示直和,   表示正交补,  表示映射的核,   表示映射的像。注意   。 限制条件   则是一个同构。这意味着    上时这个同构的逆,在   上则是零。

换而言之,对于给定的   要找到  ,首先将   正交投影在   的值域中,找到点  ,然后构建  ,即就是在   中,会被   投影到   的点。这是   的一个平行于   的核的仿射子空间。这个子空间中长度最小的元素(也就是最靠近原点的元素),就是我们寻找的   的解。它可以通过从   中选择任意元素,并将其投影在   的核的正交补空间而得到。

以上描述与线性系统的最小范数解密切相关。


子空间

 

极限

伪逆可以由极限定义: (参见吉洪诺夫正则化)。当   不存在时,这些极限仍然存在。[4]:263

连续性

与一般的矩阵求逆不同,求伪逆的过程并不连续:如果序列   收敛到矩阵   (在最大范数或弗罗贝尼乌斯范数意义下),则   不一定收敛于  . 然而,如果所有的矩阵    有相同的秩,则   将收敛于  .[8]

导数关系

实值伪逆矩阵的导数,该矩阵在某点 处具有恒定的秩 可以用原矩阵的导数来计算:[9] 

例子

对于可逆矩阵,其广义逆为其一般的逆矩阵,所以以下仅举一些不可逆矩阵的例子。

  • 对于 ,其广义逆矩阵为 (通常零矩阵的广义逆矩阵为其转置)。该广义逆矩阵的唯一性可以认为时由性质 得出的,因为与零矩阵相乘总会得到零矩阵。
  • 对于 ,其广义逆矩阵为  
    • 事实上, ,所以  
    • 类似的,  ,由此  
  • 对于 ,其广义逆矩阵为 
  • 对于 ,其广义逆矩阵为 
  • 对于 ,其广义逆矩阵为 
  • 对于 ,其广义逆矩阵为   。对于该矩阵,其左逆存在且等于 ,事实上, 

参考

书籍

  • 张贤达. 矩阵分析与应用. 北京: 清华大学出版社. 2004年9月: 85–99. ISBN 7-302-09271-0 (中文). 

文献

  1. ^ Moore, E. H. On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society. 1920, 26 (9): 394–395 [2012-12-01]. doi:10.1090/S0002-9904-1920-03322-7. (原始内容存档于2020-08-13). 
  2. ^ Bjerhammar, Arne. Application of calculus of matrices to method of least squares; with special references to geodetic calculations. Trans. Roy. Inst. Tech. Stockholm. 1951, 49. 
  3. ^ 3.0 3.1 3.2 Penrose, Roger. A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society. 1955, 51: 406–413. doi:10.1017/S0305004100030401. 
  4. ^ 4.0 4.1 4.2 Golub, Gene H.; Charles F. Van Loan. Matrix computations  3rd. Baltimore: Johns Hopkins. 1996: 257–258. ISBN 978-0-8018-5414-9. 
  5. ^ 5.0 5.1 5.2 Stoer, Josef; Bulirsch, Roland. Introduction to Numerical Analysis 3rd. Berlin, New York: Springer-Verlag. 2002. ISBN 978-0-387-95452-3. .
  6. ^ Greville, T. N. E. Note on the Generalized Inverse of a Matrix Product. SIAM Review. 1966-10-01, 8 (4): 518–521 [2022-05-10]. ISSN 0036-1445. doi:10.1137/1008107. (原始内容存档于2022-06-17). 
  7. ^ Maciejewski, Anthony A.; Klein, Charles A. Obstacle Avoidance for Kinematically Redundant Manipulators in Dynamically Varying Environments. International Journal of Robotics Research. 1985, 4 (3): 109–117. S2CID 17660144. doi:10.1177/027836498500400308. hdl:10217/536 . 
  8. ^ Rakočević, Vladimir. On continuity of the Moore–Penrose and Drazin inverses (PDF). Matematički Vesnik. 1997, 49: 163–72 [2022-05-10]. (原始内容 (PDF)存档于2022-04-03). 
  9. ^ Golub, G. H.; Pereyra, V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate. SIAM Journal on Numerical Analysis. April 1973, 10 (2): 413–32. Bibcode:1973SJNA...10..413G. JSTOR 2156365. doi:10.1137/0710036.