黑塞矩陣

海森矩陣(德語:Hesse-Matrix;英語:Hessian matrixHessian),又譯作黑塞矩阵海塞(赛)矩陣海瑟矩陣等,是一個由多變量實值函數的所有二階偏導數組成的方陣,由德國數學家奧托·黑塞引入並以其命名。

定義

假設有一實值函數 ,如果  的所有二階偏導數都存在並在定義域內連續,那麼函數 的黑塞矩陣為

 

或使用下標記號表示為

 

顯然黑塞矩陣  是一個 方陣。黑塞矩陣的行列式被稱爲黑塞式(英語:Hessian),而需注意的是英語環境下使用Hessian一詞時可能指上述矩陣也可能指上述矩陣的行列式[1]

性質

高等數學知識可知,若一元函數  點的某個鄰域內具有任意階導數,則函數  點處的泰勒展開式

 

其中, 

同理,二元函數  點處的泰勒展開式為

 

其中,       

將上述展開式寫成矩陣形式,則有

 

其中,   轉置 是函數  梯度,矩陣

 

即函數  點處的 黑塞矩阵。它是由函数  点处的所有二階偏導數所組成的方陣。

由函數的二次連續性,有

 

所以,黑塞矩陣 對稱矩陣

將二元函數的泰勒展開式推廣到多元函數,函數  點處的泰勒展開式為

 

其中,  為函數  點的梯度,

 

為函數  點的 黑塞矩陣。若函數有 次連續性,則函數的 黑塞矩陣是對稱矩陣。

說明:在優化設計領域中,黑塞矩陣常用 表示,且梯度有時用 表示。[2]

函數 的黑塞矩陣和雅可比矩陣有如下關係:

 

即函數 的黑塞矩陣等於其梯度的雅可比矩陣。

應用

函數的極值條件

對於一元函数 ,在給定區間內某 點處可導,並在 點處取得極值,其必要條件

 

即函數 的極值必定在駐點處取得,或者說可導函數 的極值點必定是駐點;但反過來,函數的駐點不一定是極值點。檢驗駐點是否為極值點,可以採用二階導數的正負號來判斷。根據函數  點處的泰勒展開式,考慮到上述極值必要條件,有

 

  點處取得極小值,則要求在 某一鄰域內一切點 都必須滿足

 

即要求

 

亦即要求

 

  點處取得極大值的討論與之類似。於是有極值充分條件

設一元函数  點處具有二階導數,且  ,則

  1.  時,函數  處取得極小值;
  2.  時,函數  處取得極大值。

而當 時,無法直接判斷,還需要逐次檢驗其更高階導數的正負號。由此有一个規律:若其開始不為零的導數階數為偶數,則駐點是極值點;若為奇數,則為拐點,而不是極值點。

對於二元函数 ,在給定區域內某 點處可導,並在 點處取得極值,其必要條件

 

 

同樣,這只是必要條件,要進一步判斷 是否為極值點需要找到取得極值的充分條件。根據函數  點處的泰勒展開式,考慮到上述極值必要條件,有

 

   ,則

 

 

  點處取得極小值,則要求在 某一鄰域內一切點 都必須滿足

 

即要求

 

亦即要求  


 

 

此條件反映了  點處的黑塞矩陣 的各階主子式都大於零,即對於

 

要求
 


 

  點處取得極大值的討論與之類似。於是有極值充分條件:

設二元函数  點的鄰域內連續且具有一階和二階連續偏導數,又有 ,同時令   ,則

  1.   時,函數  處取得極小值;
  2.   時,函數  處取得極大值。

此外可以判斷,當 時,函數  點處沒有極值,此點稱爲鞍點。而當 時,無法直接判斷,對此,補充一個規律:當 時,如果有 ,那麼函數  有極值,且當 有極小值,當 有極大值。

由線性代數的知識可知,若矩陣 滿足
 

 

則矩陣 正定矩陣,或者說矩陣 正定。

若矩陣 滿足
 

 

則矩陣 負定矩陣,或者說矩陣 負定。[3]

於是,二元函數  點處取得極值的條件表述為:二元函數  點處的黑塞矩陣正定,則取得極小值;在 點處的黑塞矩陣負定,則取得極大值。

對於多元函數 ,若在 點處取得極值,則極值存在的必要條件為

 

取得極小值的充分條件為

 

正定,即要求 的各階主子式都大於零,即
 


 

 

 
取得極大值的充分條件為

 

負定。[4][5][6]

拓展閱讀

參考文獻

  1. ^ Binmore, Ken; Davies, Joan. Calculus Concepts and Methods. Cambridge University Press. 2007: 190. ISBN 9780521775410. OCLC 717598615. 
  2. ^ 白清顺; 孙靖明; 梁迎春 (编). 机械优化设计(第6版). 北京: 机械工业出版社. 2017.6(2018.11重印): 35~36页. ISBN 978-7-111-56643-4. 
  3. ^ 刘二根; 谢霖铨 (编). 线性代数. 江西高校出版社. 2015.7: 164~166页. ISBN 978-7-5493-3588-6. 
  4. ^ 白清顺; 孙靖明; 梁迎春 (编). 机械优化设计(第6版). 北京: 机械工业出版社. 2017.6(2018.11重印): 37~39页. ISBN 978-7-111-56643-4. 
  5. ^ 同济大学数学系 (编). 高等数学(第七版)上册. 高等教育出版社. 2014.7: 155页. ISBN 978-7-04-039663-8. 
  6. ^ 同济大学数学系 (编). 高等数学(第七版)下册. 高等教育出版社. 2014.7: 113页. ISBN 978-7-04-039662-1.