拉格朗日乘數

在數學中的最優化問題中，拉格朗日乘數法（英語：Method of Lagrange multiplier，以數學家約瑟夫·拉格朗日命名）是一種尋找多元函數在其變量受到一個或多個條件的約束時的局部極值的方法。

方法說明

對一個有 $n$ 個變量與 $k$ 個約束條件的最優化問題，拉格朗日乘數法會將其轉換成一個 $n+k$ 個變量的方程組，稱作拉格朗日方程（英語：Lagrange function），這個方程組的解將包括所有最優化問題的解。拉格朗日乘數法將會引入一個或一組新的未知數，即拉格朗日乘數（英語：Lagrange multiplier），又稱拉格朗日乘子，或拉氏乘子，它們是在轉換後的方程，即約束方程中作為梯度的線性組合中各個向量的係數。

比如，求 $f(x,y)$ 在 $g(x,y)=0$ 時的局部極值時，我們可以引入新變量拉格朗日乘數 $\lambda$ ，這時我們只需要求下列拉格朗日函數的局部極值：

{\mathcal {L}}(x,y,\lambda )=f(x,y)-\lambda \cdot g(x,y)

更一般地，對含n個變量和k個約束的情況，有：

{\mathcal {L}}\left(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{k}\right)=f\left(x_{1},\ldots ,x_{n}\right)-\sum \limits _{i=1}^{k}{\lambda _{i}g_{i}\left(x_{1},\ldots ,x_{n}\right)},

拉格朗日乘數法所得的臨界點會包含原問題的所有臨界點，但並不保證每個拉格朗日乘數法所得的臨界點都是原問題的臨界點。拉格朗日乘數法的正確性的證明牽涉到偏微分，全微分或連鎖律。

介紹

微積分中最常見的問題之一是求一個函數的極大極小值（極值）。但是很多時候找到極值函數的顯式表達是很困難的，特別是當函數有先決條件或約束時。拉格朗日乘數則提供了一個非常便利方法來解決這類問題，而避開顯式地引入約束和求解外部變量。

先看一個三維的例子：假設有函數： $f(x,y)$ ，要求其極值（最大值/最小值），且滿足條件

g\left(x,y\right)=c

c為常數。對不同 $d_{n}$ 的值，不難想像出

f\left(x,y\right)=d_{n}

的等高線。而方程 $g$ 的可行集所構成的線正好是 $g(x,y)=c$ 。想像我們沿着 $g=c$ 的可行集走；因為大部分情況下 $f$ 的等高線和 $g$ 的可行集線不會重合，但在有解的情況下，這兩條線會相交。想像此時我們移動 $g=c$ 上的點，因為 $f$ 是連續的方程，我們因此能走到 $f\left(x,y\right)=d_{n}$ 更高或更低的等高線上，也就是說 $d_{n}$ 可以變大或變小。只有當 $g(x,y)=c$ 和 $f\left(x,y\right)=d_{n}$ 相切，也就是說，此時，我們正同時沿着 $g(x,y)=c$ 和 $f\left(x,y\right)=d_{n}$ 走。這種情況下，會出現極值或鞍點。

氣象圖中就很常出現這樣的例子，當溫度和氣壓兩列等高線同時出現的時候，切點就意味着約束極值的存在。

用向量的形式來表達的話，我們說相切的性質在此意味着 $f$ 和 $g$ 的切線在某點上平行，同時也意味着兩者的梯度向量有如下關係（引入一個未知標量 $\lambda$ ）：

\nabla f\left(x,y\right)=-\lambda \nabla \left(g\left(x,y\right)-c\right)

即：

\nabla {\Big [}f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right){\Big ]}={\boldsymbol {0}}

.

一旦求出 $\lambda$ 的值，將其套入下式，易求在無約束條件下的極值和對應的極值點。

F\left(x,y,\lambda \right)

=

f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right)

新方程 $F(x,y,\lambda )$ 在達到極值時與 $f(x,y)$ 相等。因為 $F(x,y,\lambda )$ 達到極值時 $\nabla F(x,y,\lambda )=0$ ，而 ${\frac {\partial F}{\partial \lambda }}=g\left(x,y\right)-c$ ，也就是說 $g(x,y)-c$ 等於零。