拉格朗日乘子法及其对偶问题和KKT条件

如何理解拉格朗日乘子法？

https://blog.csdn.net/lijil168/article/details/69395023
http://www.math.ubc.ca/~israel/m340/kkt2.pdf
http://www2.imm.dtu.dk/courses/02711/lecture3.pdf
http://www.onmyphd.com/?p=kkt.karush.kuhn.tucker

在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。
一般情况下，最优化问题会碰到一下三种情况：
（1）无约束条件
这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。
（2）等式约束条件
使用拉格朗日乘子法。
当 $K$ 个等式约束， $h_k(x)=0,\; k=1,2,...,K$ 时，求 $f(x)$ 的最优解。——这就是原问题
等价表达式为：
$Opt\; f(x)$
$s.t. \;h_k(x)=0,\; k=1,2,...,K$
——这就是原问题
其中， $Opt$ 表示最优化，可能是最小化min，或最大化max； $s.t.$ 表示subject to ，“受限于”的意思； $f(x)$ 为目标函数（不是原问题，不是原函数）； $h_k(x)$ 是约束项。写成约束的形式更专业，但是还是题目描述的好理解。

拉格朗日乘子法定义：对于目标函数 $f(x)$ 以及 $K$ 个约束条件 $h_k(x)$ ，拉格朗日乘子法为每个约束条件添加一个“乘子” $λ_k$ ：
（1）如果对目标函数求最小化即
$min\; f(x)$
$s.t. \;h_k(x)=0,\; k=1,2,...,K$
那么得到拉格朗日函数：
$F(x,λ)=f(x)+\sum_{k=1}^Kλ_kh_k(x);\qquad (1)$
其中 $λ_k\geq 0,\; k=1,2,...,K$

（2）如果对目标函数求最大化即
$max\; f(x)$
$s.t. \;h_k(x)=0,\; k=1,2,...,K$
那么得到拉格朗日函数：
$F(x,λ)=f(x)+\sum_{k=1}^Kλ_kh_k(x);\qquad (2)$
其中 $λ_k\leq 0,\; k=1,2,...,K$

上面两种情况是可以通过对 $f(x)$ 和 $λ$ 取负互相转换。下面只就第（1）种情况进行讨论。
$\min\limits_{x}\;f(x) \;with \; s.t.$

上面两种情况用拉格朗日乘子法对偶问题来解释。
对于第一种情况，如果对目标函数求最小化即 $f(x)$ 是凹函数，那么对 $\min\limits_{x}\;f(x) \;with \; s.t.$ 求最小值等同于 $\min\limits_{x}\;F(x,λ)$ ，而 $\min\limits_{x}\;F(x,λ)$ 可分为两部分，第一部分即目标函数 $f(x)$ ，第二部分为带有“乘子” $λ$ 的约束部分；容易看出第一部分不包含 $λ$ ，所以 $\min\limits_{x}F(x,λ)$ 也可以分成两部分优化:
$\min\limits_{x} F(x,λ)=\min\limits_{x}\Bigl(f(x)+\min\limits_{x}\bigl(\sum_{k=1}^Kλ_kh_k(x)\bigr)\Bigr)$

$\min\limits_{x} \max\limits_{λ} F(x,λ)=\min\limits_{x}\Bigl(f(x)+\max\limits_{λ}\bigl(\sum_{k=1}^Kλ_kh_k(x)\bigr)\Bigr)$

$\frac{\partial F(x)}{\partial x}=0,\qquad (1)$

基于公式(1)，可以用 $λ_k$ 来表示 $x$ ，那么拉格朗日函数 $F(x)$ 就变成了一个关于 $λ$ 的函数，记为： $F(λ)$ ——该函数就是拉格朗日函数的对偶函数。所谓对偶函数就是求拉格朗日函数的最优解 $x^*$ 等价于求对偶函数的最优解 $λ_k^*$ ，求得 $λ_k^*$ 之后基于公式(1)，就可以求得 $x^*$ 。

对对偶函数求最优解，也是对 $λ_k$ 求偏导，并令其为0：
$\frac{\partial F(λ)}{\partial λ_1}=0,\qquad (2)$
$\frac{\partial F(λ)}{\partial λ_ 2}=0,\qquad (3)$
...
$\frac{\partial F(λ)}{\partial λ_K}=0,\qquad (K+1)$
最终我们可以得到对偶函数的 $K$ 个最优解 $λ_k^*$ ，进而得到拉格朗日函数的最优解 $x^*$ ，再将 $x^*$ 带入目标函数 $f(x^*)$ 即可得到 $f(x)$ 的最优解。

由求带约束的目标函数的最优解 $\to$ 求拉格朗日函数的最优解 $\to$ 求拉格朗日函数的对偶函数的最优解，再将最优解回溯回去。

练一练：已知 $x^2+y^2=1$ ，求 $(x+1)(y+2)$ 的最大值？
上面的问题，可以写成
$f(x,y)=max\; (x+1)(y+2)$
$s.t.\;h(x)=x^2+y^2-1=0$

思路：基本不等式、三角换元都太麻烦。用拉格朗日乘子法（也叫拉格朗日乘数法）来解决。
将等式约束下的目标函数转化成拉格朗日函数：
$F(x,y,λ)=(x+1)(y+2)+λ[x^2+y^2-1]$
这里只有一个约束项。
要求解 $F(x)$ 的最优解，即对 $F(x,y)$ 求偏导，并使结果为0：
$\frac{ \partial F(x,y,λ)}{\partial x}=(y+2)+2λx=0;$
$\frac{\partial F(x,y,λ)}{\partial y}=(x+1)+2λy=0;$
$\frac{\partial F(x,y,λ )}{\partial λ}=x^2+y^2-1=0 ;$
可以求得 $x=0.817,y=0.576,λ=-1.5765$
也就是说当 $x=0.817,y=0.576$ 时，目标函数 $(x+1)(y+2)$ 取得最大值，即 $(0.817+1)(0.576+2)=4.68$
利用GeoGebra 软件进行验证，如图所示：

（3）不等式约束条件
当 $L$ 个不等式约束， $g_l(x) \leq 0,\; l=1,2,...,L$ 时，求 $f(x)$ 的最小值。
等价表达式为：
$min \; f(x)$
$s.t. \; g_l(x) \leq 0,\; l=1,2,...,L$
采用拉格朗日乘子法会为每一个不等式约束分配一个“乘子” $μ_l,\; l=1,2,...,L$ ，于是有拉格朗日函数：
$F(x,μ)=f(x)+\sum_{l=1}^Lμ_lg_l(x)$
其中不等式约束的“乘子”” $μ_l \leq 0$ 。

KKT条件是说， $F(x,μ)$ 的最优解 $x^*$ 一定同时满足如下条件：
$\begin{cases} \frac{\partial F(x,μ)}{\partial x}|_{x*}=0;& (4) \\ g_l(x^*) \leq 0;& (5)\\ μ_l^*g_l(x^*)=0,l=1,2,...,L ; & (6)\\ μ_l^* \leq 0;& (7)\end{cases}$
要同时满足第6、7个条件，那么就是要么 $μ_l^*=0$ ，要么 $g_l(x^*)=0$ ，或 $μ_l^*$ 和 $g_l(x^*)$ 都为0——这就是KKT所带来的重要结论。

练一练：
$min \; x_1^2-6x_1+9+x_2^2+2x_2+1$
$s.t. \; x_1-x_2 \geq 1;$
$\qquad x_1+x_2 \leq 2.$
1、将上面的约束项变形如下：
$s.t. \; 1-x_1+x_2 \leq 0;$
$\qquad x_1+x_2-2 \leq 0.$
2、拉格朗日函数为：
$F(x_1,x_2)=x_1^2-6x_1+9+x_2^2+2x_2+1+μ_1*(1-x_1+x_2)+μ_2*(x_1+x_2-2)$

最优化拉格朗日函数
对 $x_1$ 求偏导：
$\frac{\partial F(x_1,x_2)}{\partial x_1}=2x_1-6-μ_1+μ_2=0$
那么 $x_1=\frac{μ_2-μ_1+6}{2}$
对 $x_2$ 求偏导：
$\frac{\partial F(x_1,x_2)}{\partial x_2}=2x_2+2 +μ_1+μ_2=0$
那么 $x_2=\frac{-μ_1-μ_2-2}{2}$
将 $x_1,x_2$ 带入到 $F(x_1,x_2)$ 中得到的是之关于 $μ_1,μ_2$ 的函数 $F(μ_1,μ_2)$ ，该函数是 $F(x_1,x_2)$ 的对偶函数。

（4）既有等式约束条件又有不等式约束条件
使用拉格朗日乘子法结合KKT条件。
当 $K$ 个等式约束， $h_k(x)=0,\; k=1,2,...,K$ ； $L$ 个不等式约束， $g_l(x) \leq 0,\; l=1,2,...,L$ 时，求 $f(x)$ 的最小值。
等价表达式为：
$min \; f(x)$
$s.t. \;h_k(x)=0,\; k=1,2,...,K$
$\qquad g_l(x) \leq 0,\; l=1,2,...,L$
采用拉格朗日乘子法会为每一个等式约束分配一个“乘子” $λ_k,\; k=1,2,...,K$ ，也为每一个不等式约束分配一个“乘子” $μ_l,\; l=1,2,...,L$ ，于是有拉格朗日函数：
$F(x,λ,μ)=f(x)+\sum_{k=1}^Kλ_kh_k(x)+\sum_{l=1}^Lμ_lg_l(x)$
其中等式约束的“乘子”” $λ_k \neq 0$ ;不等式约束的“乘子” $μ_l \leq 0$ 。

KKT条件是说， $F(x,λ,μ)$ 的最优解 $x^*$ 一定满足如下条件：
$\frac{\partial F(x,λ,μ)}{ \partial x}|_{x^*}=0;\qquad\qquad (1)$
$λ_k \neq 0;\qquad \qquad \qquad \quad \qquad \;(2)$
$μ_l \leq 0;\qquad \qquad \quad \qquad\qquad \;(3)$
$h_k(x^*)=0,k=1,2,...,K ;\;\; (4)$
$μ_lg_l(x^*)=0,l=1,2,...,L ; \;(5)$
$g_l(x^*) \leq 0,\qquad \qquad \qquad\quad \;\;(6)$

最后编辑于：2021.11.08 07:56:53

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,053评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,527评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,779评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,685评论 1赞 276
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,699评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,609评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,989评论 3赞 396
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,654评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,890评论 1赞 298
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,634评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,716评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,394评论 4赞 319
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,976评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,950评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,191评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,849评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,458评论 2赞 342

拉格朗日乘子法及其对偶问题和KKT条件

推荐阅读更多精彩内容