超级简单KKT条件

由拉格朗日可知,当我们优化有约束问题的时候，我们看最简单的例子，只有一个g(x)的时候，我们要优化的是 $L = f(x) + \alpha *g(x) ,g(x) \geq 0$

第一种情况

如下图所示

那么很简单，我们的可行域就在g的右边，而右边的f恰好有极值,即

f'(x)=0

，那么对f求导就得到最优解了，所以这个问题就退化成了无约束问题

第二种情况

image.png

为了方便解释，我拿了一张二维图。现在我们的约束是红色的圆，蓝色的是我们优化的目标。w的点被红色的圆圈约束住了，所以w就只能沿着红色圆的切线方向移动。可以想象一下，w是个圆环，套在红色的大圆环，那么他是不是只能沿着红色圆的切线移动？那么再想象一下，在蓝色的圆心有一个引力一样的东西，吸引着w。有引力怎么办，肯定要运动啊。而且w本身自己也是有速度的，所以w就把自己的速度分解成两个分量，一个是指向蓝色圆心的分量，一个是沿着蓝色分量的切线。什么时候这种优化才会停止呢？就是当红色切线的分量和蓝色的切线的分量相抵消的时候。也就是

f'(x)=-g'(x)

,然后这是最终的状态，在中间的过程中我们可以用

sign(f'(x))=sign(-g'(x))

，也就是

f(x) = -\alpha g(x)

那么现在把两种情况合成一个式子，就是 $f'(x)+ \alpha g'(x) ,\alpha \geq0$ ,当 $\alpha =0$ 时， $f(x) = 0$ ，即第一种情况。但是 $\alpha$ 不能小于0，因为如果这样做，会导致第二个式子不成立。所以这就是KKT中最难理解的为什么 $\alpha >=0$ 的原因了。

https://www.cnblogs.com/ooon/p/5721119.html