琴生不等式(Jensen's Inequality)
琴生不等式标准形式:
设$ f:I\rightarrow R $是定义在区间$ I\subseteq R $上的下凸函数,$ x_1,x_2,\cdots ,x_n\in I,\lambda_1,\lambda_2,\cdots ,\lambda_n\geq 0,且\sum^{n}_{i=1} \lambda_i=1 $

则
$ f(\sum^{n}{i=1} \lambda_ix_i)\leq \sum^{n}{i=1} \lambda_if(x_i) $
当且仅当$ x_1=x_2=\cdots =x_n $是等号成立
使用数学归纳法证明:
当n=1时
左边:$ f(\lambda_1x_1)=f(x_1) $
右边:$ \lambda_1f(x_1)=f(x_1) $
左右相等,不等式成立
当n=2时
左边:$ f(\lambda x_1+(1-\lambda)x_2) $
右边:$ \lambda f(x_1)+(1-\lambda)f(x_2) $
这正是下凸函数定义
$ f(\lambda x_1+(1-\lambda)x_2)\leq \lambda f(x_1)+(1-\lambda)f(x_2) $
故不等式成立
现假设对n=k成立,证明对n=k+1成立
当n=k时,有
$ f(\sum^{n}{i=1} \lambda_ix_i)\leq \sum^{n}{i=1} \lambda_if(x_i) $
当n=k+1时
①当某个$ \lambda_i=1 $时,则其余$ \lambda $都为0
比如$ \lambda_{k+1}=1 $
$ f(x_{k+1})\leq f(x_{k+1}) $成立
②所有$ \lambda_i<1 $,特别地,$ \lambda_{k+1}<1 $
令$ \mu =\sum^{k}{i=1}=1-\lambda{k+1} $
定义新的归一化权重
$ \alpha_i=\frac{\lambda_i}{\mu},i=1,2,\cdots ,k $
则$ \sum^{k}_{i=1} \alpha_i=1,且\alpha_i\geq 0 $
于是
$ \sum^{k+1}{i=1} \lambda_ix_i=\mu (\sum^{k}{i=1} \alpha_ix_i)+\lambda_{k+1}x_{k+1} $
记
$ y=\sum^{k}_{i=1} \alpha_ix_i $
则原式左边为:
$ f(\mu y+\lambda_{k+1}x_{k+1}) $
由于$ f $是凸函数,且$ \mu +\lambda_{k+1}=1 $,由$ n=2 $的情形得:
$ f(\mu y+\lambda_{k+1}x_{k+1})\geq \mu f(y)+\lambda_{k+1}f(x_{k+1}) $
再有归纳假设,因为$ y=\sum^{k}_{i=1} \alpha_ix_i $,所以:
$ f(y)\leq \sum^{k}_{i=1} \alpha_if(x_i) $
就有
$ \mu f(y)+\lambda_{k+1}f(x_{k+1})\leq \mu \sum^{k}{i=1} \alpha_if(x_i)+\lambda{k+1}f(x_{k+1}) $
根据不等式的性质,可得
$ f(\mu y+\lambda_{k+1}x_{k+1})\leq \mu \sum^{k}{i=1} \alpha_if(x_i)+\lambda{k+1}f(x_{k+1}) $
等价于
$ f(\sum^{k+1}{i=1} \lambda_ix_i)\leq \sum^{k+1}{i=1} \lambda_if(x_i) $
得证
同理可得当$ f $为凹函数的情况
设$ f:I\rightarrow R $是定义在区间$ I\subseteq R $上的凹函数,$ x_1,x_2,\cdots ,x_n\in I,\lambda_1,\lambda_2,\cdots ,\lambda_n\geq 0,且\sum^{n}_{i=1} \lambda_i=1 $
则
$ f(\sum^{n}{i=1} \lambda_ix_i)\geq \sum^{n}{i=1} \lambda_if(x_i) $
原文链接:
https://www.yuque.com/fragrantveget/hylc88/wuidiulofdgry7g5?singleDoc# 《琴生不等式(Jensen’s Inequality)》