Jensen-egyenlőtlenség

A Jensen-egyenlőtlenség elegáns közös kiterjesztését adja számos matematikai egyenlőtlenségnek.

Ha egy véges vagy végtelen ${\displaystyle I}$ intervallumon az ${\displaystyle f}$ függvény konvex, ${\displaystyle a_{1},\dots ,a_{n}\in I}$, valamint ${\displaystyle p_{1},\dots ,p_{n}}$ nem negatív számok, amelyekre teljesül a ${\displaystyle p_{1}+\cdots +p_{n}=1}$ összefüggés, akkor

${\displaystyle f(p_{1}a_{1}+\cdots +p_{n}a_{n})\leq p_{1}f(a_{1})+\cdots +p_{n}f(a_{n})}$.

Ha f szigorúan konvex, akkor egyenlőség csakis az ${\displaystyle a_{1}=a_{2}=\dots =a_{n}}$ esetben teljesül.

Ha f konkáv, akkor az állítás fordított irányú egyenlőtlenséggel teljesül, azaz:

Például az ${\displaystyle f(x)=x^{2}}$ függvény szigorúan konvex a valós számok halmazán, így ha ${\displaystyle a_{1},\dots ,a_{n}}$ tetszőleges, ${\displaystyle p_{1}=\cdots =p_{n}={\frac {1}{n}}}$, akkor

${\displaystyle \left({\frac {a_{1}+\cdots +a_{n}}{n}}\right)^{2}\leq {\frac {a_{1}^{2}+\cdots +a_{n}^{2}}{n}}}$,

ami éppen a számtani és négyzetes közép közötti egyenlőtlenség. Egyenlőség akkor és csak akkor áll fenn, ha ${\displaystyle a_{1}=\cdots =a_{n}.}$

Hasonlóképpen a konkáv x ${\displaystyle \mapsto }$ log x függvényt használva azt kapjuk, hogy bármely pozitív ${\displaystyle a_{1},\dots ,a_{n}}$ számokra

${\displaystyle \log \left({\frac {a_{1}+\cdots +a_{n}}{n}}\right)\geq {\frac {\log a_{1}+\cdots +\log a_{n}}{n}}}$.

Mivel a jobb oldal ${\displaystyle {\sqrt[{n}]{a_{1}\cdots a_{n}}}}$ logaritmusa, a számtani és mértani közép közötti egyenlőtlenséget kapjuk.

Jensen egyenlőtlensége

A matematikában Jensen egyenlőtlensége, amit a dán matematikusról, Johan Jensenről, neveztek el, összefüggésbe hozza egy konvex függvény értékét a konvex függvény integráljával. Ezt 1906-ban bizonyította Jensen. Az általánosságára tekintettel az egyenlőtlenség megjelenik sok alakban, ami a kontextustól függ (és amiknek egy része az alábbiakban kerül bemutatásra).

Az egyenlet véges képlete volt a logója a Matematikai Tudományok Intézetének a Koppenhágai Egyetemen 2006-ig.

Állítások

Jensen egyenlőtlenségének klasszikus képlete magába foglal különféle számokat és súlyokat. Az egyenlőtlenséget ki lehet fejezni eléggé általánosságban használva a mértékelméletet vagy egyenértékű valószínűségszerű jelölést. Ebben a valószínűség szerinti felállításban az egyenlőtlenséget tovább lehet általánosítani a teljes érvényességéig.

A véges képlet

Ha egy φ függvény konvex egy ${\displaystyle I\subseteq \mathbb {R} }$ valós intervallumon, ahol ${\displaystyle x_{i}}$-k ezen intervallum elemei és ${\displaystyle a_{i}}$-k a súlyok, Jensen egyenlőtlenségét ki lehet fejezni a következő formában:

${\displaystyle \varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\leq {\frac {\sum a_{i}\varphi (x_{i})}{\sum a_{i}}}}$.

Az egyenlőtlenség iránya nyilvánvalóan fordított, ha φ konkáv.

Konkrét eset, ha a súlyok mind egyenlőek 1-gyel, akkor:

${\displaystyle \varphi \left({\frac {\sum x_{i}}{n}}\right)\leq {\frac {\sum \varphi (x_{i})}{n}}}$.

Konkáv log(x) függvény (megjegyzés: használhatjuk Jensen egyenlőtlenséget a függvény konvexitásának vagy konkávitásának bizonyítására, valós intervallumon.) Behelyettesítve ${\displaystyle \scriptstyle \varphi (x)=-\log(x)}$-et az előző képletbe, a számtani és mértani közép közötti egyenlőtlenséget kapjuk:

${\displaystyle {\frac {x_{1}+x_{2}+\cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}x_{2}\cdots x_{n}}}}$.

Ha a változó x egy másik t változó függvénye x_i = g(t_i). Általánosan a következőt kapjuk: a_i–ket felváltja egy nem negatív integrálható f(x)függvény, mint például egy valószínűségi eloszlás, a szummákat pedig integrálok.

Az elméleti mértéktér és a valószínűség szerinti képlet

Legyen (Ω,A,μ) egy mértéktér μ(Ω) = 1. Ha g egy valós értékű függvény, ami μ szerint integrált φ pedig egy mérhető konvex függvény, akkor:

${\displaystyle \varphi \left(\int _{\Omega }g\,d\mu \right)\leq \int _{\Omega }\varphi \circ g\,d\mu .}$

Valószínűségelméletben legyen ${\displaystyle \scriptstyle (\Omega ,{\mathfrak {F}},\mathbb {P} )}$ egy valószínűségtér , X egy integrált valós értékű változó és φ egy mérhető konvex függvény. Akkor:

${\displaystyle \varphi \left(\mathbb {E} \{X\}\right)\leq \mathbb {E} \{\varphi (X)\}.}$

Ekkor a valószínűségelméletben, a mértéknek (μ) megfeleltethető egy valószínűség ${\displaystyle \scriptstyle \mathbb {P} }$ , μ-nek egy várható érték ${\displaystyle \scriptstyle \mathbb {E} }$ , és g a függvénynek egy véletlen változó X.

Általánosan az egyenlőtlenség egy valószínűség szerint

Általánosan legyen T egy valós vektortér, X egy T értékű integrálható véletlen változó. Az integrálhatóság azt jelenti, hogy bármely T elem számára T: ${\displaystyle \scriptstyle \mathbb {E} |\langle z,X\rangle |\,<\,\infty }$ , z eleme T létezik egy ${\displaystyle \scriptstyle \mathbb {E} \{X\}}$ T elem, úgy hogy ${\displaystyle \scriptstyle \langle z,\mathbb {E} \{X\}\rangle \,=\,\mathbb {E} \{\langle z,X\rangle \}}$ . Ekkor minden mérhető konvex φ függvényre és minden σ-algebra-rára ${\displaystyle \scriptstyle {\mathfrak {G}}}$${\displaystyle \scriptstyle {\mathfrak {F}}}$:

${\displaystyle \varphi \left(\mathbb {E} \{X|{\mathfrak {G}}\}\right)\leq \mathbb {E} \{\varphi (X)|{\mathfrak {G}}\}.}$

Ez a kijelentés általánosítja az előzőt, amikor a T vektortér a tengely és ${\displaystyle \scriptstyle {\mathfrak {G}}}$ a triviális σ-algebra ${\displaystyle \scriptstyle \{\varnothing ,\Omega \}}$.

Bizonyítások

A Jensen-egyenlőtlenség grafikus bizonyítása egy lehetséges esetben. A szaggatott görbe az X tengely mentén X feltételezett eloszlása, míg a szaggatott görbe az Y tengely mentén a megfelelő eloszlású Y értékek. Vegyük észre, hogy X egyre növekedő értékei mellett Y(X) egyre jobban növeli az eloszlást.

Jensen egyenlőtlenségének bizonyítása különféle módon történhet, és három különböző fent említett, különböző állításoknak megfelelő bizonyítás ajánlott. Ám mielőtt megkezdenénk ezeket a matematikai bizonyításokat, érdemes elemezni a grafikus bizonyítást a valószínűség szerinti eset alapján, ahol X egy valós szám, (lásd az ábrát). Elfogadva az X értékeknek egy feltételezett eloszlását, azonnal azonosíthatjuk az ${\displaystyle \scriptstyle \mathbb {E} \{X\}}$ és a képe ${\displaystyle \scriptstyle \varphi (\mathbb {E} \{X\})}$ értéket a grafikonon. Észrevehetjük ${\displaystyle \scriptstyle Y\,=\,\varphi (X)}$ a megfelelő értékek eloszlása egyre inkább nő az X növekedő értékeik mellett, és az Y eloszlása szélesebb, az X > X₀ intervallumban, és keskenyebb X <X₀ intervallumban bármilyen X₀ számára; különösen igaz ez ${\displaystyle \scriptstyle X_{0}\,=\,\mathbb {E} \{X\}}$ esetére. Következésképpen beláttuk, hogy Y mindig el fog mozdulni felfelé, tekintettel ${\displaystyle \scriptstyle \varphi (\mathbb {E} \{X\})}$ pozíciójára. Ezzel bebizonyítottuk az egyenlőtlenséget, azaz:

${\displaystyle \mathbb {E} \{Y(X)\}\geq Y(\mathbb {E} \{X\}),}$

Egyenlőség akkor áll fenn, amikor ${\displaystyle \scriptstyle \varphi (X)}$ nem szigorúan konvex, például amikor ez egy egyenes. A bizonyításokat ez az intuitív elképzelés a következőkben fogalmazza meg:

1. bizonyítás (véges képlet)

Ha λ₁ és λ₂ két tetszőleges pozitív valós számok, melyekre λ₁ + λ₂ = 1, akkor ${\displaystyle \scriptstyle \varphi }$ konvexitása miatt:

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}){\text{ minden }}x_{1},\,x_{2}.}$ -re.

Általánosan: ha λ₁ , λ₂ , …, λ_n pozitív valós számok, melyekre λ₁ + … + λ_n = 1, akkor

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),}$

bármennyi x₁ , …, x_n számára. A Jensen-egyenlőtlenségnek ezt a véges képletét teljes indukcióval bizonyíthatjuk be. Ha n = 2 az állítás igaz. Tegyük fel, hogy n-re igaz az állítás, és bizonyítsuk n + 1-re. Ha legalább egy λ_i λ>0 például λ> 1 ; akkor konvexitás miatt:

${\displaystyle \varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)=\varphi \left(\lambda _{1}x_{1}+(1-\lambda _{1})\sum _{i=2}^{n+1}{\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right)\leq \lambda _{1}\,\varphi (x_{1})+(1-\lambda _{1})\varphi \left(\sum _{i=2}^{n+1}\left({\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right)\right).}$

Mivel ${\displaystyle \scriptstyle \sum _{i=2}^{n+1}\lambda _{i}/(1-\lambda _{1})\,=\,1}$ , felhasználva feltevésünket a képlet utolsó kifejezésében megkapjuk az eredményt, név szerint a Jensen-féle véges képletű egyenlőtlenséget.

Azért, hogy megkapjuk az általános egyenlőtlenséget ebből a véges képletből, használjunk egy sűrűségérvet. A véges képletet újra fel lehet írni úgy, mint:

${\displaystyle \varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),}$

ahol μ_n egy mérték, amit a Dirac-delták egy tetszőleges kombinációja ad:

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

Mivel a konvex függvények folytonosak, és mivel a Dirac-delták kombinációi gyengén sűrűek az általános állítást egyszerűen megkapjuk.

2. bizonyítás (elméleti-határ képlet)

Legyen g egy valós értékű μ-integrálható függvény egy Ω mértéktérben, és legyen φ, egy konvex függvény a valós számok halmazán. Határozzuk meg φ jobb oldali deriváltját:

${\displaystyle \varphi ^{\prime }(x):=\lim _{t\to 0^{+}}{\frac {\varphi (x+t)-\varphi (x)}{t}}.}$

Mivel φ konvex, a jobb oldali hányados ahogy a t közelíti a 0-t jobbról, egyre csökken és alulról korlátos.

${\displaystyle {\frac {\varphi (x+t)-\varphi (x)}{t}}}$

Ha t < 0, a határértéke mindig létezik.

Legyen:

${\displaystyle x_{0}:=\int _{\Omega }g\,d\mu ,}$

${\displaystyle a:=\varphi ^{\prime }(x_{0}),}$

${\displaystyle b:=\varphi (x_{0})-x_{0}\varphi ^{\prime }(x_{0}).}$

Akkor minden x -re ax + b ≤ φ(x). Ha x > x₀ , és t = x − x₀ > 0. Akkor,

${\displaystyle \varphi ^{\prime }(x_{0})\leq {\frac {\varphi (x_{0}+t)-\varphi (x_{0})}{t}}.}$

Tehát,

${\displaystyle \varphi ^{\prime }(x_{0})(x-x_{0})+\varphi (x_{0})\leq \varphi (x)}$

ahogyan azt bizonyítani akartuk. x < x₀ esetében hasonlóan bizonyíthatjuk. Ha ax + b = φ(x₀).

φ(x 0 ) akkor átírhatjuk a képletet

${\displaystyle ax_{0}+b=a\left(\int _{\Omega }g\,d\mu \right)+b.}$ - alakúra.

De mivel μ(Ω) = 1, tehát minden valós k számra

${\displaystyle \int _{\Omega }k\,d\mu =k.}$

Így:

${\displaystyle a\left(\int _{\Omega }g\,d\mu \right)+b=\int _{\Omega }(ag+b)\,d\mu \leq \int _{\Omega }\varphi \circ g\,d\mu .}$

3. Bizonyítás (általános egyenlőtlenség egy valószínűség szerint)

Legyen X egy integrálható valószínűségi változó, az értéket egy valós T vektortérből veszi. Mivel ${\displaystyle \scriptstyle \varphi :T\mapsto \mathbb {R} }$ konvex, minden ${\displaystyle x,y\in T}$-re

${\displaystyle {\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},}$

ahogy θ megközelíti a 0⁺ -t, ez az érték csökken. φ deriváltja X szerint az Y irányába:

${\displaystyle (D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.}$

Látható, a differenciál lineáris y-ban van és mivel korábban beláttuk, hogy a jobb oldal infimuma kisebb mint az értéke a θ = 1 –nél.

${\displaystyle \varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.\,}$

Egy tetszőleges sub-σ-algebrára ${\displaystyle \scriptstyle {\mathfrak {G}}}$ az utolsó egyenlőtlenség szerint, ha ${\displaystyle \scriptstyle x\,=\,\mathbb {E} \{X|{\mathfrak {G}}\},\,y=X-\mathbb {E} \{X|{\mathfrak {G}}\}}$ fennáll, akkor

${\displaystyle \varphi (\mathbb {E} \{X|{\mathfrak {G}}\})\leq \varphi (X)-(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot (X-\mathbb {E} \{X|{\mathfrak {G}}\}).}$

Ebből következve megkapjuk az eredményt, mivel:

${\displaystyle \mathbb {E} \{\left[(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot (X-\mathbb {E} \{X|{\mathfrak {G}}\})\right]|{\mathfrak {G}}\}=(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot \mathbb {E} \{\left(X-\mathbb {E} \{X|{\mathfrak {G}}\}\right)|{\mathfrak {G}}\}=0,}$

Alkalmazások és speciális esetek

Képlet, amely magában foglal egy valószínűség szerinti sűrűség függvényt

Tételezzük fel, hogy Ω egy valós sorozat mérhető alhalmaza és f(x) egy nem negatív függvény, melyre:

${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=1.}$

Probabilisztikus nyelvben, f egy valószínűségi sűrűség-függvény.

Jensen egyenlőtlensége a következő állítássá válik:

Bármilyen g valós értékű függvény és φ konvex a g tartománya fölött, akkor

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (g(x))f(x)\,dx.}$

Ha g(x) = x, akkor az egyenlőtlenségnek ez a formája redukálódik egy általában használt speciális esetre:

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (x)\,f(x)\,dx.}$

Alternatív véges képlet

Ha Ω véges halmaz ${\displaystyle \{x_{1},x_{2},\ldots ,x_{n}\}}$ , és ha μ egy megszámlálható mérték az Ω-án, akkor az általános alak redukálódik egy összegekről szóló állításra:

${\displaystyle \varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n}\varphi (g(x_{i}))\lambda _{i},}$

feltéve ha ${\displaystyle \lambda _{1}+\lambda _{2}+\cdots +\lambda _{n}=1,\lambda _{i}\geq 0.}$

Van egy képlet Ω –re is.

Statisztikus fizika

Jensen egyenlőtlensége a statisztikai fizikában különös fontosságú akkor, amikor a konvex függvény exponenciális. Adva van:

${\displaystyle e^{\langle X\rangle }\leq \left\langle e^{X}\right\rangle ,}$

ahol a zárójel a várható értékekre utal tekintettel néhány valószínűségi eloszlásra a véletlenszerű X változóban.

A bizonyítás ebben az esetben nagyon egyszerű (cf. Chandler, Sec. 5.5). A következő egyenlőtlenséget alkalmazva:

${\displaystyle \left\langle e^{X}\right\rangle =e^{\langle X\rangle }\left\langle e^{X-\langle X\rangle }\right\rangle }$

Kapjuk a végső exponenciális egyenlőtlenséget:

${\displaystyle e^{X}\geq 1+X\,}$

Információelmélet

Ha p(x) x valószínűségi változó valódi eloszlás, és q(x) másik eloszlás, akkor Jensen egyenlőtlenségét alkalmazva Y(x) = q(x)/p(x)-re a véletlen változóra, a függvény legyen φ(y) = −log(y) így a Gibbs-egyenlőtlenséget kapjuk.

${\displaystyle \mathbb {E} \{\varphi (Y)\}\geq \varphi (\mathbb {E} \{Y\})}$

${\displaystyle \Rightarrow \int p(x)\log {\frac {p(x)}{q(x)}}dx\geq -\log \int p(x){\frac {q(x)}{p(x)}}dx}$

${\displaystyle \Rightarrow \int p(x)\log {\frac {p(x)}{q(x)}}dx\geq 0}$

${\displaystyle \Rightarrow -\int p(x)\log q(x)\geq -\int p(x)\log p(x),}$

Ez megmutatja, hogy az átlagos üzenethossz minimalizált, amikor kódokat jelölnek ki valódi valószínűségek alapján. Az a nemnegatív mennyiség, (q-nak távolsága p-től) a Kullback–Leibler-távolság.

Rao–Blackwell-tétel

Ha L egy konvex függvény, akkor Jensen egyenlőtlenségéből, megkapjuk, hogy:

${\displaystyle L(\mathbb {E} \{\delta (X)\})\leq \mathbb {E} \{L(\delta (X))\}\quad \Rightarrow \quad \mathbb {E} \{L(\mathbb {E} \{\delta (X)\})\}\leq \mathbb {E} \{L(\delta (X))\}.}$

Tehát ha δ(X) torzítatlan becslés θ paraméterre T(X) egy elégséges statisztika θ-ra, egy kisebb várt veszteség birtokában L, számolás útján elérhető. Megadható olyan L becslés, mely hatásosabb mint δ(X).

${\displaystyle \delta _{1}(X)=\mathbb {E} _{\theta }\{\delta (X')\,|\,T(X')=T(X)\},}$

torzítatlan θ-ra, és X függvénye.

Ezt az eredményt a Rao–Blackwell-tételként ismerik.

Kapcsolódó szócikkek

• Az átlagok törvénye

Források

• Walter Rudin (1987): Valós és komplext elemzés. McGraw-Hill. ISBN 0-07-054234-1
• David Chandler (1987): Bevezetés a modern statisztikus mechanikába. Oxford. ISBN 0-19-504277-8
• Jensen, Johan Ludwig William Valdemar (1906): "Sur les fonctions* convexes* et les inégalités* entre* les valeurs* moyennes*". Acta Mathematica 30: 175-193

További információk

• Eric W Weisstein: Jensen egyenlőtlenség - A matematika világa
• Jensen egyenlőtlensége logóként szolgált a Koppenhágai Egyetem Matematikai Szakosztálya számára.