Mischverteilung

Der Begriff Mischverteilung oder zusammengesetzte Verteilung stammt aus der Wahrscheinlichkeitsrechnung. Es handelt sich dabei um eine Wahrscheinlichkeitsverteilung, die ein gewichtetes Mittel von mehreren Wahrscheinlichkeitsverteilungen ist. Das heißt zum Beispiel seien ${\displaystyle f_{X_{1}},\dots ,f_{X_{n}}}$ die Wahrscheinlichkeitsdichten von ${\displaystyle n}$ verschiedenen Verteilungen, dann ist die Dichte der Mischverteilung von der Form

${\displaystyle f_{X}=a_{1}f_{X_{1}}+\cdots +a_{n}f_{X_{n}}}$

wobei ${\displaystyle a_{1},\cdots ,a_{n}}$ normalisierte Gewichte sind. Dadurch entsteht eine Mischung ${\displaystyle X}$ von Zufallsgrößen ${\displaystyle X_{1},\dots ,X_{n}}$ aus mehreren verschiedenen Grundgesamtheiten.

Einführendes Beispiel

Betrachtet man beispielsweise das Merkmal Körpergröße bei Kleinkindern (erste Grundgesamtheit) und Erwachsenen (zweite Grundgesamtheit), ist dieses Merkmal innerhalb jeder einzelnen Grundgesamtheit meist annähernd normalverteilt, wobei der Mittelwert für die Kleinkinder deutlich niedriger liegen dürfte als für die Erwachsenen. Die Mischverteilung ist nun die Verteilung der Körpergröße, wenn man die beiden Grundgesamtheiten Kleinkinder und Erwachsene nicht einzeln, sondern gemeinsam betrachtet, also die Verteilung der Körpergröße einer Person, von der man nicht weiß, ob sie Kleinkind oder Erwachsener ist.

Mathematisch handelt es sich in diesem Beispiel bei der Körpergröße der Kleinkinder um eine Zufallsgröße ${\displaystyle X_{1}}$ aus der einen Grundgesamtheit ${\displaystyle G_{1}}$ und bei der Körpergröße der Erwachsenen um eine andere Zufallsgröße ${\displaystyle X_{2}}$ aus der anderen Grundgesamtheit ${\displaystyle G_{2}}$. Die Mischung dieser beiden Zufallsgrößen ist eine weitere Zufallsgröße ${\displaystyle X}$, die mit einer gewissen Wahrscheinlichkeit ${\displaystyle a_{1}}$ als ${\displaystyle X_{1}}$ der ersten Grundgesamtheit ${\displaystyle G_{1}}$ bzw. mit Wahrscheinlichkeit ${\displaystyle a_{2}}$ als ${\displaystyle X_{2}}$ der anderen Grundgesamtheit ${\displaystyle G_{2}}$ entstammt. Da nur diese beiden Grundgesamtheiten zur Auswahl stehen, muss ${\displaystyle a_{1}+a_{2}=1}$ gelten. Die Wahrscheinlichkeiten ${\displaystyle a_{1}}$ und ${\displaystyle a_{2}}$ lassen sich auch als relative Anteile der Grundgesamtheiten ${\displaystyle G_{1}}$ und ${\displaystyle G_{2}}$ an der gemeinsamen Grundgesamtheit interpretieren, bezogen auf das Beispiel also als Anteil der Kleinkinder beziehungsweise der Erwachsenen an der Gesamtstichprobe. Die Verteilung von ${\displaystyle X}$ bestimmt sich über das Gesetz der totalen Wahrscheinlichkeit zu

${\displaystyle {\begin{alignedat}{2}&P(X\leq x)&{}={}&P(X\leq x|X{\text{ aus }}G_{1})\cdot a_{1}+P(X\leq x|X{\text{ aus }}G_{2})\cdot a_{2}\\&&{}={}&P(X\leq x|X=X_{1})\cdot a_{1}+P(X\leq x|X=X_{2})\cdot a_{2}\\&&{}={}&P(X_{1}\leq x)\cdot a_{1}+P(X_{2}\leq x)\cdot a_{2}{\text{;}}\end{alignedat}}}$

Wenn ${\displaystyle X_{1}}$ und ${\displaystyle X_{2}}$ Verteilungsfunktionen ${\displaystyle F_{1}}$ und ${\displaystyle F_{2}}$ haben, lautet die Verteilungsfunktion ${\displaystyle F}$ von ${\displaystyle X}$ also

${\displaystyle F(x)=F_{1}(x)\cdot a_{1}+F_{2}(x)\cdot a_{2}}$.

Definition

Stetiger Fall

Lässt sich die Dichtefunktion einer stetigen Zufallsvariablen ${\displaystyle X}$ als

${\displaystyle f(x)=\sum _{k=1}^{K}a_{k}f_{k}(x)}$

schreiben, so sagt man, dass ${\displaystyle X}$ einer Mischverteilung folgt. Dabei sind die ${\displaystyle f_{k}(x)}$ Dichtefunktionen von stetigen Zufallsvariablen ${\displaystyle X_{k}}$ und die ${\displaystyle a_{k}}$ Wahrscheinlichkeiten mit

${\displaystyle \sum _{k=1}^{K}a_{k}=1}$.

${\displaystyle f}$ ist also eine Konvexkombination der Dichten ${\displaystyle f_{1},\ldots ,f_{K}}$.

Man kann leicht zeigen, dass unter diesen Bedingungen ${\displaystyle f}$ nichtnegativ ist und die Normierungseigenschaft

${\displaystyle \int _{-\infty }^{\infty }f(x)\,\mathrm {d} x=1}$

erfüllt ist.

Entsprechend ergibt sich die Wahrscheinlichkeitsfunktion einer diskreten Mischverteilung als

${\displaystyle \rho (x_{i})=\sum _{k=1}^{K}a_{k}\rho _{k}(x_{i})}$

aus den Wahrscheinlichkeitsfunktionen ${\displaystyle \rho _{k}}$ von diskreten Zufallsvariablen ${\displaystyle X_{k}}$.

Eigenschaften

Für die Momente von ${\displaystyle X}$ gilt:

${\displaystyle \operatorname {E} (X^{p})=\sum _{k=1}^{K}a_{k}\,\operatorname {E} (X_{k}^{p}),~p\in \{1,2,3,\dotsc \}.}$

Dies folgt (im stetigen Fall) aus

${\displaystyle \operatorname {E} (X^{p})=\int _{-\infty }^{\infty }x^{p}f(x)\,\mathrm {d} x=\int _{-\infty }^{\infty }x^{p}\left(\sum _{k=1}^{K}a_{k}f_{k}(x)\right)\,\mathrm {d} x=\sum _{k=1}^{K}a_{k}\left(\int _{-\infty }^{\infty }x^{p}f_{k}(x)\,\mathrm {d} x\right).}$

Eine analoge Rechnung ergibt die Formel für den diskreten Fall.

Häufiger Spezialfall: Gaußsche Mischmodelle

Ein häufiger Spezialfall von Mischverteilungen sind sogenannte Gaußsche Mischmodelle (gaussian mixture models, kurz: GMMs). Dabei sind die Dichtefunktionen ${\displaystyle f_{1},\ldots ,f_{K}}$ die der Normalverteilung mit potenziell verschiedenen Mittelwerten ${\displaystyle \mu _{1},\ldots ,\mu _{K}}$ und Standardabweichungen ${\displaystyle \sigma _{1},\ldots ,\sigma _{K}}$ (beziehungsweise Mittelwertvektoren und Kovarianzmatrizen im ${\displaystyle d}$-dimensionalen Fall). Es gilt also

${\displaystyle f_{k}(x)={\mathcal {N}}\left(\mu _{k},\Sigma _{k}\right)(x)={\frac {1}{\left(2\pi \right)^{\frac {d}{2}}|\Sigma _{k}|^{\frac {1}{2}}}}\exp \left(-{\frac {1}{2}}(x-\mu _{k})\Sigma _{k}^{-1}(x-\mu _{k})\right)}$

und die Dichte ${\displaystyle f}$ der Mischverteilung hat die Form

${\displaystyle f(x)=\sum _{k=1}^{K}a_{k}f_{k}(x)=\sum _{k=1}^{K}{\frac {a_{k}}{\left(2\pi \right)^{\frac {d}{2}}|\Sigma _{k}|^{\frac {1}{2}}}}\exp \left(-{\frac {1}{2}}(x-\mu _{k})\Sigma _{k}^{-1}(x-\mu _{k})\right)}$.

Parameterschätzung

Schätzer für die Parameter von Wahrscheinlichkeitsverteilungen werden häufig mit dem Maximum-Likelihood-Verfahren hergeleitet. Im Falle von Mischverteilungen ergeben sich dabei allerdings meist Gleichungen, deren Lösungen sich nicht algebraisch angeben lassen und daher numerisch bestimmt werden müssen^[2]. Ein typisches Verfahren dazu ist der Expectation-Maximization-Algorithmus (EM-Algorithmus), der beginnend bei initialen Werten für die Parameter eine Folge von immer besseren Schätzwerten erzeugt, die sich in vielen Fällen den realen Parametern annähern.

Beispiel

Ein Forellenzüchter verkauft Forellen in großen Mengen. Es wird im Herbst beim Leeren der Teiche eine Bestandsaufnahme gemacht. Dabei werden die herausgefischten Forellen gewogen. Es ergibt sich die Verteilung des Gewichts, wie in der Grafik zu ersehen ist. Die Zweigipfligkeit der Verteilung deutet auf eine Mischverteilung hin. Es stellt sich heraus, dass die Forellen aus zwei verschiedenen Teichen stammen. Die Forellengewichte aus dem ersten Teich sind normalverteilt mit dem Erwartungswert 400 g und der Varianz 4900 g² und die aus dem zweiten Teich mit dem Erwartungswert 600 g und der Varianz 8100 g². Aus dem ersten Teich stammen 40 % der Forellen, aus dem zweiten 60 %. Es ergibt sich die Dichtefunktion ${\displaystyle f(x)=0{,}4\cdot {\frac {1}{70\cdot {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-400}{70}}\right)^{2}}+0{,}6\cdot {\frac {1}{90\cdot {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-600}{90}}\right)^{2}}}$ (siehe Abbildung).

Literatur

• Mischverteilung (zusammengesetzte Verteilung). In: P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 263–265. 

Siehe auch

• Satz von Bayes
• Diskriminanzanalyse
• Kontaminierte Normalverteilung

Einzelnachweise

1. ↑ Fraley,Ch., Raftery, A.: 'MCLUST; Version 3 for R: Normal Mixture Modeling and Model-Based Clustering' (Memento vom 24. September 2015 im Internet Archive)
2. ↑ Ghojogh, Benyamin Ghojogh, Aydin Crowley, Mark Karray, Fakhri: Fitting A Mixture Distribution to Data: Tutorial. 20. Januar 2019, arxiv:1901.06708 (englisch).