Distribució conjugada

Distribució conjugada

En la teoria de la probabilitat bayesiana, si la distribució posterior ${\displaystyle p(\theta \mid x)}$ es troba a la mateixa família de distribució de probabilitat que la distribució de probabilitat anterior ${\displaystyle p(\theta )}$, l'anterior i el posterior s'anomenen distribucions conjugades, i l'anterior s'anomena a priori conjugat per a la funció de versemblança ${\displaystyle p(x\mid \theta )}$.^[1]

Un a priori conjugat és una conveniència algebraica, que dóna una expressió de forma tancada per a la posterior; en cas contrari, pot ser necessària la integració numèrica. A més, els priors conjugats poden donar intuïció mostrant de manera més transparent com una funció de probabilitat actualitza una distribució prèvia.^[2]

El concepte, així com el terme "conjugat anterior", van ser introduïts per Howard Raiffa i Robert Schlaifer en el seu treball sobre la teoria de la decisió bayesiana.^[3] Un concepte similar havia estat descobert independentment per George Alfred Barnard.

Exemple

La forma del prior conjugat es pot determinar generalment mitjançant la inspecció de la densitat de probabilitat o la funció de massa de probabilitat d'una distribució. Per exemple, considerem una variable aleatòria que consisteix en el nombre d'èxits ${\displaystyle s}$ en ${\displaystyle n}$ Assajos de Bernoulli amb probabilitat d'èxit desconeguda ${\displaystyle q}$ en [0,1]. Aquesta variable aleatòria seguirà la distribució binomial, amb una funció de massa de probabilitat de la forma

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

L'a priori conjugat habitual és la distribució beta amb paràmetres (${\displaystyle \alpha }$, ${\displaystyle \beta }$):

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

on ${\displaystyle \alpha }$ i ${\displaystyle \beta }$ es trien per reflectir qualsevol creença o informació existent (${\displaystyle \alpha =1}$ i ${\displaystyle \beta =1}$ donaria una distribució uniforme) i ${\displaystyle \mathrm {B} (\alpha ,\beta )}$ és la funció Beta que actua com a constant normalitzadora.

En aquest context, ${\displaystyle \alpha }$ i ${\displaystyle \beta }$ s'anomenen hiperparàmetres (paràmetres de l'anterior), per distingir-los dels paràmetres del model subjacent (aquí ${\displaystyle q}$). Una característica típica dels priors conjugats és que la dimensionalitat dels hiperparàmetres és un més gran que la dels paràmetres de la distribució original. Si tots els paràmetres són valors escalars, hi haurà un hiperparàmetre més que un paràmetre; però això també s'aplica als paràmetres de valors vectorials i matricials. (Vegeu l'article general sobre la família exponencial, i també considereu la distribució de Wishart, anterior conjugada de la matriu de covariància d'una distribució normal multivariada, per exemple on hi ha una gran dimensionalitat).

Taula de distribucions conjugades

Sigui n el nombre d'observacions. En tots els casos següents, se suposa que les dades consten de n punts ${\displaystyle x_{1},\ldots ,x_{n}}$ (que seran vectors aleatoris en els casos multivariants).

Si la funció de versemblança pertany a la família exponencial, llavors existeix un a priori conjugat, sovint també a la família exponencial; vegeu Família exponencial: distribucions conjugues.

Quan la funció de versemblança és una distribució discreta

Confiança	Paràmetres	Distribució conjugada	Hiperparàmetres anteriors	Hiperparàmetres posteriors
Bernoulli	p (probabilitat)	Beta	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$
Binomial amb nombre conegut d'intents, m	p (probabilitat)	Beta	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$
Negative binomial amb nombre conegut de fallides, r	p (probabilitat)	Beta	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!}$
Poisson	λ (ràtio)	Gamma	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$
			${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$
Categorical	p (vector probabilitat), k (nombre de categories)	Dirichlet	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$ on ${\displaystyle c_{i}}$ és el nombre d'obserbacions en categoria i
Multinomial	p (vector probabilitat), k (nombre de categories)	Dirichlet	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$
Hypergeometric amb mostres totals conegudes, N	M (nombre de blancs)	Beta-binomial	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$
Geometric	p0 (probabilitat)	Beta	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$

Referències