Benutzer:Sigma^2/Baustelle

Geplante Ergänzungen

1. zum Artikel Stichprobenverteilung
2. zum Artikel Hahn-Jordan-Zerlegung

Bei der bayesianischen Inferenz wird die A-priori-Verteilung, die auf dem Parameterraum eines zu schätzenden Parameters definiert ist, unter Berücksichtigung der Wahrscheinlichkeitsverteilung des Stichprobenvektors ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})} und unter Verwendung eines realisierten und beobachteten Wertes ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})}${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})} des Stichprobenvektors in die A-posteriori-Verteilung transformiert. Dabei ist die A-posteriori-Verteilung proportional zum Produkt aus A-priori-Verteilung und der Likelihoodfunktion. Die Likelihoodfunktion gibt im diskreten Fall die Wahrscheinlichkeit und im stetigen Fall die Wahrscheinlichkeitsdichte des beobachten Wertes ${\displaystyle \mathbf {x} }${\displaystyle \mathbf {x} } für alternative Parameter an und wird als Funktion auf dem Parameterraum interpretiert.

Falls eine suffiziente Stichprobenfunktion (suffiziente Statistik) existiert, kann die Stichprobenverteilung dieser Stichprobenfunktion an die Stelle der Verteilung des Stichprobenvektors treten, ohne dass sich die resultierende A-posteriori-Verteilung ändert.

Die Stichprobenvariablen ${\displaystyle X_{1},\dots ,X_{n}}${\displaystyle X_{1},\dots ,X_{n}} seien stochastisch unabhängig und identisch Bernoulli-verteilt mit unbekanntem Bernoulli-Parameter ${\displaystyle 0<p<1}${\displaystyle 0<p<1}. Die Wahrscheinlichkeitsverteilung des Stichprobenvektors ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})} ist dann

${\displaystyle P_{p}(\mathbf {X} =\mathbf {x} )={\begin{cases}p^{k}(1-p)^{n-k},&{\text{falls }}\mathbf {x} =(x_{1},\dots ,x_{n})\in \{0,1\}^{n}\0円&{\text{sonst}}\end{cases}}\;,}${\displaystyle P_{p}(\mathbf {X} =\mathbf {x} )={\begin{cases}p^{k}(1-p)^{n-k},&{\text{falls }}\mathbf {x} =(x_{1},\dots ,x_{n})\in \{0,1\}^{n}\0円&{\text{sonst}}\end{cases}}\;,}

wobei ${\displaystyle k:=\sum _{i=1}^{n}x_{i}}${\displaystyle k:=\sum _{i=1}^{n}x_{i}}. Wenn ${\displaystyle f_{0}}${\displaystyle f_{0}} die gegebene Dichtefunktion einer A-Priori-Verteilung auf dem Intervall ${\displaystyle (0,1)}${\displaystyle (0,1)} ist und ${\displaystyle \mathbf {x} }${\displaystyle \mathbf {x} } ein relasierter und beobachteter Wert des Suchprobenvektors ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})} ist, dann ist die Dichtefunktion ${\displaystyle f_{1}}${\displaystyle f_{1}} der A-Posteriori-Verteilung proportional zum Produkt aus ${\displaystyle f_{0}}${\displaystyle f_{0}} und der Likelihoodfunktion

${\displaystyle L_{\mathbf {x} }(p):=P_{p}(\mathbf {X} =\mathbf {x} ),\quad 0<p<1\;.}${\displaystyle L_{\mathbf {x} }(p):=P_{p}(\mathbf {X} =\mathbf {x} ),\quad 0<p<1\;.}

Es gilt also

${\displaystyle f_{1}(p;\mathbf {x} )=c\cdot L_{\mathbf {x} }(p)\cdot f_{0}(p),\quad 0<p<1}${\displaystyle f_{1}(p;\mathbf {x} )=c\cdot L_{\mathbf {x} }(p)\cdot f_{0}(p),\quad 0<p<1}.

Die Summe ${\displaystyle K=\sum _{i=1}^{n}X_{i}}${\displaystyle K=\sum _{i=1}^{n}X_{i}} der Stichprobenvariablen ist eine suffiziente Stichprobenfunktion für den Parameter ${\displaystyle p}${\displaystyle p} mit der Stichprobenverteilung

${\displaystyle P_{p}(K=k)={\begin{cases}{\binom {n}{k}}p^{k}(1-p)^{n-k},&{\text{falls }}k\in \{0,1,\dots ,n\}\0円&{\text{sonst}}\end{cases}}}${\displaystyle P_{p}(K=k)={\begin{cases}{\binom {n}{k}}p^{k}(1-p)^{n-k},&{\text{falls }}k\in \{0,1,\dots ,n\}\0円&{\text{sonst}}\end{cases}}}

und der Likelihoodfunktion

${\displaystyle L_{k}(p):=P_{p}(K=k),\quad 0<p<1\;.}${\displaystyle L_{k}(p):=P_{p}(K=k),\quad 0<p<1\;.}

Da sich die Likelihoodfunktionen ${\displaystyle L_{\mathbf {x} }}${\displaystyle L_{\mathbf {x} }} und ${\displaystyle L_{k}}${\displaystyle L_{k}} nur durch einen konstanten Faktor unterscheiden, gilt auch

${\displaystyle f_{1}(p;\mathbf {x} )=c'\cdot L_{k}(p)\cdot f_{0}(p),\quad 0<p<1}${\displaystyle f_{1}(p;\mathbf {x} )=c'\cdot L_{k}(p)\cdot f_{0}(p),\quad 0<p<1}.

Die bayessche Inferenz beruhend auf der Verteilung des Stichprobenvektors und auf der Stichprobenverteilung der suffizienten Stichprobenfunktion führt zur selben A-Posteriori-Verteilung. Zu diesem Beispiel siehe auch Bayessche Statistik#Bayessche Inferenz am Beispiel des Münzwurfes und Suffiziente Statistik#Beispiel Binomialverteilung.

Gegeben sei der signierte Maßraum ${\displaystyle (\Omega ,2^{\Omega },\mu )}${\displaystyle (\Omega ,2^{\Omega },\mu )} mit ${\displaystyle \Omega =\{1,2\}}${\displaystyle \Omega =\{1,2\}} und mit ${\displaystyle \mu (\{1\})=3}${\displaystyle \mu (\{1\})=3} und ${\displaystyle \mu (\{2\})=-4}${\displaystyle \mu (\{2\})=-4}. Es ist ${\displaystyle P=\{1\}}${\displaystyle P=\{1\}} und ${\displaystyle N=\{2\}}${\displaystyle N=\{2\}}.

${\displaystyle \mu }${\displaystyle \mu } ist ein signiertes Maß; ${\displaystyle \mu ^{+},\mu ^{-}}${\displaystyle \mu ^{+},\mu ^{-}} und ${\displaystyle |\mu |}${\displaystyle |\mu |} sind Maße. Die Mengenfunktion ${\displaystyle |\mu (\cdot )|}${\displaystyle |\mu (\cdot )|} ist nicht additiv und darf nicht mit der Totalvariation ${\displaystyle |\mu |(\cdot )}${\displaystyle |\mu |(\cdot )} verwechselt werden. Die Totalvariationsnorm des signierten Maßes ${\displaystyle \mu }${\displaystyle \mu } ist ${\displaystyle |\mu |(\Omega )=7}${\displaystyle |\mu |(\Omega )=7}.

Gegeben seien der Meßraum ${\displaystyle (\Omega ,{\mathcal {F}})}${\displaystyle (\Omega ,{\mathcal {F}})} mit ${\displaystyle \Omega =\{1,2\}}${\displaystyle \Omega =\{1,2\}}, ${\displaystyle {\mathcal {F}}=2^{\Omega }}${\displaystyle {\mathcal {F}}=2^{\Omega }} und die beiden Wahrscheinlichkeitsmaße ${\displaystyle P(\{1\})=1}${\displaystyle P(\{1\})=1} und ${\displaystyle Q(\{2\})=1}${\displaystyle Q(\{2\})=1}.

Der Variationsabstand^[1] zweier Wahrscheinlichkeitsmaße ${\displaystyle P}${\displaystyle P} und ${\displaystyle Q}${\displaystyle Q}, die auf demselben Messraum definiert sind, ist die Totalvariationsnorm des signierten Maßes ${\displaystyle P-Q}${\displaystyle P-Q}

${\displaystyle d_{\mathrm {TV} }(P,Q):=\|P-Q\|_{\mathrm {TV} }=|P-Q|(\Omega )\;.}${\displaystyle d_{\mathrm {TV} }(P,Q):=\|P-Q\|_{\mathrm {TV} }=|P-Q|(\Omega )\;.}

Im Beispiel gilt ${\displaystyle |P-Q|(\Omega )=2}${\displaystyle |P-Q|(\Omega )=2}. Eine ähnliche Distanz ist

${\displaystyle d_{\mathcal {F}}(P,Q):=\sup _{A\in {\mathcal {F}}}|P(A)-Q(A)|}${\displaystyle d_{\mathcal {F}}(P,Q):=\sup _{A\in {\mathcal {F}}}|P(A)-Q(A)|}.

Allgemein gilt für zwei Wahrscheinlichkeitsmaße auf demselben Messraum

${\displaystyle d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q).}${\displaystyle d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q).}

(Quelle?, Beweis?) Im Beispiel ist ${\displaystyle d_{\mathcal {F}}(P,Q)=1}${\displaystyle d_{\mathcal {F}}(P,Q)=1}. Von einigen Autoren wird die Distanz ${\displaystyle d_{\mathcal {F}}(P,Q)}${\displaystyle d_{\mathcal {F}}(P,Q)} als Variationsabstand oder Totalvariationsdistanz bezeichnet, obwohl sich die beiden Distanzen um den Faktor 2 unterscheiden. Daraus ergeben sich Verwechselungen und Inkonsistenzen in der Literatur. (Z. B. Abweichung zwischen englischer und französischer Wikipedia).

Für einen diskreten Messraum ${\displaystyle (\Omega ,2^{\Omega })}${\displaystyle (\Omega ,2^{\Omega })} mit abzählbarem ${\displaystyle \Omega }${\displaystyle \Omega } und zwei Wahrscheinlichkeitsmaße ${\displaystyle P}${\displaystyle P} und ${\displaystyle Q}${\displaystyle Q}, die auf ${\displaystyle (\Omega ,2^{\Omega })}${\displaystyle (\Omega ,2^{\Omega })} definiert sind, gilt

${\displaystyle \sum _{x\in \Omega }|P(\{x\})-Q(\{x\}|=d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)\;.}${\displaystyle \sum _{x\in \Omega }|P(\{x\})-Q(\{x\}|=d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)\;.}

Gegeben seien der Meßraum ${\displaystyle (\Omega ,{\mathcal {F}})}${\displaystyle (\Omega ,{\mathcal {F}})} mit ${\displaystyle \Omega =\{1,2\}}${\displaystyle \Omega =\{1,2\}}, ${\displaystyle {\mathcal {F}}=2^{\Omega }}${\displaystyle {\mathcal {F}}=2^{\Omega }} und die beiden endlichen signierten Maße ${\displaystyle \mu }${\displaystyle \mu } und ${\displaystyle \nu }${\displaystyle \nu } mit ${\displaystyle \nu _{i}=\nu (\{i\})}${\displaystyle \nu _{i}=\nu (\{i\})} und ${\displaystyle \mu _{i}=\mu (\{i\})}${\displaystyle \mu _{i}=\mu (\{i\})} für ${\displaystyle i=1,2}${\displaystyle i=1,2}.

Der Variationsabstand der signierten Maße ${\displaystyle \mu }${\displaystyle \mu } und ${\displaystyle \nu }${\displaystyle \nu } ist

${\displaystyle d_{\mathrm {TV} }(\mu ,\nu ):=\|\mu -\nu \|_{\mathrm {TV} }=|\mu -\nu |(\Omega )=|\mu _{1}-\nu _{1}|+|\mu _{2}-\nu _{2}|\;.}${\displaystyle d_{\mathrm {TV} }(\mu ,\nu ):=\|\mu -\nu \|_{\mathrm {TV} }=|\mu -\nu |(\Omega )=|\mu _{1}-\nu _{1}|+|\mu _{2}-\nu _{2}|\;.}

Für die Distanz ${\displaystyle d_{\mathcal {F}}}${\displaystyle d_{\mathcal {F}}} gilt

${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=\max\{|\mu _{1}-\nu _{1}|,|\mu _{2}-\nu _{2}|,|\mu _{1}-\nu _{1}+\mu _{2}-\nu _{2}|\}\leq d_{\mathrm {TV} }(\mu ,\nu )}${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=\max\{|\mu _{1}-\nu _{1}|,|\mu _{2}-\nu _{2}|,|\mu _{1}-\nu _{1}+\mu _{2}-\nu _{2}|\}\leq d_{\mathrm {TV} }(\mu ,\nu )}.

Die für zwei Wahrscheinlichkeitsmaße gültige Proportionalität

${\displaystyle d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)}${\displaystyle d_{\mathrm {TV} }(P,Q)=2d_{\mathcal {F}}(P,Q)}

gilt nicht analog für signierte Maße, Für ${\displaystyle \mu _{1}-\nu _{1}=1}${\displaystyle \mu _{1}-\nu _{1}=1} und ${\displaystyle \mu _{2}-\nu _{2}=-1}${\displaystyle \mu _{2}-\nu _{2}=-1} gilt ${\displaystyle d_{\mathrm {TV} }(\mu ,\nu )=2}${\displaystyle d_{\mathrm {TV} }(\mu ,\nu )=2} und ${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=1}${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=1}. Für ${\displaystyle \mu _{1}-\nu _{1}=1}${\displaystyle \mu _{1}-\nu _{1}=1} und ${\displaystyle \mu _{2}-\nu _{2}=-2}${\displaystyle \mu _{2}-\nu _{2}=-2} gilt ${\displaystyle d_{\mathrm {TV} }(\mu ,\nu )=3}${\displaystyle d_{\mathrm {TV} }(\mu ,\nu )=3} und ${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=2}${\displaystyle d_{\mathcal {F}}(\mu ,\nu )=2}.

1. ↑ Metriken in der Wahrscheinlichkeitstheorie. In: P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 257–259.