Beweisarchiv: Stochastik: Wahrscheinlichkeitstheorie: Approximationssatz von Stone-Weierstrass

Satz (Approximationssatz von Stone-Weierstrass)

Seien $a,b\in ℝ$ beliebig und $f:[a,b]\mapsto ℝ$ eine stetige Funktion. Dann gilt für alle $ϵ>0$: Es existiert ein Polynom $𝐏$, das $\mathrm{\forall }x\in [a,b]:|f(x)-𝐏(x)|<ϵ$ erfüllt.

Beweis

Teil 1

Ohne Beschränkung der Allgemeinheit gelte $a=0,b=1$.

Sei $K$ eine binomialverteilte Zufallsvariable mit den Parametern $n$ der Anzahl der Versuche bis zum ersten Erfolg (bei einer Folge unabhängiger Bernoulli-Versuche) und Erfolgswahrscheinlichkeit $p$. Dann gilt $𝔼\left[\frac{K}{n}\right]=p$.

Mit dem schwachen Gesetz der großen Zahlen ($𝔼[K/n]=p$!) folgt

$\underset{n\to \mathrm{\infty }}{\lim }P(|\frac{K}{n}-p|>\delta )=0$

für alle $\delta >0$ (Konvergenz in Wahrscheinlichkeit von $K/n$ gegen $p$).

Diese Konvergenz bzgl. $n$ ist sogar gleichmäßig in $p$ (siehe das Korollar weiter unten).

Lemma 1

Die Varianz von $K/n$ ist beschränkt durch $\frac{1}{4n}$.

Beweis des Lemmas 1

Da $K$ binomialverteilt ist, ist

$\begin{array}{cc}Var(K/n)& =\frac{Var(K)}{n^2}\\ & =\frac{np(1-p)}{n^2}\\ & =\frac{p(1-p)}{n}\\ & =\frac{-p^2+p}{n}.\end{array}$

Wir suchen das globale Maximum bezüglich $p$ auf $[0,1]$.

$\begin{array}{cc}0& =\frac{\partial Var(K/n)}{\partial p}=\frac{-2p+1}{n}\\ 0& =-2p+1\\ -1& =-2p\\ p& =\frac{1}{2}.\end{array}$

Bei $\hat{p}:=\frac{1}{2}$ befindet sich also ein möglicher lokaler Extremwert. Wegen

$\frac{{\partial }^{2}Var(K/n)}{{\partial }^{2}p}=-2/n<0$

an der Stelle $\hat{p}$ ist dieser mögliche lokale Extremum tatsächlich ein lokales Maximum. Auf dem Rand (für $p=0$ oder $p=1$) ist die Varianz 0 und damit kleiner dem lokalen Maximum. Also liegt bei $\hat{p}$ ein globales Maximum mit Funktionswert $Var(K/n)\left(\frac{1}{2}\right)=\frac{1}{4n}$.

Korollar

$P(|\frac{K}{n}-p|>\delta )$ konvergiert für $n\to \mathrm{\infty }$ gleichmäßig gegen 0.

Beweis des Korollars

Den Wert des Limes kennen wir aus dem Lemma 1. Es ist also zu zeigen:

$\mathrm{\forall }\epsilon >0:\mathrm{\exists }{n}_0\in \mathbb{N}:\mathrm{\forall }n\ge n_0:\mathrm{\forall }p\in [0,1]:|P(|\frac{K}{n}-p|>\delta )-0|<\epsilon$

, das heißt, dass $n_0$ unabhängig von der Wahl von $p$ ist. Wähle ein $\epsilon >0$. Sei $p\in [0,1]$ beliebig. Es gilt für alle $n\in \mathbb{N}$:

$\begin{array}{ccc}\left|P(|\frac{K}{n}-p|>\delta )\right|& \le \frac{Var(K/n)}{{\delta }^2}& \mid \text{ Tschebyscheff-Ungleichung}\\ & \le \frac{1/(4n)}{{\delta }^2}& \mid \text{ Lemma 1}\\ & =\frac{1}{4n{\delta }^2}=:(\star )\end{array}$

Wähle $n_0>\frac{1}{4\epsilon {\delta }^2}$. Dann gilt für alle $n\ge n_0$:

$\begin{array}{cc}(\star )& \le \frac{1}{4n_0{\delta }^2}\\ & <\frac{1}{4\frac{1}{4\epsilon {\delta }^2}{\delta }^2}\\ & =\frac{4\epsilon {\delta }^2}{4{\delta }^2}\\ & =\epsilon \end{array}$.

Da die Definition von $n_0$ keine Abhängigkeit zu $p$ aufweist, ist das Korollar damit bewiesen.

Beweis des Satzes Teil 2

Das Intervall $[0,1]$ ist abgeschlossen und beschränkt, also kompakt (Satz von Heine-Borel). $f$ ist stetig (in $p$), also insbesondere fast überall stetig. $f$ ist stetig, also messbar. Außerdem ist $f$ auf einem kompakten Intervall definiert.

Also ist $f$ auf diesem Intervall auch gleichmäßig stetig und beschränkt (durch $||\sup f||$, eine als Konstante von $p$ unabhängige und integrierbare Funktion mit endlichem Erwartungswert).

Daraus folgt für alle $\epsilon >0$ die gleichmäßige Konvergenz bzgl. $p$ (nach dem gleichmäßigen Gesetz der großen Zahl), also

$\underset{n\to \mathrm{\infty }}{\lim }\underset{p\in [0,1]}{\sup }P(|f\left(\frac{K}{n}\right)-f\left(x\right)|>\epsilon )=0$.

(siehe auch hier????????) Aus der Beschränktheit von $f$ (auf dem gegebenen Intervall) folgt mit dem Satz über die majorisierte Konvergenz für Zufallsvariablen die (gleichmäßige, weil Absolutbetrag unabhängig von $x$ beschränkt und damit Erwartungswert ebenso (Monotonie des Erwartungswertes)) Konvergenz der Erwartungswerte

$\underset{n\to \mathrm{\infty }}{\lim }\underset{p\in [0,1]}{\sup }E\left[|f\left(\frac{K}{n}\right)-f\left(x\right)|\right]=0$.

Lemma 2

Für alle Funktionen $f$ und alle natürlichen Zahlen $n$ gilt:

$f(x)=\sum _{k=0}^{n}f(x)(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p^{n-k})$

Beweis des Lemmas 2

$\begin{array}{cc}f(x)& =f(x)\times 1^n\\ & =f(x)\times (p+1-p{)}^n\\ & =f(x)\times \sum _{k=0}^n(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}\\ & =\sum _{k=0}^{n}f(x)(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}\end{array}$

aufgrund des Binomischen Lehrsatzes.

Beweis des Satzes Teil 3

Gemäß dem Lemma 2 gilt $|f(K/n)-f(p)|=\sum _{k=0}^n|f(K/n)-f(p)|(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$. Sei $\epsilon >0$. Wegen der gleichmäßigen Stetigkeit von $f$ existiert dann ein $\delta >0$, sodass für alle Punkte $x,y\in [a,b]$ gilt:

$|x-y|<\delta ⟹|f(x)-f(y)|<\epsilon /2.$

Zerlege die Summe in zwei Teile:

• einen Teil $A$ mit $k$-Werten, die $|k/n-x|<\delta$ erfüllen und
• einen Teil $B$ mit $k$-Werten, die diese Bedingung nicht erfüllen.

Wegen der Stetigkeit von $f$ gilt für alle Summenglieder von $A$: $|f(K(x)/n)-f(x)|<\epsilon /2$ und für all jene von $B$: $|f(K(x)/n)-f(x)|<M+M=2M$ wegen der Beschränktheit von $f$ auf $[a,b]$. Daraus ergibt sich:

$\begin{array}{cc}𝔼[|f(K/n)-f(x)|]& =𝔼[\sum _{k=0}^n|f(K/n)-f(x)|(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}]\\ & \le 𝔼[({\mathrm{𝟏}}_{k\text{ wie in }A})\times \epsilon /2]+𝔼[({\mathrm{𝟏}}_{k\text{ wie in }B})\times 2M]\\ & =P(k\text{ wie in }A)\times \epsilon /2+P(k\text{ wie in }B)\times 2M\\ & \le 1\times \epsilon /2+1\times 2M\frac{\epsilon }{4n}\\ & \le \epsilon \end{array}$

für alle $n>M$. Mit der Dreiecksgleichung des Erwartungswertes und seiner Linearität folgt für ein beliebiges, fixes $x$:

$\begin{array}{cc}𝔼[|f(K/n)-f(x)|]& \ge |𝔼[f(K/n)-f(x)]|\\ & =|𝔼[f(K/n)]-𝔼[f(x)]|\\ & =|𝔼[f(K/n)]-f(x)|\end{array}$

. Definiere die Bernstein-Polynome durch

$\begin{array}{c}{B}_n(f)(x):=\sum _{\nu =0}^{n}f\left(\frac{\nu }{n}\right)b_{\nu ,n}(x)\end{array}$

mit $b_{\nu ,n}(x)=(\genfrac{}{}{0ex}{}{n}{\nu })x^{\nu }{(1-x)}^{n-\nu },\nu =0,\dots ,n.$

Dann genügt es, Lemma 3 zu zeigen, denn dann ist zusammengefasst (mit $𝐏:=B_n(f)$):

$\begin{array}{cc}|B_n(f)(x)-f(x)|& =|𝔼[f(K/n)]-f(x)|\\ & \le 𝔼[|f(K/n)-f(x)|]\\ & \le \epsilon .\end{array}$

Lemma 3

$𝔼[f(K/n)]=B_n(f)(x)$

Beweis des Lemmas 3

Es folgt schrittweise aus dem Gesetz des bewusstlosen Statistikers (»law of unconscious statistician«), der Berechnung der Wahrscheinlichkeitsfunktion $f_K$ und dem Einsetzen der Wahrscheinlichkeitsfunktion der Binomialverteilung das Ergebnis.

$\begin{array}{cc}𝔼[f(K/n)]& =\sum _{\nu =0}^{n}f(\nu /n)f_{K/n}(\nu /n)\\ & =\sum _{\nu =0}^{n}f(\nu /n)f_K(n\nu /n)\left|\frac{dn\nu /n}{d\nu }\right|\\ & =\sum _{\nu =0}^{n}f(\nu /n)f_K(\nu )\left|\frac{n}{n}\right|\\ & =\sum _{\nu =0}^{n}f(\nu /n)f_K(\nu )\left|1\right|\\ & =\sum _{\nu =0}^{n}f(\nu /n)f_K(\nu )\\ & =\sum _{\nu =0}^{n}f\left(\frac{\nu }{n}\right)(\genfrac{}{}{0ex}{}{n}{\nu })x^{\nu }{(1-x)}^{n-\nu }\end{array}$

Wikipedia-Verweis

• Satz von Stone-Weierstrass. Allgemeinere Formulierung