Beweisarchiv: Stochastik: Statistik: Eindeutigkeit der Methode der kleinsten Fehlerquadrate

Das Minimierungsproblem der Methode der kleinsten Fehlerquadrate besagt, dass es immer exakt eine Lösung gibt.

Beweis

Die Summe $S(M)$ der Fehlerquadrate mit der Modellfunktion $M$ ist $S(M)=\sum _{k=1}^n(y_k-M(x_k){)}^2$. Dabei sind $x_k,y_k\in ℝ$ die gemessenen Wertepaare. Seien nun $a_1,a_2,...,a_m\in ℝ$ die Parameter von $M$. Dann haben wir zur Minimierung die Matrizengleichung $(\mathrm{\nabla }S{)}^T=(0,0,0,...,0{)}^T$ zu lösen, indem wir sie als Gleichungssystem interpretieren. Da jeder Term $(y_k-M(x_k){)}^2$ quadratisch in den Parametern von $M$ ist, muss $S$ ebenso quadratisch in diesen sein. Folglich ist jede Teilgleichung $\frac{dS}{da}=0$ linear und besitzt somit genau eine Lösung. Demnach kann die Matritzengleichung $(\mathrm{\nabla }S{)}^T=(0,0,0,...,0{)}^T$ nur genau eine Lösung haben, wie behauptet.

$◻$

Wikipedia-Verweis

• Methode der kleinsten Quadrate