Formelsammlung Statistik/ Regressionsrechnung

Vorlage:Latex IndexLineare Regression

Vorlage:Latex Index Vorlage:Latex IndexMethode der kleinsten Quadrate

$RSS=\sum _{i=1}^n{d}_i^2=\sum _{i=1}^n(y_i-(a+b{x}_i){)}^2\to min!$

bezüglich a und b.

Nach Ausmultiplikation, Ableiten und Nullsetzen

$\frac{\partial S}{\partial a}=-2\sum _{i=1}^n{y}_i+2na+2b\sum _{i=1}^n{x}_i=0,$

$\frac{\partial S}{\partial b}=-2\sum _{i=1}^n{x}_i{y}_i+2a\sum _{i=1}^n{x}_i+2b\sum _{i=1}^n{x}_i^2=0,$

erhält man die gesuchten Regressionskoeffizienten als die Lösungen

$b=\frac{\sum _{i=1}^n{x}_i{y}_i-n\overline{x}\overline{y}}{\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2}$

und

$a=\overline{y}-b\overline{x},$

wobei $\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$.

Mit dem Verschiebungssatz kann man $b$ auch so ermitteln:

$b=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}$

Schätzungen ŷ

${\hat{y}}_i=a+b{x}_i$

Residuen r_i :

$\begin{array}{cccccccc}& y_i& =& a+b{x}_i+d_i& =& {\hat{y}}_i+d_i& & \\ \Rightarrow & d_i& =& y_i-{\hat{y}}_i& \end{array}$

Stichprobenvarianz der Residuen:

$s^2=\frac{1}{n-2}\sum _i{d}_i^2$

Bestimmtheitsmaß

$r^2=\frac{\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2}{\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2}=\frac{(\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y}){)}^2}{\sum _{i=1}^n(x_i-\overline{x}{)}^2\sum _{i=1}^n(y_i-\overline{y}{)}^2},$

mit dem Verschiebungssatz :

$r^2=\frac{(\sum _{i=1}^n{x}_i{y}_i-n\cdot \overline{x}\cdot \overline{y}{)}^2}{(\sum _{i=1}^n{x}_i^2-n\cdot {\overline{x}}^2)(\sum _{i=1}^n{y}_i^2-n\cdot {\overline{y}}^2)}.$

$0\le r^2\le 1$

Varianz der Residuen

$s^2=\frac{1}{n-2}(1-r^2)\cdot \sum _{i=1}^n(y_i-\overline{y}{)}^2$

Vorlage:Latex IndexVariablentransformation

Funktion	u	v
$y=a+b\cdot x^n$	$x^n$	$v=a+b\cdot u$
$y=\frac{a}{b+x}$	$x$	$v=\frac{1}{y}=\frac{b}{a}+\frac{1}{b}\cdot u$
$y=a\cdot x^b$	$ln(x)$	$v=ln(y)=ln(a)+b\cdot ln(x)$
$y=a\cdot b^x$	$x$	$v=ln(y)=ln(a)+x\cdot ln(b)$
$y=a\cdot e^{b\cdot x}$	$x$	$v=ln(y)=ln(a)+b\cdot x$

Die Methode kann auf weitere Parameter erweitert werden.