2. Die Methode der kleinsten Quadrate (1/2)

Die Methode, durch eine Minimierung der Summe der quadratischen Abweichungen als Kriterium zu nutzen, um eine Funktion an einen Datensatz aus zwei oder mehreren Variablen enthält, anzupassen, wird als Methode der kleinsten Quadrate bezeichnet. Sucht man als Funktion eine Gerade der Form b1·X + b0 = Y + ε, welche die Daten möglichst gut repräsentiert, dann erhalten wir für jedes Paar beobachteter Werte eine Gleichung. Mit N beobachteten Datenpaaren erhalten wir N Gleichungen unserer Beobachtungen:

b 1 · x 1 + b 0 = y 1 +ε b 1 · x 2 + b 0 = y 2 +ε . . . b 1 · x N + b 0 = y N +ε

Diese Gleichung wollen wir nach b0 und b1 auflösen, dabei sind (X1, Y1), (X2, Y2), …, (XN, YN) die Paare der beobachteten Werte. Normalerweise liegt kein Paar von Datenpunkten genau auf der Ausgleichsgeraden, sondern alle weisen Abweichungen (Residuen) von ihr auf. Die am besten passende Gerade ist diejenige, bei der die Summen der Quadrate der Residuen minimal ist.

Von der obigen Gleichung ausgehend, besitzt jedes Residuum die Form

ε i = y i − b 1 · x i − b 0 ,

sodass sich für die Quadrate der Residuen ergibt:

ε i 2 = ( y i − b i · x i − b 0 ) 2 = y i 2 −2 b 1 b 0 y i −2 b 0 y i + b 1 2 x i 2 +2 b 0 b 1 x 1 + b 0 2

Leitet man die Gleichung parziell nach den beiden Unbekannten ab (siehe zu parziellen Ableitungen auch die Ergänzung 1 der SEOS-Lerneinheit Zeitreihen), so folgt:

δ ε 2 δ b 1 =−2 x i y i +2 b 1 x i 2 +2 b 0 x i

und

δ ε 2 δ b 0 =−2 y i +2 b 1 x i +2 b 0

Sind die parziellen Ableitungen gleich Null, so ist die Steigung der Gleichungen ebenfalls gleich Null und die Summen der Quadrate sind minimal. Jedes dieser Differenziale gibt uns eine Gleichung. Es gibt daher zwei Gleichungen, die nach den beiden Unbekannten aufzulösen sind. Um diese Gleichungen zu bilden, entfernen Sie aus jedem Differenzial -2 und summieren Sie die N Gleichungen auf, wobei sich ergibt:

∑ xy − b 1 ∑ x 2 − b 0 ∑ x =0 ∑ y − b 1 ∑ x −N b 0 =0

bzw.

b 1 ∑ x 2 + b 0 ∑ x = ∑ xy b 1 ∑ x +N b 0 = ∑ y