Kleinste-kwadratenmethode

De kleinste-kwadratenmethode is een rekenmethode om bij een gegeven verzameling punten in het vlak uit een verzameling curven de best passende te bepalen. De methode dankt zijn naam kleinste kwadraten aan het daarbij gehanteerde criterium voor best passen, waarbij de mate van passen wordt afgemeten aan het totaal van de kwadratische afwijkingen (meestal in verticale zin) van de curve.

Geschiedenis

De methode werd onafhankelijk van elkaar ontwikkeld door Carl Friedrich Gauss en Adrien Marie Legendre. In 1801 gebruikte Gauss de kleinste-kwadratenmethode om de baan van de pas ontdekte planetoïde Ceres te schatten. Hij voorspelde nauwkeurig waar en wanneer Ceres weer zou verschijnen.

Definitie

De kleinste-kwadratenmethode in haar eenvoudigste, oorspronkelijke vorm is een methode om bij een gegeven verzameling punten in het xy-vlak, die verondersteld worden (min of meer) op een rechte lijn te liggen, de best passende lijn te bepalen. Best passen betekent dat het totaal van de gekwadrateerde afwijkingen in verticale zin van de punten ten opzichte van de lijn zo klein mogelijk is.

Als het $i$ -de meetpunt wordt voorgesteld door $(x_{i},y_{i})$ en de gezochte lijn door:

y=a+bx

,

wordt de afwijking $d_{i}$ voor dit punt gegeven door:

d_{i}=y_{i}-(a+bx_{i})

De som van de kwadraten van alle afwijkingen is

\sum _{i=1}^{n}{d_{i}^{2}}=\sum _{i=1}^{n}(y_{i}-(a+bx_{i}))^{2}

Het komt er nu op neer bij de gegeven punten de parameters $a$ en $b$ zo te bepalen dat de bovenstaande som minimaal is. Dit voert tot de zogeheten 'normaalvergelijkingen' voor $a$ en $b$ :

{\begin{array}{lccclcl}a&n&+&b&\sum x&=&\sum y\\a&\sum x&+&b&\sum x^{2}&=&\sum xy\end{array}}

met als oplossingen

b={\frac {n\sum xy-\sum x\sum y}{n\sum x^{2}-\sum x\sum x}}

en

a={\frac {1}{n}}\sum y-{\frac {1}{n}}b\sum x={\bar {y}}-b{\bar {x}}

Generalisatie

De kleinste-kwadratenmethode is een methode om een model te passen aan een aantal meetwaarden. De parameters van het model waarvoor geldt dat de kwadraten van de afwijkingen van de meetwaarden ten opzichte van het model minimaal zijn, worden gezocht.

Als het model slechts onafhankelijke parameters kent die daarnaast elk alleen in de eerste macht voorkomen, dan kan de kleinste-kwadratenmethode in een keer worden toegepast waarbij in een enkele bewerking de optimale parameters worden verkregen. Deze variant noemt men de 'lineaire' kleinste-kwadratenmethode. Dit wil dus niet zeggen dat het model een rechte lijn is. Veel gecompliceerdere modellen kunnen lineair worden opgelost.

Als het model wel hogere machten heeft of correlaties tussen parameters kent, kan via een iteratieve procedure toch vaak een goed model worden gevonden. Hiervoor moet een aantal keren een berekening worden gemaakt waarbij de lokale afgeleide van de modelfunctie wordt gebruikt. Daarvoor moet echter wel van tevoren bekend zijn waar de uitkomst ongeveer ligt, anders volgt een verkeerd of suboptimaal minimum.

In het algemene geval worden de $n$ waarnemingsparen $(x_{i},y_{i})$ geacht te voldoen aan:

y_{i}=f(x_{1},\ldots ,x_{n},\beta _{1},\ldots ,\beta _{m})+u_{i}

,

waarin $f$ een bekende familie van functies is, geparametriseerd door de $m$ parameters $\beta _{1},\ldots ,\beta _{m}$ , en $u_{i}$ een storingsterm is.

De optimale waarden $b_{1},\ldots ,b_{m}$ van de parameters worden bepaald door het kleinste-kwadratencriterium, dus zo dat de som van de kwadratische afwijkingen

S=\sum _{i=1}^{n}\left(y_{i}-f(x_{1},\ldots ,x_{n},b_{1},\ldots ,b_{m})\right)^{2}

minimaal is.

Lineaire regressie

De kleinste-kwadratenmethode vindt onder meer toepassing bij lineaire regressie.

Een vergelijkbare rekenmethode waarbij alle waarden niet vooraf bekend hoeven te zijn is het Kalman-filter.

Lineaire vergelijkingen

Als een stelsel lineaire vergelijkingen overbepaald is, dus met meer onafhankelijke vergelijkingen dan het aantal onbekenden, kan met de kleinste-kwadratenmethode de best passende oplossing berekend worden.

In het overbepaalde stelsel lineaire vergelijkingen

Ax=b

is de matrix $A$ van dimensies $(n+k)\times n$ , met $k\geq 1$ , en is de rijenrang van de uitgebreide matrix $[A|b]$ groter dan $n$ . Het stelsel is dus niet oplosbaar, maar de beste benadering in de zin van kleinste kwadraten voldoet aan:

\|Ax-b\|

minimaal.

De kleinste-kwadratenoplossing is:

x=(A^{\top }A)^{-1}A^{\top }b