minimi quadrati, metodo dei

minimi quadrati, metodo dei

Metodo che prende spunto da una delle proprietà che caratterizzano la media di una popolazione, cioè quella di minimizzare la perdita quadratica (➔ perdita, funzione di). Nel dettaglio, se X è una variabile aleatoria (➔) con media μ e varianza finita, allora E(X−c)²=Var(X)+(μ−c)² e quindi minimizzando E(X−c)² rispetto a c si ha come soluzione c₀=μ. L’idea del criterio dei m. q. è di stimare la media della popolazione con il valore ^c₀ che minimizza l’analogo campionario di E(X−c)², ossia

S

(c)=Σ_i(x_i−c)²/n, dove {x₁,…,x_n}

è un campione casuale dalla distribuzione di X (➔ campione statistico). La soluzione di tale problema è la media campionaria.

Applicazioni

Il metodo dei m. q. si generalizza al problema della stima della media condizionata μ(X)=E(Y∣X) di Y dato X. Poiché μ(X) è la funzione di X che minimizza lo scarto quadratico medio E[Y−c(X)]², si può pensare di ottenere una sua stima minimizzando l’analogo campionario di E[Y−c(X)]². In realtà, la soluzione di questo problema è impossibile se non si riduce lo spazio delle possibili funzioni di X rispetto alle quali trovare il minimo. La scelta più semplice, anche per le proprietà dello stimatore (➔) così ottenuto, è quella di una funzione lineare nei parametri, cioè del tipo c(X)=a+bX (➔ linearità). Questa scelta è alla base del metodo dei m. q. ordinari (MQO) e corrisponde all’ipotesi di un modello lineare per la media condizionata di Y dato X, cioè a una regressione lineare (➔ regressione parametrica, modelli e stime di). Il criterio dei m. q. consiste quindi nel minimizzare S(α,β)=Σ_i(Y_i−α−βX_i)²/n. Risolvendo il problema sotto l’ipotesi che X abbia varianza campionaria positiva, si ottengono le stime dei MQO dei coefficienti della retta di regressione, le cui formule sono

α^=Ȳ−β^, β^=Σ_i(X_i−)(Y_i−Ȳ)/Σ_i(X_i−)²

Proprietà. Sotto opportune condizioni, lo stimatore dei MQO di un modello lineare gode di convenienti proprietà statistiche. Le assunzioni possono essere scritte in modi diversi, a seconda che i regressori siano trattati come fissi o come realizzazioni di variabili aleatorie. Il primo caso corrisponde all’approccio classico, ormai considerato utile prevalentemente a fini didattici. Nel secondo caso, più realistico, occorre considerare la relazione tra i regressori e l’errore di regressione, poiché questa influenza l’interpretazione della retta di regressione e dei suoi coefficienti. I 3 casi che si possono verificare sono quelli di indipendenza o esogeneità forte (➔ endogeno/esogeno), indipendenza in media o esogeneità debole, e incorrelazione (➔ covarianza). Le seguenti assunzioni descrivono il caso di indipendenza:

(1) assenza di multicollinearità nei regressori (➔ collinearità), cioè E(XX′) è invertibile (nel caso di due o più regressori);

(2) Y_i=α+βX_i+U_i, dove l’errore U_i ha media nulla ed è indipendente da X_i;

(3) omoschedasticità (➔): E(U²_i)=σ² per ogni i;

(4) incorrelazione: E(U_iU_j)=0, se i≠j.

A queste 4 assunzioni se ne aggiunge in genere una quinta, riguardante l’esistenza di momenti (➔ momenti, funzione generatrice dei) di ordine superiore di U_i e di X_i. Tale assunzione è utile per dimostrare la normalità asintotica dello stimatore dei MQO (➔ asintotica, distribuzione). Sotto le assunzioni (1) e (2), lo stimatore dei MQO è definito ed è corretto. La caduta dell’assunzione (1) comporta la non identificabilità di α e β (➔ identificabilità). Se invece E(U)≠0, allora le stime dei MQO sono distorte. Se le assunzioni (1)-(4) sono soddisfatte, allora lo stimatore MQO è il più efficiente tra tutti quelli lineari in Y (BLU, Best Linear Unbiased; ➔ efficienza statistica); questo risultato è noto come teorema di Gauss-Markov. Se inoltre gli errori sono gaussiani, allora i MQO hanno varianza minima tra tutti gli stimatori non distorti (sono cioè Best Unbiased). Se X e U sono correlati, allora il metodo dei MQO produce coefficienti inconsistenti (➔ consistenza). Questo tipo di situazioni può essere risolto ricorrendo a metodi di stima basati sulle variabili strumentali (➔ variabili strumentali, metodo delle) e, in particolare, al metodo dei m. q. a due stadi (➔ minimi quadrati a due stadi, metodo dei). Se le assunzioni (1) e (2) sono soddisfatte, ma non lo sono la (3) e la (4), cioè se c’è eteroschedasticità (➔) o correlazione tra gli errori, lo stimatore dei MQO rimane non distorto e consistente, ma non è più efficiente. Inoltre, la stima della varianza campionaria dei MQO va modificata per tenere conto della presenza di eteroschedasticità o autocorrelazione, pena il rischio di inferenza non valida. Se gli errori sono incorrelati ma eteroschedastici, allora lo stimatore BLU è quello dei m. q. ponderati, ottenuto minimizzando la somma dei quadrati dei residui ponderati per l’inversa della rispettiva varianza, σ²_i. Se gli errori sono correlati, lo stimatore BLU è quello dei m. q. generalizzati ( MQO), definito dalla minimizzazione di una opportuna trasformazione degli scarti quadratici introdotta allo scopo di eliminare la correlazione tra gli errori. Lo stimatore dei MQ ponderati è il caso particolare di stimatore dei MQO corrispondente alla presenza di sola eteroschedasticità.