Regressione al cucciolo medio. Comprendere la regressione alla media. Applicazione nel mondo della finanza

Credi che dopo la grande fortuna ci sia sempre una vena di sfortuna? Ad esempio, se oggi hai ricevuto un affare davvero forte nel poker, domani anche la macchina che distribuisce copriscarpe ti ignorerà. O forse pensi che il tuo talento nel tagliare con un seghetto alternativo o la tua bellezza ultraterrena debbano essere ereditati dai tuoi figli? Se ne sei sicuro, le statistiche parlano in modo più moderato su questo problema. Un principio statistico chiamato “regressione alla media” aiuterà a spiegare tali fenomeni. Ignorarlo può portare almeno a un cattivo umore e, al massimo, a una completa delusione nella tua vita. In realtà l'idea è molto semplice. Risolviamo la questione.

Talento o genio, grande fortuna, fallimento o altri fenomeni straordinari sono estremamente rari, cioè la probabilità che si verifichino è estremamente ridotta. La probabilità che un evento così raro si ripeta sarà ancora inferiore, poiché per trovarlo viene utilizzata la moltiplicazione delle probabilità. Pertanto, dopo ogni evento estremo (buono o cattivo), tutto ritorna alla normalità. C'è un punto molto importante qui: la vita NON compensa i tuoi fallimenti o vittorie, è solo che i tuoi indicatori di fortuna corrono verso i loro valori medi. Questa è la regressione alla media (dal latino regressio - movimento inverso). La stessa cosa accade con il cambio di generazioni. I tuoi figli avranno sicuramente talento, ma molto probabilmente in un'area diversa.

Il concetto di regressione fu introdotto per la prima volta da Sir Francis Galton, un ricercatore generalista inglese. A lui si deve un altro concetto fondamentale della statistica: la correlazione. Mentre studiava l'ereditarietà, Galton misurò tutto ciò che poteva essere misurato nei suoi compatrioti: teste, nasi, mani, numero di movimenti pignoli, grado di attrattiva, ecc. Galton credeva che il carattere di una persona, le sue capacità mentali e il suo talento fossero determinati anche dall'ereditarietà e fossero soggetti al principio della distribuzione normale.

In una delle sue opere ha cercato di trovare una connessione tra l'altezza dei genitori e la crescita dei loro figli. La dipendenza è ovvia: genitori alti danno alla luce bambini alti e viceversa. Ma Galton, oltre a questo, ha scoperto anche alcuni schemi non del tutto logici. Ad esempio, ha scoperto che genitori con un’altezza superiore alla media avevano figli alti, ma non erano alti quanto i loro genitori. E i genitori con un’altezza inferiore alla media avevano figli bassi, ma non più bassi dei loro genitori. Ciò significa che l'altezza dei bambini adulti si discosta meno dalla media rispetto all'altezza dei loro genitori. Cioè, i discendenti “regrediscono” più fortemente verso la media. In realtà, Galton ha chiamato questo fenomeno “regressione alla mediocrità”, che riflette più accuratamente il significato, IMHO.

Galton ha costruito un grafico che ricorda un moderno diagramma a dispersione.

Ha diviso le persone in gruppi a seconda della loro altezza (in pollici), ha calcolato la media aritmetica per ciascun gruppo e ha segnato questi valori sul grafico. Successivamente, Galton approssimiò questi punti e costruì linee rette, le cosiddette linee di regressione. Galton calcolò persino il coefficiente di correlazione - 2/3. Ciò significa che solo il 67% dell'altezza dei bambini è determinata dall'altezza dei genitori.
Nel grafico si legge: “Quando l’altezza media dei genitori è maggiore dell’altezza media della popolazione, i bambini tendono ad essere più bassi dei genitori. Al contrario, quando l’altezza media dei genitori è inferiore alla media della popolazione, i bambini tendono ad essere più alti dei loro genitori”.

Sebbene le conclusioni e le idee di Galton siano ora moderatamente messe in discussione piuttosto che criticate, hanno un significato rivoluzionario per la statistica. Grazie a questo versatile scienziato, le analisi di regressione e di correlazione sono oggi ampiamente utilizzate.

Di seguito abbiamo costruito un grafico a dispersione (aka scatterplot) per i dati raccolti da Galton. Nel 1886 presentò una tavoletta che mostrava l'altezza di 928 bambini adulti e l'altezza dei loro 205 genitori (una media ponderata delle altezze del padre e della madre). Da allora, questi dati sono stati spesso utilizzati come un eccellente esempio di regressione alla media.

Comprendere la regressione alla media

Che sia trascurato o mal spiegato, il fenomeno della regressione è estraneo alla mente umana. La regressione fu riconosciuta e compresa per la prima volta duecento anni dopo la teoria della gravità e il calcolo differenziale. Inoltre, ci volle una delle menti britanniche più brillanti del XIX secolo per spiegare la regressione.

Questo fenomeno fu descritto per la prima volta da Sir Francis Galton, cugino di secondo grado di Charles Darwin, che aveva una conoscenza veramente enciclopedica. In un articolo intitolato "Regression to the Mean in Inheritance", pubblicato nel 1886, riferì di aver misurato diverse generazioni successive di semi e di aver confrontato l'altezza dei bambini con l'altezza dei loro genitori. Scrive di semi in questo modo:

“La ricerca ha prodotto un risultato interessante e, sulla base di esso, il 9 febbraio 1877 ho tenuto una conferenza alla Royal Association. Gli esperimenti hanno dimostrato che la prole non somigliava ai genitori in termini di dimensioni, ma si rivelava sempre più ordinaria, cioè meno genitori grandi o più piccoli... Gli esperimenti hanno anche dimostrato che, in media, la regressione della prole è direttamente proporzionale alla deviazione dei genitori dalla media”.

Apparentemente Galton si aspettava che il pubblico erudito della Royal Association, la più antica organizzazione di ricerca indipendente del mondo, sarebbe rimasto sorpreso dai suoi "risultati interessanti" quanto lo era lui. Ma la cosa più interessante è che è rimasto sorpreso dal solito schema statistico. La regressione è onnipresente, ma non la riconosciamo. Si nasconde in bella vista. Nel giro di pochi anni, con l'aiuto degli eminenti statistici del suo tempo, Galton passò dalla scoperta della regressione ereditaria delle dimensioni alla comprensione più ampia che la regressione avviene inevitabilmente quando esiste una correlazione incompleta tra due quantità.

Tra gli ostacoli che il ricercatore ha dovuto superare c'era il problema della misurazione della regressione tra quantità espresse in unità diverse: ad esempio, peso e capacità di suonare il pianoforte. Vengono misurati prendendo l’intera popolazione come standard di confronto. Immagina che 100 bambini di tutte le classi della scuola primaria siano stati misurati in termini di peso e capacità di gioco e abbiano classificato i risultati in ordine, dal valore massimo a quello minimo di ciascun indicatore. Se Jane è terza in musica e ventisettesima in peso, puoi dire che è più brava a suonare il pianoforte che alta. Facciamo alcune ipotesi per semplicità.

Qualsiasi età:

Il successo nel suonare il pianoforte dipende solo dal numero di ore di pratica settimanali.

Il peso dipende esclusivamente dalla quantità di gelato consumato.

Il consumo di gelato e il numero di ore di lezioni di musica settimanali sono variabili indipendenti.

Ora possiamo scrivere alcune equazioni utilizzando le posizioni dell'elenco (o punteggi standard come li chiamano gli statistici):

peso = età + consumo di gelato suonando il pianoforte = età + ore di studio settimanali

Ovviamente, quando si tenta di prevedere l'esecuzione del pianoforte in base al peso, o viceversa, apparirà una regressione alla media. Se tutto ciò che sappiamo di Tom è che pesa un dodicesimo (molto al di sopra della media), possiamo statisticamente concludere che Tom è probabilmente più vecchio della media e probabilmente consuma più gelato degli altri. Se tutto ciò che sappiamo di Barbara è che ha ottantacinque anni in pianoforte (ben al di sotto della media del gruppo), possiamo concludere che molto probabilmente Barbara è ancora giovane e probabilmente si esercita meno degli altri.

Il coefficiente di correlazione tra due quantità, compreso tra 0 e 1, è una misura del peso relativo dei fattori che le influenzano entrambe. Ad esempio, condividiamo tutti metà dei nostri geni con ciascuno dei nostri genitori e per tratti che hanno poca influenza esterna (come l'altezza), la correlazione tra genitore e figlio è vicina a 0,5. Per valutare il valore della misura di correlazione, fornirò diversi esempi di coefficienti:

La correlazione tra le dimensioni degli oggetti misurati accuratamente in unità metriche o imperiali è 1. Tutti i fattori determinanti influiscono su entrambe le misurazioni.

La correlazione tra peso e altezza autodichiarati per gli uomini americani adulti è 0,41. Se nel gruppo si includono donne e bambini, la correlazione sarà molto più elevata perché il sesso e l'età di un individuo influenzano la valutazione dell'altezza e del peso, il che aumenta i valori relativi dei fattori comuni.

La correlazione tra i test di abilità accademica delle scuole superiori e il GPA del college è di circa 0,60. Tuttavia, la correlazione tra test attitudinali e successo di laurea è molto più bassa, soprattutto perché il livello di abilità all'interno di questo gruppo non varia molto. Se le capacità di tutti sono più o meno le stesse, è improbabile che la differenza in questo parametro influenzi notevolmente la misura del successo.

La correlazione tra reddito e livello di istruzione negli Stati Uniti è di circa 0,40.

La correlazione tra il reddito di una famiglia e le ultime quattro cifre del suo numero di telefono è 0.

Francis Galton ha impiegato diversi anni per capire che correlazione e regressione non sono due concetti diversi, ma due prospettive su uno. La regola generale è abbastanza semplice, ma ha conseguenze sorprendenti: nei casi in cui la correlazione non è perfetta, si verifica una regressione verso la media. Per illustrare la scoperta di Galton, prendiamo in considerazione un suggerimento che molti trovano piuttosto curioso:

Le donne intelligenti spesso sposano uomini meno intelligenti.

Se chiedi ai tuoi amici a una festa di trovare una spiegazione per questo fatto, ti sarà garantita una conversazione interessante. Anche le persone che hanno familiarità con la statistica interpreteranno questa affermazione in termini causali. Alcuni penseranno che le donne intelligenti cerchino di evitare la concorrenza degli uomini intelligenti; qualcuno presumerà di essere costretto a scendere a compromessi nella scelta del coniuge perché gli uomini intelligenti non vogliono competere con le donne intelligenti; altri offriranno spiegazioni più inverosimili. Ora pensa alla seguente affermazione:

La correlazione tra i punteggi di intelligenza dei coniugi non è perfetta.

Naturalmente, questa affermazione è vera e del tutto priva di interesse. In questo caso, nessuno si aspetta una correlazione perfetta. Non c'è niente da spiegare qui. Tuttavia, da un punto di vista algebrico, queste due affermazioni sono equivalenti. Se la correlazione tra i punteggi di intelligenza dei coniugi non è perfetta (e se le donne e gli uomini non differiscono in media in termini di intelligenza), allora è matematicamente inevitabile che le donne intelligenti sposino uomini che sono, in media, meno intelligenti (e viceversa). . La regressione osservata verso la media non può essere più interessante o più spiegabile della correlazione non ideale.

Si può simpatizzare con Galton: i tentativi di comprendere e spiegare il fenomeno della regressione non sono facili. Come osserva ironicamente lo statistico David Friedman, se in un processo si pone il problema della regressione, la parte che deve spiegarlo alla giuria sicuramente perderà. perchè è così difficile? La ragione principale della difficoltà è menzionata regolarmente in questo libro: le nostre menti sono inclini a spiegazioni causali e non affrontano bene le “semplici statistiche”. Se qualche evento attira la nostra attenzione, la memoria associativa comincia a cercarne la causa, o meglio, si attiva qualsiasi motivo già immagazzinato nella memoria. Quando viene scoperta la regressione, si cercano spiegazioni causali, ma saranno errate, perché in realtà la regressione alla media ha una spiegazione, ma non ci sono ragioni. Una delle cose che attira la nostra attenzione durante i tornei di golf è che gli atleti che giocano bene il primo giorno spesso giocano peggio dopo. La migliore spiegazione è che questi golfisti siano stati insolitamente fortunati il ​​primo giorno, ma questa spiegazione non ha la forza di causalità che la nostra mente preferisce. Paghiamo fior di quattrini a coloro che ci forniscono spiegazioni interessanti sugli effetti di regressione. Un commentatore di un canale di notizie economiche che giustamente osserva che “quest’anno è stato migliore per gli affari perché l’anno scorso è stato negativo” probabilmente non durerà a lungo in onda.

Le nostre difficoltà nel comprendere la regressione derivano sia dal sistema 1 che dal sistema 2. Senza ulteriori istruzioni (e in molti casi, anche dopo una certa familiarità con la statistica), la relazione tra correlazione e regressione rimane poco chiara. È difficile per il Sistema 2 capirlo e interiorizzarlo. Ciò è in parte dovuto all'insistenza del Sistema 1 nel fornire spiegazioni causali.

Tre mesi di utilizzo di bevande energetiche per curare la depressione nei bambini producono miglioramenti significativi.

Ho inventato questo titolo, ma ciò che descrive è vero: dare bevande energetiche a bambini depressi per un periodo di tempo mostra un miglioramento clinicamente significativo. Allo stesso modo, anche i bambini depressi che stanno a testa in giù per cinque minuti o i gatti domestici per venti minuti ogni giorno mostreranno miglioramenti. La maggior parte dei lettori di questi titoli concluderà automaticamente che il miglioramento è dovuto alla bevanda energetica o alle carezze del gatto, ma questa è una conclusione completamente infondata. I bambini depressi sono un gruppo estremo e tali gruppi regrediscono verso la media nel tempo. La correlazione tra i livelli di depressione nei test successivi è imperfetta, quindi la regressione alla media è inevitabile: i bambini depressi miglioreranno leggermente nel tempo, anche se non accarezzano gatti o bevono Red Bull. Per concludere che una bevanda energetica - o qualsiasi altro trattamento - sia efficace, è necessario confrontare un gruppo di pazienti che la ricevono con un gruppo di controllo che non riceve alcun trattamento (o, meglio ancora, un placebo). Si prevede che il gruppo di controllo mostri un miglioramento dovuto alla sola regressione e lo scopo dell'esperimento è scoprire se i pazienti che ricevono il trattamento migliorano più di quanto spiegato dalla regressione.

Le attribuzioni causali errate dell’effetto regressione non si limitano ai lettori della stampa popolare. Lo statistico Howard Weiner ha compilato un lungo elenco di eminenti ricercatori che hanno commesso lo stesso errore, cioè confondere la correlazione con la causalità. L’effetto regressione è una fonte comune di problemi nella ricerca e gli scienziati esperti sviluppano una sana paura delle insidie, vale a dire delle inferenze causali ingiustificate.

Uno dei miei esempi preferiti di errore nelle previsioni intuitive viene dall'eccellente libro di Max Bazerman, Value Judgments in Management Decision Making, ed è adattato da:

Stai prevedendo le vendite in una catena di negozi. Tutti i negozi della catena sono simili per dimensioni e assortimento, ma il volume delle vendite varia a causa della posizione, della concorrenza e di vari fattori casuali. Ti sono stati presentati i risultati per il 2011 e ti è stato chiesto di determinare le vendite nel 2012. Ti viene chiesto di attenersi alle previsioni generali degli economisti secondo cui la crescita complessiva delle vendite sarà del 10%. Come completeresti la seguente tabella?

Dopo aver letto questo capitolo, saprai che la soluzione ovvia di aggiungere il 10% alle vendite di ogni negozio è sbagliata. La previsione dovrebbe essere regressiva, ovvero per i negozi con scarsi risultati dovresti aggiungere più del 10% e per il resto meno o addirittura sottrarre qualcosa. Tuttavia, la maggior parte delle persone è perplessa di fronte a questo compito: perché chiedere l’ovvio? Come scoprì Galton, il concetto di regressione non è ovvio.