Regression till medelunge. Förstå regression till medelvärdet. Applikation i finansvärlden

Tror du att det alltid finns en strimma otur efter stor tur? Till exempel, om du idag fick en riktigt stark deal i poker, så kommer imorgon även maskinen som dispenserar skoskydd att ignorera dig. Eller kanske du tror att din talang för att skära med en sticksåg eller din överjordiska skönhet måste ärvas av dina barn? Om du är säker på detta talar statistiken mer återhållsamt i denna fråga. En statistisk princip som kallas "regression till medelvärdet" kommer att hjälpa till att förklara sådana fenomen. Att ignorera det kan leda till, som ett minimum, ett dåligt humör, och som ett maximum, till fullständig besvikelse i ens liv. Idén är faktiskt väldigt enkel. Låt oss reda ut det.

Talang eller geni, stor lycka, misslyckande eller andra extraordinära fenomen är extremt sällsynta, det vill säga sannolikheten för att de inträffar är extremt liten. Sannolikheten för en upprepning av en sådan sällsynt händelse kommer att vara ännu mindre, eftersom sannolikhetsmultiplikation används för att hitta den. Alltså, efter någon extrem händelse (bra eller dålig), återgår allt till det normala. Det finns en mycket viktig punkt här - livet kompenserar INTE för dina misslyckanden eller segrar, det är bara att dina lyckindikatorer rusar mot sina genomsnittliga värden. Detta är regression till medelvärdet (från latinets regressio - omvänd rörelse). Samma sak händer med generationsskiftet. Dina barn kommer definitivt att vara begåvade, men troligen inom ett annat område.

Begreppet regression introducerades först av Sir Francis Galton, en engelsk generalistforskare. Han är ansvarig för ett annat grundläggande statistikbegrepp – korrelation. Medan han studerade ärftlighet, mätte Galton allt som kunde mätas i sina landsmän: huvuden, näsor, händer, antalet kinkiga rörelser, graden av attraktionskraft, etc. Galton trodde att en persons karaktär, hans mentala förmågor och talang också bestäms av ärftlighet och är föremål för principen om normal distribution.

I ett av sina verk försökte han hitta ett samband mellan föräldrarnas höjd och deras barns tillväxt. Beroendet är uppenbart – långa föräldrar föder långa barn och vice versa. Men Galton upptäckte utöver detta också några inte helt logiska mönster. Till exempel fann han att föräldrar med längd över genomsnittet hade långa barn, men de var inte lika långa som sina föräldrar. Och föräldrar med lägre längd hade barn som var korta, men inte kortare än sina föräldrar. Det betyder att längden på vuxna barn avviker mindre från genomsnittet än längden på deras föräldrar. Det vill säga, ättlingar "återgår" starkare till medelvärdet. Egentligen kallade Galton detta fenomen för "regression till medelmåttighet", vilket mer exakt återspeglar innebörden, IMHO.

Galton konstruerade en graf som liknar en modern scatterplot.

Han delade in människor i grupper beroende på deras längd (i tum), beräknade det aritmetiska medelvärdet för varje grupp och markerade dessa värden på grafen. Därefter approximerade Galton dessa punkter och konstruerade raka linjer, de så kallade regressionslinjerna. Galton beräknade till och med korrelationskoefficienten - 2/3. Det betyder att endast 67 % av barns längd bestäms av deras föräldrars längd.
Grafen lyder: ”När föräldrarnas medellängd är större än befolkningens genomsnittliga längd, tenderar barn att vara kortare än sina föräldrar. Omvänt, när föräldrarnas genomsnittliga längd är mindre än befolkningens genomsnitt, tenderar barn att vara längre än sina föräldrar."

Även om Galtons slutsatser och idéer numera milt ifrågasätts snarare än kritiseras, har de revolutionerande betydelse för statistiken. Tack vare denna mångsidiga forskare används nu regressions- och korrelationsanalyser i stor utsträckning.

Nedan har vi konstruerat en scatterplot (alias scatterplot) för data som samlats in av Galton. År 1886 presenterade han en tablett som visar höjderna på 928 vuxna barn och höjderna på deras 205 föräldrar (ett vägt medeltal av faderns och moderns höjder). Sedan dess har dessa data ofta använts som ett utmärkt exempel på regression till medelvärdet.

Förstå regression till medelvärdet

Oavsett om det förbises eller felförklaras, är fenomenet regression främmande för det mänskliga sinnet. Regression upptäcktes och förstods först tvåhundra år senare än teorin om gravitation och differentialkalkyl. Dessutom krävdes det en av de finaste brittiska hjärnorna på 1800-talet för att förklara regressionen.

Detta fenomen beskrevs först av Sir Francis Galton, Charles Darwins andre kusin, som hade verkligt encyklopedisk kunskap. I en artikel med titeln "Regression to the Mean in Heritance", publicerad 1886, rapporterade han att han mätte flera generationer av frön i följd och jämförde barns höjder med deras föräldrars höjder. Han skriver om frön så här:

”Forskningen gav ett intressant resultat och på grundval av den höll jag den 9 februari 1877 ett föredrag för Kungl. Experimenten visade att avkomman inte liknade föräldrarna till storleken utan visade sig alltid vara vanligare, det vill säga färre stora föräldrar eller fler små... Experimenten visade också att i genomsnitt avkommans regression är direkt proportionell mot föräldrarnas avvikelse från medelvärdet.”

Galton förväntade sig tydligen att den lärda publiken på Royal Association, världens äldsta oberoende forskningsorganisation, skulle bli lika överraskad av hans "intressanta resultat" som han. Men det mest intressanta är att han blev överraskad av det vanliga statistiska mönstret. Regression är allestädes närvarande, men vi känner inte igen det. Hon gömmer sig i klarsynt. Inom några år gick Galton, med hjälp av sin tids framstående statistiker, från upptäckten av ärftlig regression av storlek till den bredare förståelsen att regression oundvikligen inträffar när det finns ofullständig korrelation mellan två storheter.

Bland de hinder forskaren var tvungen att övervinna var problemet med att mäta regression mellan kvantiteter uttryckta i olika enheter: till exempel vikt och förmåga att spela piano. De mäts genom att ta hela populationen som standard för jämförelse. Föreställ dig att 100 barn från alla årskurser i grundskolan mättes för sin vikt och lekförmåga och rangordnade resultaten i ordning, från högsta till lägsta värde för varje indikator. Om Jane är trea i musik och tjugosjunde i vikt kan man säga att hon är bättre på att spela piano än hon är lång. Låt oss göra några antaganden för enkelhetens skull.

Vilken ålder som helst:

Framgång med att spela piano beror bara på antalet timmars träning per vecka.

Vikten beror enbart på mängden glass som konsumeras.

Att äta glass och antalet timmar musiklektioner per vecka är oberoende variabler.

Nu kan vi skriva några ekvationer med hjälp av listpositioner (eller standardpoäng som statistiker kallar dem):

vikt = ålder + glasskonsumtion spela piano = ålder + timmars träning per vecka

Uppenbarligen, när man försöker förutsäga pianoprestationer efter vikt, eller vice versa, kommer regression till medelvärdet att visas. Om allt vi vet om Tom är att han är en tolftedel i vikt (mycket över genomsnittet) kan vi statistiskt dra slutsatsen att Tom förmodligen är äldre än genomsnittet och förmodligen konsumerar mer glass än andra. Om allt vi vet om Barbara är att hon är åttiofemte i piano (väldigt under gruppgenomsnittet), kan vi dra slutsatsen att Barbara med största sannolikhet fortfarande är ung och förmodligen övar mindre än andra.

Korrelationskoefficienten mellan två storheter, som sträcker sig från 0 till 1, är ett mått på den relativa vikten av de faktorer som påverkar dem båda. Till exempel delar vi alla hälften av våra gener med var och en av våra föräldrar, och för egenskaper som har liten yttre påverkan (som höjd) är korrelationen mellan förälder och barn nära 0,5. För att utvärdera värdet av korrelationsmåttet kommer jag att ge flera exempel på koefficienter:

Korrelationen mellan storleken på objekt som noggrant mäts i metriska eller imperialistiska enheter är 1. Alla avgörande faktorer påverkar båda måtten.

Korrelationen mellan självrapporterad vikt och längd för vuxna amerikanska män är 0,41. Om kvinnor och barn ingår i gruppen blir korrelationen mycket högre eftersom en individs kön och ålder påverkar deras bedömning av längd och vikt, vilket ökar de relativa värdena på de gemensamma faktorerna.

Korrelationen mellan gymnasiets akademiska förmågastester och college GPA är cirka 0,60. Korrelationen mellan begåvningstest och examensframgång är dock mycket lägre – till stor del eftersom förmågan inom denna grupp inte varierar mycket. Om allas förmågor är ungefär desamma, är det osannolikt att skillnaden i denna parameter kommer att påverka måttet på framgång.

Korrelationen mellan inkomst och utbildningsnivå i USA är cirka 0,40.

Korrelationen mellan en familjs inkomst och de fyra sista siffrorna i deras telefonnummer är 0.

Det tog Francis Galton flera år att förstå att korrelation och regression inte är två olika begrepp, utan två perspektiv på ett. Den allmänna regeln är ganska enkel, men den har överraskande konsekvenser: i de fall där korrelationen inte är perfekt sker en regression till medelvärdet. För att illustrera Galtons upptäckt, låt oss ta ett förslag som många tycker är ganska nyfiket:

Smarta kvinnor gifter sig ofta med mindre intelligenta män.

Om du ber dina vänner på en fest att hitta en förklaring till detta faktum, då är du garanterad en intressant konversation. Även personer som är bekanta med statistik kommer att tolka detta uttalande i kausala termer. Vissa kommer att tro att smarta kvinnor försöker undvika konkurrens från smarta män; någon kommer att anta att de tvingas göra kompromisser när de väljer make på grund av det faktum att smarta män inte vill konkurrera med smarta kvinnor; andra kommer att erbjuda mer långsökta förklaringar. Tänk nu på följande uttalande:

Korrelationen mellan makars intelligenspoäng är inte perfekt.

Naturligtvis är detta påstående sant – och helt ointressant. I det här fallet förväntar sig ingen perfekt korrelation. Det finns inget att förklara här. Men ur en algebraisk synvinkel är dessa två påståenden likvärdiga. Om korrelationen mellan makars intelligenspoäng inte är perfekt (och om kvinnor och män inte skiljer sig i genomsnitt i intelligens), så är det matematiskt oundvikligt att intelligenta kvinnor kommer att gifta sig med män som i genomsnitt är mindre intelligenta (och vice versa) . Observerad regression till medelvärdet kan inte vara mer intressant eller mer förklarande än icke-ideal korrelation.

Man kan sympatisera med Galton – försök att förstå och förklara fenomenet regression är inte lätta. Som statistikern David Friedman ironiskt noterar, om frågan om regression uppstår i en rättegång kommer den part som måste förklara det för juryn säkerligen att förlora. Varför är detta så svårt? Den främsta orsaken till svårigheten nämns regelbundet i den här boken: våra sinnen är benägna att orsaka orsaksförklaringar och klarar inte bra av "enkel statistik". Om någon händelse drar till sig vår uppmärksamhet börjar det associativa minnet leta efter dess orsak, eller snarare, någon orsak som redan finns lagrad i minnet aktiveras. När regression upptäcks, söks orsaksförklaringar, men de kommer att vara felaktiga, eftersom regression till medelvärdet faktiskt har en förklaring, men det finns inga orsaker. En av de saker som kommer till vår uppmärksamhet under golfturneringar är att idrottare som spelar bra första dagen ofta spelar sämre efteråt. Den bästa förklaringen är att dessa golfare hade ovanligt tur den första dagen, men den förklaringen saknar den kraft av kausalitet som våra sinnen föredrar. Vi betalar bra pengar till de som kommer med intressanta förklaringar till regressionseffekter för oss. En kommentator på en affärsnyhetskanal som korrekt påpekar att "det här året var bättre för affärerna eftersom förra året var dåligt" kommer sannolikt inte att hålla länge i luften.

Våra svårigheter att förstå regression härrör från både System 1 och System 2. Utan ytterligare instruktioner (och i många fall, även efter viss förtrogenhet med statistik), förblir sambandet mellan korrelation och regression oklart. Det är svårt för System 2 att förstå och internalisera det. Detta beror delvis på System 1:s insisterande på att ge orsaksförklaringar.

Tre månaders användning av energidrycker för att behandla depression hos barn ger betydande förbättringar.

Jag hittade på den här rubriken, men vad den beskriver är sant: Att ge energidrycker till deprimerade barn under en tidsperiod visar en kliniskt signifikant förbättring. På samma sätt kommer barn med depression som står på huvudet i fem minuter eller klappar katter i tjugo minuter varje dag också att visa förbättring. De flesta läsare av sådana rubriker kommer automatiskt att dra slutsatsen att förbättringen berodde på energidrycken eller att klappa katten, men detta är en helt ogrundad slutsats. Deprimerade barn är en extrem grupp, och sådana grupper går tillbaka mot medelvärdet med tiden. Korrelationen mellan depressionsnivåer över på varandra följande tester är ofullkomlig, så regression till medelvärdet är oundviklig: Barn med depression kommer att bli lite bättre med tiden, även om de inte klappar katter eller dricker Red Bull. För att dra slutsatsen att en energidryck – eller vilken annan behandling som helst – är effektiv, är det nödvändigt att jämföra en grupp patienter som får den med en kontrollgrupp som inte får någon behandling alls (eller ännu bättre, placebo). Kontrollgruppen förväntas visa förbättring på grund av enbart regression och syftet med experimentet är att ta reda på om patienter som får behandling förbättras mer än vad som förklaras av regression.

Felaktiga kausala tillskrivningar av regressionseffekten är inte begränsade till läsare av populärpressen. Statistikern Howard Weiner sammanställde en lång lista av framstående forskare som gjorde samma misstag, det vill säga förväxlade korrelation med orsakssamband. Regressionseffekten är en vanlig källa till problem inom forskningen, och erfarna forskare utvecklar en sund rädsla för fallgropar, det vill säga obefogade kausala slutsatser.

Ett av mina favoritexempel på fel i intuitiva förutsägelser kommer från Max Bazermans utmärkta bok, Value Judgments in Management Decision Making, och är anpassad från:

Du prognostiserar försäljning i en butikskedja. Alla butiker i kedjan är lika i storlek och sortiment, men deras försäljningsvolym varierar beroende på läge, konkurrens och olika slumpmässiga faktorer. Du fick resultatet för 2011 och ombads att fastställa försäljningen 2012. Du uppmanas att hålla dig till ekonomers allmänna prognos att den totala försäljningstillväxten kommer att vara 10 %. Hur skulle du fylla i följande tabell?

Efter att ha läst det här kapitlet vet du att den uppenbara lösningen att lägga till 10 % på varje butiks försäljning är fel. Prognosen bör vara regressiv, det vill säga för butiker med dåliga resultat bör du lägga till mer än 10%, och för resten - mindre, eller till och med subtrahera något. Men de flesta människor är förbryllade över denna uppgift: varför fråga om det uppenbara? Som Galton upptäckte är begreppet regression inte uppenbart.