Регресия към средното дете. Разбиране на регресията към средната стойност. Приложение в света на финансите

Вярвате ли, че след големия късмет винаги следва поредица от лош късмет? Например, ако днес сте получили наистина силна сделка в покера, то утре дори машината, която раздава калъфи за обувки, ще ви игнорира. А може би смятате, че талантът ви да режете с прободен трион или неземната ви красота трябва да бъдат наследени от вашите деца? Ако сте сигурни в това, тогава статистиката говори по-сдържано по този въпрос. Статистически принцип, наречен „регресия към средната стойност“, ще помогне да се обяснят подобни явления. Пренебрегването му може да доведе най-малкото до лошо настроение и най-много до пълно разочарование в живота. Всъщност идеята е много проста. Нека го подредим.

Талантът или гениалността, големият късмет, провалът или друго необикновено явление са изключително редки, тоест вероятността да се появят е изключително ниска. Вероятността за повторение на такова рядко събитие ще бъде още по-малка, тъй като за намирането му се използва умножение на вероятностите. Така след всяко екстремно събитие (добро или лошо) всичко се връща към нормалното. Тук има много важен момент - животът НЕ компенсира вашите неуспехи или победи, просто индикаторите ви за късмет се втурват към средните си стойности. Това е регресия към средната (от лат. regressio - обратно движение). Същото се случва и със смяната на поколенията. Децата ви определено ще бъдат талантливи, но най-вероятно в друга област.

Концепцията за регресия е въведена за първи път от сър Франсис Галтън, английски общ изследовател. Той е отговорен за друга фундаментална концепция на статистиката – корелацията. Докато изучава наследствеността, Галтън измерва всичко, което може да се измери при неговите сънародници: глави, носове, ръце, брой нервни движения, степен на привлекателност и др. Галтън вярва, че характерът на човека, неговите умствени способности и талант също се определят от наследствеността и са подчинени на принципа на нормалното разпределение.

В едно от произведенията си той се опитва да намери връзка между ръста на родителите и растежа на техните деца. Зависимостта е очевидна – високите родители раждат високи деца и обратното. Но Галтън, освен това, откри и някои не съвсем логични закономерности. Например той установи, че родителите с ръст над средния имат високи деца, но те не са толкова високи, колкото родителите си. А родителите с ръст под средния имаха деца, които бяха ниски, но не по-ниски от родителите си. Това означава, че ръстът на възрастните деца се отклонява по-малко от средния, отколкото ръстът на техните родители. Тоест, потомците „регресират“ по-силно към средната стойност. Всъщност Галтън нарече това явление „регресия към посредственост“, което по-точно отразява смисъла, IMHO.

Галтън конструира графика, която прилича на съвременна точкова диаграма.

Той раздели хората на групи в зависимост от техния ръст (в инчове), изчисли средната аритметична стойност за всяка група и отбеляза тези стойности на графиката. След това Галтън апроксимира тези точки и конструира прави линии, така наречените регресионни линии. Галтън дори изчисли коефициента на корелация - 2/3. Това означава, че само 67% от ръста на децата се определя от ръста на техните родители.
Графиката гласи: „Когато средният ръст на родителите е по-голям от средния ръст на населението, децата обикновено са по-ниски от родителите си. Обратно, когато средният ръст на родителите е по-нисък от средния за населението, децата са склонни да бъдат по-високи от родителите си.

Въпреки че заключенията и идеите на Галтън сега са леко поставени под съмнение, а не критикувани, те имат революционно значение за статистиката. Благодарение на този многостранен учен регресионният и корелационният анализи вече се използват широко.

По-долу сме конструирали диаграма на разсейване (известна още като диаграма на разсейване) за данните, събрани от Галтън. През 1886 г. той представя таблет, показващ ръста на 928 възрастни деца и ръста на техните 205 родители (претеглена средна стойност на ръста на бащата и майката). Оттогава тези данни често се използват като отличен пример за регресия към средната стойност.

Разбиране на регресията към средната стойност

Независимо дали е пренебрегнат или неправилно обяснен, феноменът на регресията е чужд на човешкия ум. Регресията е призната и разбрана за първи път двеста години по-късно от теорията на гравитацията и диференциалното смятане. Нещо повече, беше необходим един от най-добрите британски умове на 19 век, за да обясни регресията.

Това явление е описано за първи път от сър Франсис Галтън, втори братовчед на Чарлз Дарвин, който притежавал наистина енциклопедични познания. В статия, озаглавена „Регресия към средното в наследяването“, публикувана през 1886 г., той съобщава за измерване на няколко последователни поколения семена и сравняване на ръста на децата с ръста на техните родители. Той пише за семената така:

„Изследването даде интересен резултат и въз основа на него на 9 февруари 1877 г. изнесох лекция пред Кралската асоциация. Експериментите показаха, че потомството не приличаше на родителите по размер, но винаги се оказваше по-обикновено, тоест по-малко големи родители или повече малки... Експериментите също така показаха, че средно регресията на потомството е право пропорционална на отклонението на родителите от средната стойност.“

Галтън очевидно е очаквал образованата публика в Кралската асоциация, най-старата независима изследователска организация в света, да бъде толкова изненадана от неговите „интересни резултати“, колкото и той. Но най-интересното е, че той беше изненадан от обичайния статистически модел. Регресията е повсеместна, но ние не я признаваме. Тя се крие на видно място. В рамките на няколко години, с помощта на видни статистици на своето време, Галтън премина от откритието на наследствената регресия на размера до по-широкото разбиране, че регресията неизбежно възниква, когато има непълна корелация между две величини.

Сред пречките, които изследователят трябваше да преодолее, беше проблемът с измерването на регресията между количествата, изразени в различни единици: например тегло и способност да свири на пиано. Те се измерват, като се вземе цялата популация като стандарт за сравнение. Представете си, че 100 деца от всички класове на основното училище са били измерени за тяхното тегло и способности за игра и са подредени резултатите по ред, от максималната до минималната стойност на всеки показател. Ако Джейн е трета по музика и двадесет и седма по тегло, можете да кажете, че тя е по-добра в свиренето на пиано, отколкото е висока. Нека направим няколко допускания за простота.

Всяка възраст:

Успехът в свиренето на пиано зависи само от броя часове упражнения на седмица.

Теглото зависи единствено от количеството консумиран сладолед.

Яденето на сладолед и броят часове уроци по музика на седмица са независими променливи.

Сега можем да напишем някои уравнения, използвайки позиции в списъка (или стандартни резултати, както ги наричат ​​статистиците):

тегло = възраст + консумация на сладолед свирене на пиано = възраст + часове практика на седмица

Очевидно, когато се опитвате да предвидите изпълнението на пиано по тегло, или обратното, ще се появи регресия към средната стойност. Ако всичко, което знаем за Том, е, че той е дванадесети по тегло (много над средното), можем статистически да заключим, че Том вероятно е по-възрастен от средното и вероятно консумира повече сладолед от останалите. Ако всичко, което знаем за Барбара, е, че тя е осемдесет и пета по пиано (доста под средното за групата), можем да заключим, че Барбара най-вероятно е още млада и вероятно практикува по-малко от другите.

Коефициентът на корелация между две величини, вариращ от 0 до 1, е мярка за относителната тежест на факторите, които влияят и на двете. Например, ние всички споделяме половината от нашите гени с всеки от нашите родители и за черти, които имат малко външно влияние (като височина), корелацията между родител и дете е близо до 0,5. За да оценя стойността на мярката за корелация, ще дам няколко примера за коефициенти:

Корелацията между размерите на обектите, точно измерени в метрични или имперски единици, е 1. Всички определящи фактори влияят и на двете измервания.

Корелацията между теглото и височината на възрастните американски мъже е 0,41. Ако жените и децата са включени в групата, корелацията ще бъде много по-висока, тъй като полът и възрастта на индивида влияят върху оценката му за техния ръст и тегло, което увеличава относителните стойности на общите фактори.

Корелацията между тестовете за академични способности в гимназията и GPA в колежа е приблизително 0,60. Въпреки това, корелацията между тестовете за способности и успеха при дипломиране е много по-ниска - до голяма степен защото нивото на способности в тази група не варира много. Ако способностите на всички са приблизително еднакви, тогава разликата в този параметър е малко вероятно да повлияе значително на мярката за успех.

Корелацията между доходите и образователните постижения в Съединените щати е приблизително 0,40.

Връзката между дохода на семейството и последните четири цифри от телефонния му номер е 0.

Отне няколко години на Франсис Галтън, за да разбере, че корелацията и регресията не са две различни концепции, а две гледни точки към една. Общото правило е доста просто, но има изненадващи последствия: в случаите, когато корелацията не е перфектна, възниква регресия към средната стойност. За да илюстрираме откритието на Галтън, нека приемем едно предложение, което мнозина намират за доста любопитно:

Умните жени често се женят за по-малко интелигентни мъже.

Ако помолите приятелите си на парти да намерят обяснение за този факт, тогава ви е гарантиран интересен разговор. Дори хората, запознати със статистиката, ще тълкуват това твърдение в причинно-следствена връзка. Някои ще си помислят, че умните жени се стремят да избегнат конкуренцията от умни мъже; някой ще приеме, че е принуден да прави компромиси при избора на съпруг поради факта, че умните мъже не искат да се конкурират с умни жени; други ще предложат по-пресилени обяснения. Сега помислете върху следното твърдение:

Връзката между резултатите за интелигентност на съпрузите не е перфектна.

Разбира се, това твърдение е вярно - и напълно безинтересно. В този случай никой не очаква перфектна корелация. Тук няма какво да се обяснява. Въпреки това, от алгебрична гледна точка, тези две твърдения са еквивалентни. Ако корелацията между резултатите за интелигентност на съпрузите не е перфектна (и ако жените и мъжете не се различават средно по интелигентност), тогава е математически неизбежно интелигентните жени да се омъжат за мъже, които средно са по-малко интелигентни (и обратното) . Наблюдаваната регресия към средната стойност не може да бъде по-интересна или по-обяснима от неидеалната корелация.

Човек може да симпатизира на Галтън - опитите да се разбере и обясни феноменът на регресията не са лесни. Както иронично отбелязва статистикът Дейвид Фридман, ако проблемът с регресията възникне в процеса, страната, която трябва да го обясни на журито, със сигурност ще загуби. Защо това е толкова трудно? Основната причина за трудността се споменава редовно в тази книга: нашите умове са склонни към причинно-следствени обяснения и не се справят добре с „простата статистика“. Ако някое събитие привлече вниманието ни, асоциативната памет започва да търси причината за това или по-скоро всяка причина, която вече е съхранена в паметта, се активира. При откриване на регресия се търсят причинно-следствени обяснения, но те ще бъдат неверни, защото всъщност регресията към средната има обяснение, но няма причини. Едно от нещата, които ни обръщат внимание по време на голф турнирите, е, че спортистите, които играят добре в първия ден, често играят по-зле след това. Най-доброто обяснение е, че тези голфъри са имали необичаен късмет през първия ден, но на това обяснение му липсва силата на причинно-следствената връзка, която нашите умове предпочитат. Ние плащаме добри пари на онези, които измислят интересни обяснения за регресионните ефекти за нас. Коментатор в канал за бизнес новини, който правилно отбелязва, че „тази година беше по-добра за бизнеса, защото миналата беше лоша“, вероятно няма да издържи дълго в ефир.

Трудностите ни при разбирането на регресията възникват както от Система 1, така и от Система 2. Без допълнителни инструкции (и в много случаи, дори след известно запознаване със статистиката), връзката между корелация и регресия остава неясна. Трудно е за System 2 да го разбере и интернализира. Това отчасти се дължи на настояването на System 1 да предоставя причинно-следствени обяснения.

Три месеца употреба на енергийни напитки за лечение на депресия при деца води до значителни подобрения.

Измислих това заглавие, но това, което описва, е вярно: Даването на енергийни напитки на депресирани деца за определен период от време показва клинично значимо подобрение. По същия начин децата с депресия, които стоят на главите си пет минути или галят котки двадесет минути всеки ден, също ще покажат подобрение. Повечето читатели на подобни заглавия автоматично ще заключат, че подобрението се дължи на енергийната напитка или галенето на котката, но това е напълно неоснователно заключение. Депресираните деца са екстремна група и такива групи регресират към средната стойност с течение на времето. Корелацията между нивата на депресия в последователните тестове е несъвършена, така че регресията към средната стойност е неизбежна: Децата с депресия ще се подобрят малко с времето, дори ако не галят котки или не пият Red Bull. За да се заключи, че една енергийна напитка - или всяко друго лечение - е ефективно, е необходимо да се сравни група от пациенти, които я приемат, с контролна група, която не получава никакво лечение (или, още по-добре, плацебо). Очаква се контролната група да покаже подобрение само поради регресия и целта на експеримента е да се установи дали пациентите, получаващи лечение, се подобряват повече, отколкото се обяснява с регресията.

Неправилните причинно-следствени приписвания на регресионния ефект не са ограничени до читателите на популярната преса. Статистикът Хауърд Уайнър състави дълъг списък от видни изследователи, които са допуснали същата грешка, тоест обърквайки корелацията с причинно-следствената връзка. Ефектът на регресията е често срещан източник на проблеми в изследванията и опитни учени развиват здравословен страх от клопки, тоест неоправдани причинно-следствени заключения.

Един от любимите ми примери за грешка в интуитивните прогнози идва от отличната книга на Макс Базерман, Стойностни преценки при вземането на управленски решения, и е адаптиран от:

Прогнозирате продажби във верига магазини. Всички магазини във веригата са сходни по размер и асортимент, но обемът на продажбите им варира поради местоположение, конкуренция и различни случайни фактори. Бяха ви представени резултатите за 2011 г. и ви беше поискано да определите продажбите през 2012 г. Вие сте инструктирани да се придържате към общата прогноза на икономистите, че общият ръст на продажбите ще бъде 10%. Как бихте попълнили следната таблица?

След като прочетете тази глава, знаете, че очевидното решение да се добавят 10% към продажбите на всеки магазин е погрешно. Прогнозата трябва да е регресивна, тоест за магазини с лоши резултати трябва да добавите повече от 10%, а за останалите - по-малко или дори да извадите нещо. Повечето хора обаче са озадачени от тази задача: защо да питаме за очевидното? Както откри Галтън, концепцията за регресия не е очевидна.