الانحدار إلى الشبل المتوسط. فهم الانحدار إلى المتوسط. التطبيق في عالم المال

هل تعتقد أنه بعد الحظ السعيد هناك دائما سلسلة من الحظ السيئ؟ على سبيل المثال، إذا حصلت اليوم على صفقة قوية حقًا في لعبة البوكر، فغدًا حتى الآلة التي توزع أغطية الأحذية سوف تتجاهلك. أو ربما تعتقد أن موهبتك في القطع بالمنشار أو جمالك الغامض يجب أن يرثها أطفالك؟ إذا كنت متأكدا من ذلك، فإن الإحصاءات تتحدث عن هذه المسألة بشكل أكثر تقييدا. سيساعد المبدأ الإحصائي المسمى "الانحدار إلى المتوسط" في تفسير مثل هذه الظواهر. فتجاهلها يمكن أن يؤدي، على أقل تقدير، إلى مزاج سيئ، وعلى أقصى تقدير، إلى خيبة الأمل الكاملة في حياة الإنسان. في الواقع الفكرة بسيطة جداً. دعونا فرزها.

الموهبة أو العبقرية أو الحظ الكبير أو الفشل أو غيرها من الظواهر غير العادية نادرة للغاية، أي أن احتمال حدوثها منخفض للغاية. سيكون احتمال تكرار مثل هذا الحدث النادر أقل، حيث يتم استخدام ضرب الاحتمال للعثور عليه. وهكذا، بعد أي حدث متطرف (جيد أو سيء)، يعود كل شيء إلى طبيعته. هناك نقطة مهمة جدًا هنا - الحياة لا تعوض إخفاقاتك أو انتصاراتك، كل ما في الأمر هو أن مؤشرات الحظ الخاصة بك تندفع نحو قيمها المتوسطة. هذا هو الانحدار إلى المتوسط ​​(من الانحدار اللاتيني - الحركة العكسية). نفس الشيء يحدث مع تغير الأجيال. من المؤكد أن أطفالك سيكونون موهوبين، ولكن على الأرجح في مجال مختلف.

تم تقديم مفهوم الانحدار لأول مرة من قبل السير فرانسيس جالتون، وهو باحث إنجليزي متخصص. وهو مسؤول عن مفهوم أساسي آخر للإحصاءات - الارتباط. أثناء دراسة الوراثة، قام جالتون بقياس كل ما يمكن قياسه في مواطنيه: الرؤوس والأنوف واليدين، وعدد الحركات المزعجة، ودرجة الجاذبية، وما إلى ذلك. يعتقد جالتون أن شخصية الإنسان وقدراته العقلية وموهبته تتحدد أيضًا بالوراثة وتخضع لمبدأ التوزيع الطبيعي.

حاول في أحد أعماله إيجاد صلة بين طول الوالدين ونمو أطفالهم. الاعتماد واضح - فالآباء طوال القامة يلدون أطفالًا طوال القامة والعكس صحيح. لكن جالتون، بالإضافة إلى ذلك، اكتشف أيضًا بعض الأنماط غير المنطقية تمامًا. على سبيل المثال، وجد أن الآباء ذوي الطول فوق المتوسط ​​لديهم أطفال طوال القامة، لكنهم لم يكونوا بطول والديهم. والآباء الذين لديهم طول أقل من المتوسط ​​كان لديهم أطفال قصار القامة، ولكن ليس أقصر من والديهم. وهذا يعني أن طول الأطفال البالغين ينحرف عن المتوسط ​​بشكل أقل من طول والديهم. وهذا يعني أن الأحفاد "يتراجعون" بقوة أكبر إلى الوسط. في الواقع، أطلق جالتون على هذه الظاهرة اسم "الانحدار إلى الرداءة"، وهو ما يعكس بشكل أكثر دقة المعنى IMHO.

قام جالتون بإنشاء رسم بياني يشبه مخطط التشتت الحديث.

قام بتقسيم الأشخاص إلى مجموعات حسب طولهم (بالبوصة)، وحساب المتوسط ​​الحسابي لكل مجموعة ووضع علامة على هذه القيم على الرسم البياني. بعد ذلك، قام جالتون بتقريب هذه النقاط وقام ببناء خطوط مستقيمة، تسمى خطوط الانحدار. حتى أن جالتون قام بحساب معامل الارتباط - 2/3. وهذا يعني أن 67% فقط من طول الأطفال يتحدد حسب طول والديهم.
يقول الرسم البياني: "عندما يكون متوسط ​​طول الوالدين أكبر من متوسط ​​طول السكان، يميل الأطفال إلى أن يكونوا أقصر من والديهم. وعلى العكس من ذلك، عندما يكون متوسط ​​طول الوالدين أقل من متوسط ​​عدد السكان، يميل الأطفال إلى أن يكونوا أطول من والديهم.

على الرغم من أن استنتاجات وأفكار جالتون أصبحت الآن موضع تساؤل بسيط بدلاً من انتقادها، إلا أنها تتمتع بأهمية ثورية في مجال الإحصاء. وبفضل هذا العالم المتنوع، تُستخدم الآن تحليلات الانحدار والارتباط على نطاق واسع.

أدناه قمنا ببناء مخطط التشتت (المعروف أيضًا باسم مخطط التشتت) للبيانات التي جمعها جالتون. في عام 1886، قدم لوحًا يوضح أطوال 928 طفلًا بالغًا وأطوال آبائهم البالغ عددهم 205 (المتوسط ​​المرجح لطول الأب والأم). ومنذ ذلك الحين، غالبًا ما تُستخدم هذه البيانات كمثال ممتاز للانحدار إلى المتوسط.

فهم الانحدار إلى المتوسط

وسواء تم التغاضي عنها أو إساءة تفسيرها، فإن ظاهرة التراجع غريبة على العقل البشري. تم التعرف على الانحدار وفهمه لأول مرة بعد مائتي عام من نظرية الجاذبية وحساب التفاضل والتكامل. علاوة على ذلك، احتاج الأمر إلى أحد أفضل العقول البريطانية في القرن التاسع عشر لتفسير هذا الانحدار.

تم وصف هذه الظاهرة لأول مرة من قبل السير فرانسيس جالتون، ابن عم تشارلز داروين الثاني، الذي كان يتمتع بالمعرفة الموسوعية حقًا. وفي بحث بعنوان "الانحدار إلى المتوسط ​​في الميراث"، نشر عام 1886، أفاد بقياس عدة أجيال متتالية من البذور ومقارنة أطوال الأطفال مع أطوال والديهم. يكتب عن البذور مثل هذا:

"لقد أدى البحث إلى نتيجة مثيرة للاهتمام، وعلى أساسها، في 9 فبراير 1877، ألقيت محاضرة أمام الجمعية الملكية. أظهرت التجارب أن النسل لم يشبه الوالدين من حيث الحجم، ولكن تبين دائمًا أنه أكثر عادية، أي عدد أقل من الآباء الكبار أو عدد أكبر من الآباء الصغار... كما أظهرت التجارب أنه في المتوسط، تراجع النسل يتناسب طرديا مع انحراف الوالدين عن الوسط الحسابي."

من الواضح أن جالتون توقع أن يندهش الجمهور المثقف في الجمعية الملكية، أقدم منظمة بحثية مستقلة في العالم، من "نتائجه المثيرة للاهتمام" مثله مثله. لكن الشيء الأكثر إثارة للاهتمام هو أنه فوجئ بالنمط الإحصائي المعتاد. إن الانحدار موجود في كل مكان، لكننا لا نعترف به. إنها تختبئ على مرأى من الجميع. وفي غضون سنوات قليلة، وبمساعدة الإحصائيين البارزين في عصره، انتقل جالتون من اكتشاف الانحدار الوراثي في ​​الحجم إلى الفهم الأوسع بأن الانحدار يحدث حتمًا عندما يكون هناك ارتباط غير كامل بين كميتين.

ومن بين العقبات التي كان على الباحث التغلب عليها مشكلة قياس الانحدار بين الكميات المعبر عنها بوحدات مختلفة: على سبيل المثال الوزن والقدرة على العزف على البيانو. ويتم قياسها من خلال أخذ جميع السكان كمعيار للمقارنة. تخيل أنه تم قياس وزن 100 طفل من جميع صفوف المدرسة الابتدائية من حيث وزنهم وقدرتهم على اللعب، وتم ترتيب النتائج بالترتيب، من الحد الأقصى إلى الحد الأدنى لقيمة كل مؤشر. إذا كانت جين هي الثالثة في الموسيقى والسابعة والعشرين في الوزن، فيمكنك القول إنها أفضل في العزف على البيانو من طولها. دعونا نضع بعض الافتراضات من أجل البساطة.

أي عمر:

النجاح في العزف على البيانو يعتمد فقط على عدد ساعات التدريب في الأسبوع.

الوزن يعتمد فقط على كمية الآيس كريم المستهلكة.

إن تناول الآيس كريم وعدد ساعات دروس الموسيقى في الأسبوع متغيران مستقلان.

يمكننا الآن كتابة بعض المعادلات باستخدام مواضع القائمة (أو الدرجات القياسية كما يسميها الإحصائيون):

الوزن = العمر + استهلاك الآيس كريم العزف على البيانو = العمر + ساعات التدريب في الأسبوع

ومن الواضح أنه عند محاولة التنبؤ بأداء البيانو بالوزن، أو العكس، سيظهر الانحدار إلى المتوسط. إذا كان كل ما نعرفه عن توم هو أن وزنه هو الثاني عشر (أعلى بكثير من المتوسط)، فيمكننا أن نستنتج إحصائيًا أن توم ربما يكون أكبر سنًا من المتوسط ​​وربما يستهلك الآيس كريم أكثر من غيره. إذا كان كل ما نعرفه عن باربرا هو أنها في المركز الخامس والثمانين في العزف على البيانو (أقل بكثير من متوسط ​​المجموعة)، فيمكننا أن نستنتج أن باربرا على الأرجح لا تزال شابة وربما تتدرب أقل من غيرها.

معامل الارتباط بين كميتين يتراوح من 0 إلى 1 هو مقياس للوزن النسبي للعوامل المؤثرة في كل منهما. على سبيل المثال، نتشارك جميعًا نصف جيناتنا مع كل من والدينا، وبالنسبة للصفات التي لها تأثير خارجي قليل (مثل الطول)، فإن الارتباط بين الوالدين والطفل يقترب من 0.5. ولتقييم قيمة مقياس الارتباط، سأقدم عدة أمثلة للمعاملات:

العلاقة بين أحجام الأشياء المقاسة بدقة بالوحدات المترية أو الإمبراطورية هي 1. جميع العوامل المحددة تؤثر على كلا القياسين.

العلاقة بين الوزن والطول المُبلغ عنهما ذاتيًا للرجال الأمريكيين البالغين هي 0.41. إذا تم تضمين النساء والأطفال في المجموعة، فإن الارتباط سيكون أعلى بكثير لأن جنس الفرد وعمره يؤثران على تقييمه لطوله ووزنه، مما يزيد من القيم النسبية للعوامل المشتركة.

العلاقة بين اختبارات القدرات الأكاديمية في المدرسة الثانوية والمعدل التراكمي للكلية تبلغ حوالي 0.60. ومع ذلك، فإن العلاقة بين اختبارات الكفاءة ونجاح الخريجين أقل بكثير - ويرجع ذلك إلى حد كبير إلى أن مستوى القدرة في هذه المجموعة لا يختلف كثيرًا. إذا كانت قدرات الجميع هي نفسها تقريبًا، فمن غير المرجح أن يؤثر الاختلاف في هذه المعلمة بشكل كبير على مقياس النجاح.

ويبلغ الارتباط بين الدخل والتحصيل التعليمي في الولايات المتحدة حوالي 0.40.

العلاقة بين دخل الأسرة وآخر أربعة أرقام من رقم هاتفها هي 0.

لقد استغرق فرانسيس غالتون عدة سنوات لفهم أن الارتباط والانحدار ليسا مفهومين مختلفين، بل منظوران لواحد. القاعدة العامة بسيطة للغاية، ولكن لها عواقب مدهشة: في الحالات التي لا يكون فيها الارتباط مثاليًا، يحدث الانحدار إلى المتوسط. لتوضيح اكتشاف جالتون، دعونا نأخذ اقتراحًا يجده الكثيرون مثيرًا للاهتمام:

غالباً ما تتزوج النساء الأذكياء من رجال أقل ذكاءً.

إذا طلبت من أصدقائك في إحدى الحفلات العثور على تفسير لهذه الحقيقة، نضمن لك محادثة ممتعة. حتى الأشخاص المطلعون على الإحصائيات سوف يفسرون هذا البيان من الناحية السببية. قد يظن البعض أن المرأة الذكية تسعى إلى تجنب المنافسة مع الرجل الأذكياء؛ سيفترض شخص ما أنهم مجبرون على تقديم تنازلات عند اختيار الزوج بسبب حقيقة أن الرجال الأذكياء لا يريدون التنافس مع النساء الأذكياء؛ وسيقدم آخرون تفسيرات أكثر بعيدة الاحتمال. والآن فكر في العبارة التالية:

العلاقة بين درجات ذكاء الزوجين ليست مثالية.

بالطبع، هذا البيان صحيح - وغير مثير للاهتمام تماما. وفي هذه الحالة، لا أحد يتوقع الارتباط المثالي. لا يوجد شيء يمكن شرحه هنا. ومع ذلك، من وجهة نظر جبرية، فإن هاتين العبارتين متكافئتان. إذا لم يكن الارتباط بين درجات ذكاء الزوجين مثاليا (وإذا لم يختلف النساء والرجال في المتوسط ​​في الذكاء)، فمن المحتم رياضيا أن تتزوج النساء الأذكياء من رجال أقل ذكاء في المتوسط ​​(والعكس صحيح). . لا يمكن أن يكون الانحدار الملحوظ إلى المتوسط ​​أكثر إثارة للاهتمام أو أكثر قابلية للتفسير من الارتباط غير المثالي.

يمكن للمرء أن يتعاطف مع جالتون - فمحاولات فهم وتفسير ظاهرة الانحدار ليست سهلة. وكما لاحظ الإحصائي ديفيد فريدمان من عجيب المفارقات أنه إذا أثيرت مسألة التراجع في المحاكمة، فمن المؤكد أن الطرف الذي يتعين عليه أن يشرحها لهيئة المحلفين سيخسر. لماذا هذا صعب جدا؟ يتم ذكر السبب الرئيسي لهذه الصعوبة بانتظام في هذا الكتاب: عقولنا عرضة للتفسيرات السببية ولا تتعامل بشكل جيد مع "الإحصائيات البسيطة". إذا كان بعض الأحداث يجذب انتباهنا، تبدأ الذاكرة الترابطية في البحث عن سببها، أو بالأحرى، يتم تنشيط أي سبب مخزن بالفعل في الذاكرة. عند اكتشاف الانحدار يتم البحث عن تفسيرات سببية، لكنها ستكون غير صحيحة، لأن في الواقع الانحدار إلى الوسط له تفسير، ولكن لا توجد أسباب. أحد الأشياء التي تلفت انتباهنا خلال بطولات الجولف هو أن الرياضيين الذين يلعبون جيدًا في اليوم الأول غالبًا ما يلعبون بشكل أسوأ بعد ذلك. أفضل تفسير هو أن هؤلاء اللاعبين كانوا محظوظين بشكل غير عادي في اليوم الأول، لكن هذا التفسير يفتقر إلى قوة السببية التي تفضلها عقولنا. نحن ندفع أموالاً جيدة لأولئك الذين يأتون بتفسيرات مثيرة للاهتمام لتأثيرات الانحدار بالنسبة لنا. إن المعلق على قناة أخبار الأعمال الذي يقول بشكل صحيح أن "هذا العام كان أفضل للأعمال لأن العام الماضي كان سيئاً" من المرجح ألا يستمر طويلاً على الهواء.

تنشأ الصعوبات التي نواجهها في فهم الانحدار من كل من النظام 1 والنظام 2. وبدون مزيد من التعليمات (وفي كثير من الحالات، حتى بعد بعض الإلمام بالإحصاءات)، تظل العلاقة بين الارتباط والانحدار غير واضحة. من الصعب على النظام 2 فهمه واستيعابه. ويرجع ذلك جزئيًا إلى إصرار النظام 1 على تقديم تفسيرات سببية.

ثلاثة أشهر من استخدام مشروبات الطاقة لعلاج الاكتئاب لدى الأطفال تؤدي إلى تحسينات كبيرة.

لقد قمت بتأليف هذا العنوان، ولكن ما يصفه صحيح: إن إعطاء مشروبات الطاقة للأطفال المصابين بالاكتئاب على مدى فترة من الزمن يظهر تحسنًا ملحوظًا من الناحية السريرية. وبالمثل، فإن الأطفال المصابين بالاكتئاب الذين يقفون على رؤوسهم لمدة خمس دقائق أو القطط الأليفة لمدة عشرين دقيقة كل يوم سوف يظهرون تحسنًا أيضًا. سيستنتج معظم قراء هذه العناوين تلقائيًا أن التحسن كان بسبب مشروب الطاقة أو مداعبة القطة، لكن هذا استنتاج لا أساس له من الصحة على الإطلاق. الأطفال المكتئبون هم مجموعة متطرفة، وهذه المجموعات تتراجع نحو المتوسط ​​مع مرور الوقت. إن الارتباط بين مستويات الاكتئاب عبر الاختبارات المتعاقبة غير كامل، لذا فإن التراجع إلى المتوسط ​​أمر لا مفر منه: فالأطفال المصابون بالاكتئاب سوف يتحسنون قليلاً بمرور الوقت، حتى لو لم يربيوا القطط الأليفة أو يشربوا ريد بول. لاستنتاج أن مشروب الطاقة - أو أي علاج آخر - فعال، فمن الضروري مقارنة مجموعة من المرضى الذين يتلقون ذلك مع مجموعة مراقبة لا تتلقى أي علاج على الإطلاق (أو، الأفضل من ذلك، دواء وهمي). من المتوقع أن تظهر المجموعة الضابطة تحسنًا بسبب الانحدار وحده، والغرض من التجربة هو معرفة ما إذا كان المرضى الذين يتلقون العلاج يتحسنون أكثر مما يفسره الانحدار.

لا تقتصر الإسناد السببي غير الصحيح لتأثير الانحدار على قراء الصحافة الشعبية. قام الإحصائي هوارد وينر بتجميع قائمة طويلة من الباحثين البارزين الذين ارتكبوا نفس الخطأ، أي الخلط بين الارتباط والسببية. يعد تأثير الانحدار مصدرًا شائعًا للمشاكل في البحث، ويطور العلماء ذوو الخبرة خوفًا صحيًا من المزالق، أي الاستنتاجات السببية غير المبررة.

أحد الأمثلة المفضلة لدي عن الخطأ في التنبؤات البديهية يأتي من كتاب ماكس بازرمان الممتاز، أحكام القيمة في اتخاذ القرارات الإدارية، وهو مقتبس من:

أنت تتوقع المبيعات في سلسلة من المتاجر. جميع متاجر السلسلة متشابهة في الحجم والتشكيلة، لكن حجم مبيعاتها يختلف باختلاف الموقع والمنافسة والعوامل العشوائية المختلفة. لقد عُرضت عليك نتائج عام 2011 وطُلب منك تحديد المبيعات في عام 2012. يُطلب منك الالتزام بالتوقعات العامة للاقتصاديين بأن نمو المبيعات الإجمالي سيكون 10%. كيف ستكمل الجدول التالي؟

بعد قراءة هذا الفصل تعلم أن الحل البديهي لإضافة 10% إلى مبيعات كل متجر هو الحل الخاطئ. يجب أن تكون التوقعات تنازلية، أي أنه بالنسبة للمتاجر ذات النتائج السيئة، يجب عليك إضافة أكثر من 10٪، والباقي - أقل، أو حتى طرح شيء ما. ومع ذلك، فإن معظم الناس في حيرة من هذه المهمة: لماذا نسأل عن ما هو واضح؟ كما اكتشف جالتون، فإن مفهوم الانحدار ليس واضحا.