การถดถอยสู่ลูกเฉลี่ย ทำความเข้าใจการถดถอยถึงค่าเฉลี่ย การประยุกต์ใช้ในโลกการเงิน

คุณเชื่อไหมว่าหลังจากโชคดี ก็มักจะมีโชคร้ายตามมาเสมอ เพราะเหตุใด ตัวอย่างเช่น หากวันนี้คุณได้รับข้อเสนอสุดพิเศษในโป๊กเกอร์ พรุ่งนี้แม้แต่เครื่องจักรที่จ่ายผ้าคลุมรองเท้าก็จะเพิกเฉยต่อคุณ หรือบางทีคุณอาจคิดว่าความสามารถในการตัดด้วยเลื่อยจิ๊กซอว์หรือความงามอันน่าพิศวงของคุณจะต้องสืบทอดมาจากลูก ๆ ของคุณ? หากคุณมั่นใจในสิ่งนี้ สถิติจะพูดถึงปัญหานี้อย่างเข้มงวดมากขึ้น หลักการทางสถิติที่เรียกว่า "การถดถอยสู่ค่าเฉลี่ย" จะช่วยอธิบายปรากฏการณ์ดังกล่าวได้ การเพิกเฉยอาจนำไปสู่อารมณ์เสียอย่างน้อยที่สุด และสูงสุดถึงขั้นสร้างความผิดหวังในชีวิต จริงๆแล้วความคิดนั้นง่ายมาก มาจัดเรียงกัน

พรสวรรค์หรืออัจฉริยะ โชคลาภ ความล้มเหลว หรือปรากฏการณ์พิเศษอื่นๆ นั้นหายากมาก กล่าวคือ โอกาสที่จะเกิดขึ้นนั้นมีน้อยมาก ความน่าจะเป็นที่เหตุการณ์ที่เกิดขึ้นไม่บ่อยจะเกิดขึ้นซ้ำจะยิ่งน้อยลงไปอีก เนื่องจากใช้การคูณความน่าจะเป็นเพื่อค้นหา ดังนั้นหลังจากเหตุการณ์สุดขั้วใดๆ (ดีหรือไม่ดี) ทุกอย่างก็กลับสู่สภาวะปกติ มีจุดสำคัญมากที่นี่ - ชีวิตไม่ได้ชดเชยความล้มเหลวหรือชัยชนะของคุณ เพียงแต่ว่าตัวบ่งชี้โชคของคุณพุ่งเข้าหาค่าเฉลี่ยเท่านั้น นี่คือการถดถอยสู่ค่าเฉลี่ย (จากภาษาละติน regressio - การเคลื่อนไหวแบบย้อนกลับ) สิ่งเดียวกันนี้เกิดขึ้นกับการเปลี่ยนแปลงของรุ่น ลูกๆ ของคุณจะมีความสามารถอย่างแน่นอน แต่น่าจะอยู่ในด้านอื่น

แนวคิดเรื่องการถดถอยถูกนำมาใช้ครั้งแรกโดยเซอร์ ฟรานซิส กัลตัน นักวิจัยทั่วไปชาวอังกฤษ เขามีหน้าที่รับผิดชอบแนวคิดพื้นฐานอีกประการหนึ่งของสถิติ - สหสัมพันธ์ ในขณะที่ศึกษาเรื่องพันธุกรรม Galton ได้วัดทุกสิ่งที่สามารถวัดได้ในเพื่อนร่วมชาติของเขา เช่น หัว จมูก มือ จำนวนการเคลื่อนไหวจุกจิก ระดับความน่าดึงดูดใจ ฯลฯ กัลตันเชื่อว่าลักษณะของบุคคล ความสามารถทางจิต และพรสวรรค์ของเขานั้นถูกกำหนดโดยพันธุกรรมและอยู่ภายใต้หลักการของการกระจายแบบปกติ

ในผลงานชิ้นหนึ่งของเขา เขาพยายามค้นหาความเชื่อมโยงระหว่างความสูงของพ่อแม่กับการเติบโตของลูก การพึ่งพาอาศัยกันนั้นชัดเจน - พ่อแม่ตัวสูงให้กำเนิดลูกตัวสูงและในทางกลับกัน แต่กัลตันยังค้นพบรูปแบบที่ไม่สมเหตุสมผลอีกด้วย ตัวอย่างเช่น เขาพบว่าพ่อแม่ที่มีส่วนสูงสูงกว่าค่าเฉลี่ยมีลูกที่สูงแต่ไม่ได้สูงเท่ากับพ่อแม่ และผู้ปกครองที่มีส่วนสูงต่ำกว่าค่าเฉลี่ยจะมีลูกที่ตัวเตี้ยแต่ไม่เตี้ยกว่าพ่อแม่ ซึ่งหมายความว่าความสูงของเด็กที่เป็นผู้ใหญ่เบี่ยงเบนไปจากค่าเฉลี่ยน้อยกว่าความสูงของพ่อแม่ นั่นคือลูกหลาน "ถอยหลัง" ไปสู่ค่าเฉลี่ยมากขึ้น ที่จริงแล้ว Galton เรียกปรากฏการณ์นี้ว่า "การถดถอยสู่ความธรรมดา" ซึ่งสะท้อนความหมายได้แม่นยำยิ่งขึ้น IMHO

Galton สร้างกราฟที่มีลักษณะคล้าย Scatterplot สมัยใหม่

เขาแบ่งคนออกเป็นกลุ่มตามความสูง (เป็นนิ้ว) คำนวณค่าเฉลี่ยเลขคณิตสำหรับแต่ละกลุ่มและทำเครื่องหมายค่าเหล่านี้บนกราฟ ต่อไป กัลตันประมาณจุดเหล่านี้และสร้างเส้นตรงที่เรียกว่าเส้นถดถอย กัลตันคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ด้วยซ้ำ - 2/3 ซึ่งหมายความว่าส่วนสูงของเด็กเพียง 67% เท่านั้นที่กำหนดโดยความสูงของพ่อแม่
กราฟอ่านว่า: “เมื่อความสูงเฉลี่ยของพ่อแม่มากกว่าความสูงเฉลี่ยของประชากร ลูกมักจะเตี้ยกว่าพ่อแม่ ในทางกลับกัน เมื่อความสูงเฉลี่ยของพ่อแม่น้อยกว่าค่าเฉลี่ยของประชากร ลูกก็มีแนวโน้มที่จะสูงกว่าพ่อแม่ของพวกเขา”

แม้ว่าข้อสรุปและแนวความคิดของ Galton ในตอนนี้จะถูกตั้งคำถามอย่างอ่อนโยนมากกว่าที่จะวิพากษ์วิจารณ์ แต่ก็มีความสำคัญในการปฏิวัติในด้านสถิติ ต้องขอบคุณนักวิทยาศาสตร์ผู้รอบรู้รายนี้ ทำให้ปัจจุบันมีการใช้การวิเคราะห์การถดถอยและสหสัมพันธ์อย่างกว้างขวาง

ด้านล่างนี้เราได้สร้าง Scatterplot (หรือที่เรียกว่า Scatterplot) สำหรับข้อมูลที่รวบรวมโดย Galton ในปี พ.ศ. 2429 เขาได้นำเสนอแท็บเล็ตที่แสดงส่วนสูงของเด็กที่เป็นผู้ใหญ่ 928 คน และส่วนสูงของพ่อแม่ 205 คน (ค่าเฉลี่ยถ่วงน้ำหนักของส่วนสูงของพ่อและแม่) ตั้งแต่นั้นมา ข้อมูลนี้มักจะถูกใช้เป็นตัวอย่างที่ดีเยี่ยมของการถดถอยของค่าเฉลี่ย

ทำความเข้าใจการถดถอยถึงค่าเฉลี่ย

ไม่ว่าจะมองข้ามหรืออธิบายผิด ปรากฏการณ์ของการถดถอยเป็นสิ่งแปลกปลอมในจิตใจของมนุษย์ การถดถอยได้รับการยอมรับและเข้าใจเป็นครั้งแรกหลังจากทฤษฎีแรงโน้มถ่วงและแคลคูลัสเชิงอนุพันธ์สองร้อยปี ยิ่งไปกว่านั้น ต้องใช้จิตใจที่เก่งที่สุดคนหนึ่งของอังกฤษในศตวรรษที่ 19 เพื่ออธิบายการถดถอย

ปรากฏการณ์นี้อธิบายครั้งแรกโดยเซอร์ ฟรานซิส กัลตัน ลูกพี่ลูกน้องคนที่สองของชาร์ลส ดาร์วิน ซึ่งมีความรู้สารานุกรมอย่างแท้จริง ในบทความเรื่อง "Regression to the Mean in Inheritance" ซึ่งตีพิมพ์ในปี พ.ศ. 2429 เขาได้รายงานการวัดเมล็ดพันธุ์หลายรุ่นติดต่อกัน และเปรียบเทียบความสูงของเด็กกับความสูงของพ่อแม่ เขาเขียนเกี่ยวกับเมล็ดพันธุ์ดังนี้:

“การวิจัยให้ผลลัพธ์ที่น่าสนใจ และจากการวิจัยดังกล่าว ในวันที่ 9 กุมภาพันธ์ พ.ศ. 2420 ฉันได้บรรยายให้ราชสมาคม การทดลองแสดงให้เห็นว่าลูกหลานไม่ได้มีขนาดเท่ากับพ่อแม่ แต่กลับกลายเป็นเรื่องธรรมดามากขึ้นเสมอนั่นคือพ่อแม่ที่มีขนาดใหญ่น้อยลงหรือมีขนาดเล็กกว่า... การทดลองยังแสดงให้เห็นว่าโดยเฉลี่ยแล้วการถดถอยของลูกหลาน เป็นสัดส่วนโดยตรงกับการเบี่ยงเบนของผู้ปกครองจากค่าเฉลี่ย”

เห็นได้ชัดว่ากัลตันคาดหวังให้ผู้ฟังที่มีความรู้จาก Royal Association ซึ่งเป็นองค์กรวิจัยอิสระที่เก่าแก่ที่สุดในโลก จะต้องประหลาดใจกับ "ผลลัพธ์ที่น่าสนใจ" ของเขาไม่แพ้กัน แต่สิ่งที่น่าสนใจที่สุดคือเขารู้สึกประหลาดใจกับรูปแบบทางสถิติตามปกติ การถดถอยเป็นที่แพร่หลาย แต่เราไม่รู้จักมัน เธอซ่อนตัวอยู่ในสายตาธรรมดา ภายในไม่กี่ปี ด้วยความช่วยเหลือจากนักสถิติผู้มีชื่อเสียงในสมัยของเขา Galton ได้ค้นพบการถดถอยของขนาดทางพันธุกรรมไปสู่ความเข้าใจที่กว้างขึ้นว่าการถดถอยจะเกิดขึ้นอย่างหลีกเลี่ยงไม่ได้เมื่อมีความสัมพันธ์ที่ไม่สมบูรณ์ระหว่างสองปริมาณ

อุปสรรคที่นักวิจัยต้องเอาชนะคือปัญหาในการวัดการถดถอยระหว่างปริมาณที่แสดงในหน่วยต่างๆ เช่น น้ำหนักและความสามารถในการเล่นเปียโน วัดโดยนำประชากรทั้งหมดมาเป็นมาตรฐานในการเปรียบเทียบ ลองนึกภาพเด็ก 100 คนจากทุกชั้นประถมศึกษาถูกวัดน้ำหนักและความสามารถในการเล่นของพวกเขา และจัดอันดับผลลัพธ์ตามลำดับจากค่าสูงสุดไปจนถึงค่าต่ำสุดของตัวบ่งชี้แต่ละตัว ถ้าเจนเป็นอันดับสามในด้านดนตรีและมีน้ำหนักอันดับที่ 27 คุณสามารถพูดได้ว่าเธอเล่นเปียโนได้ดีกว่าส่วนสูง เรามาตั้งสมมติฐานเพื่อความเรียบง่ายกันดีกว่า

อายุเท่าใดก็ได้:

ความสำเร็จในการเล่นเปียโนขึ้นอยู่กับจำนวนชั่วโมงฝึกต่อสัปดาห์เท่านั้น

น้ำหนักขึ้นอยู่กับปริมาณไอศกรีมที่บริโภคเท่านั้น

การรับประทานไอศกรีมและจำนวนชั่วโมงเรียนดนตรีต่อสัปดาห์เป็นตัวแปรอิสระ

ตอนนี้เราสามารถเขียนสมการโดยใช้ตำแหน่งรายการ (หรือคะแนนมาตรฐานตามที่นักสถิติเรียก)

น้ำหนัก = อายุ + การบริโภคไอศกรีม การเล่นเปียโน = อายุ + ชั่วโมงฝึกต่อสัปดาห์

แน่นอนว่าเมื่อพยายามทำนายประสิทธิภาพเปียโนตามน้ำหนัก หรือในทางกลับกัน การถดถอยของค่าเฉลี่ยจะปรากฏขึ้น หากสิ่งที่เรารู้เกี่ยวกับทอมก็คือเขามีน้ำหนักตัวอยู่ที่สิบสอง (สูงกว่าค่าเฉลี่ยมาก) เราสามารถสรุปทางสถิติได้ว่าทอมมีอายุมากกว่าค่าเฉลี่ยและอาจกินไอศกรีมมากกว่าคนอื่นๆ หากสิ่งที่เรารู้เกี่ยวกับบาร์บาราก็คือเธอเล่นเปียโนได้แปดสิบห้า (ต่ำกว่าค่าเฉลี่ยของกลุ่มมาก) เราก็สรุปได้ว่าบาร์บาร่ายังเด็กและอาจฝึกซ้อมน้อยกว่าคนอื่นๆ

ค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างสองปริมาณ ตั้งแต่ 0 ถึง 1 เป็นการวัดน้ำหนักสัมพัทธ์ของปัจจัยที่มีอิทธิพลต่อทั้งสองปริมาณ ตัวอย่างเช่น เราทุกคนมียีนร่วมกันครึ่งหนึ่งกับพ่อแม่แต่ละคน และสำหรับลักษณะที่มีอิทธิพลภายนอกเพียงเล็กน้อย (เช่น ความสูง) ความสัมพันธ์ระหว่างพ่อแม่และลูกจะใกล้เคียงกับ 0.5 เพื่อประเมินค่าของการวัดความสัมพันธ์ ฉันจะยกตัวอย่างค่าสัมประสิทธิ์หลายตัวอย่าง:

ความสัมพันธ์ระหว่างขนาดของวัตถุที่วัดได้อย่างแม่นยำในหน่วยเมตริกหรือจักรวรรดิคือ 1 ปัจจัยที่กำหนดทั้งหมดส่งผลต่อการวัดทั้งสอง

ความสัมพันธ์ระหว่างน้ำหนักและส่วนสูงที่รายงานด้วยตนเองสำหรับผู้ชายอเมริกันที่เป็นผู้ใหญ่คือ 0.41 หากรวมผู้หญิงและเด็กไว้ในกลุ่มความสัมพันธ์จะสูงขึ้นมากเนื่องจากเพศและอายุของแต่ละบุคคลมีอิทธิพลต่อการประเมินส่วนสูงและน้ำหนักของตน ซึ่งจะเพิ่มค่าสัมพัทธ์ของปัจจัยทั่วไป

ความสัมพันธ์ระหว่างการทดสอบความสามารถทางวิชาการระดับมัธยมศึกษาตอนปลายกับเกรดเฉลี่ยของวิทยาลัยคือประมาณ 0.60 อย่างไรก็ตาม ความสัมพันธ์ระหว่างการทดสอบความถนัดกับความสำเร็จของผู้สำเร็จการศึกษานั้นต่ำกว่ามาก โดยส่วนใหญ่เป็นเพราะระดับความสามารถภายในกลุ่มนี้ไม่แตกต่างกันมากนัก หากความสามารถของทุกคนใกล้เคียงกัน ความแตกต่างในพารามิเตอร์นี้ไม่น่าจะส่งผลกระทบอย่างมากต่อการวัดความสำเร็จ

ความสัมพันธ์ระหว่างรายได้กับความสำเร็จทางการศึกษาในสหรัฐอเมริกามีค่าประมาณ 0.40

ความสัมพันธ์ระหว่างรายได้ของครอบครัวกับหมายเลขโทรศัพท์สี่หลักสุดท้ายคือ 0

Francis Galton ต้องใช้เวลาหลายปีกว่าจะเข้าใจว่าความสัมพันธ์และการถดถอยไม่ใช่แนวคิดที่แตกต่างกัน แต่เป็นสองมุมมองต่อแนวคิดเดียว กฎทั่วไปนั้นค่อนข้างง่าย แต่ให้ผลที่ตามมาที่น่าประหลาดใจ ในกรณีที่ความสัมพันธ์ไม่สมบูรณ์แบบ การถดถอยของค่าเฉลี่ยจะเกิดขึ้น เพื่ออธิบายการค้นพบของ Galton เรามาดูข้อแนะนำที่หลายๆ คนพบว่าค่อนข้างน่าสงสัย:

ผู้หญิงฉลาดมักจะแต่งงานกับผู้ชายที่ฉลาดน้อยกว่า

หากคุณขอให้เพื่อนในงานปาร์ตี้ค้นหาคำอธิบายเกี่ยวกับข้อเท็จจริงนี้ รับรองได้ว่าการสนทนาของคุณจะน่าสนใจ แม้แต่คนที่คุ้นเคยกับสถิติก็ยังตีความข้อความนี้ในแง่สาเหตุ บางคนอาจคิดว่าผู้หญิงที่ฉลาดพยายามหลีกเลี่ยงการแข่งขันจากผู้ชายที่ฉลาด บางคนจะคิดว่าพวกเขาถูกบังคับให้ประนีประนอมเมื่อเลือกคู่สมรสเนื่องจากผู้ชายที่ฉลาดไม่ต้องการแข่งขันกับผู้หญิงที่ฉลาด คนอื่นจะเสนอคำอธิบายที่ลึกซึ้งยิ่งขึ้น ตอนนี้ให้คิดถึงข้อความต่อไปนี้:

ความสัมพันธ์ระหว่างคะแนนสติปัญญาของคู่สมรสยังไม่สมบูรณ์แบบ

แน่นอนว่าข้อความนี้เป็นจริง - และไม่น่าสนใจเลย ในกรณีนี้ ไม่มีใครคาดหวังความสัมพันธ์ที่สมบูรณ์แบบ ไม่มีอะไรจะอธิบายที่นี่ อย่างไรก็ตาม จากมุมมองพีชคณิต ทั้งสองข้อความนี้เทียบเท่ากัน หากความสัมพันธ์ระหว่างคะแนนเชาวน์ปัญญาของคู่สมรสไม่สมบูรณ์ (และหากผู้หญิงและผู้ชายมีสติปัญญาโดยเฉลี่ยไม่แตกต่างกัน) ในทางคณิตศาสตร์ก็หลีกเลี่ยงไม่ได้ที่ผู้หญิงที่ฉลาดจะแต่งงานกับผู้ชายที่โดยเฉลี่ยแล้วฉลาดน้อยกว่า (และในทางกลับกัน) . การถดถอยที่สังเกตได้กับค่าเฉลี่ยไม่สามารถน่าสนใจหรืออธิบายได้มากไปกว่าความสัมพันธ์ที่ไม่เหมาะ

เราสามารถเห็นอกเห็นใจ Galton - ความพยายามที่จะเข้าใจและอธิบายปรากฏการณ์ของการถดถอยไม่ใช่เรื่องง่าย ดังที่นักสถิติ เดวิด ฟรีดแมน ตั้งข้อสังเกตอย่างแดกดัน หากปัญหาการถดถอยเกิดขึ้นในการพิจารณาคดี ฝ่ายที่ต้องอธิบายให้คณะลูกขุนเข้าใจจะต้องแพ้อย่างแน่นอน ทำไมมันถึงยากขนาดนี้? เหตุผลหลักของความยากลำบากมีการกล่าวถึงเป็นประจำในหนังสือเล่มนี้: จิตใจของเรามีแนวโน้มที่จะอธิบายสาเหตุและรับมือกับ "สถิติง่ายๆ" ได้ดี หากเหตุการณ์บางอย่างดึงดูดความสนใจของเรา หน่วยความจำเชื่อมโยงจะเริ่มค้นหาสาเหตุของมัน หรือมีเหตุผลใด ๆ ที่เก็บไว้ในหน่วยความจำแล้วจะถูกเปิดใช้งาน เมื่อค้นพบการถดถอย จะต้องหาคำอธิบายเชิงสาเหตุ แต่จะไม่ถูกต้อง เพราะแท้จริงแล้ว การถดถอยหาค่าเฉลี่ยนั้นมีคำอธิบาย แต่ไม่มีสาเหตุ สิ่งหนึ่งที่เราสนใจในระหว่างการแข่งขันกอล์ฟคือนักกีฬาที่เล่นได้ดีในวันแรกมักจะเล่นแย่ลงในภายหลัง คำอธิบายที่ดีที่สุดคือนักกอล์ฟเหล่านี้โชคดีอย่างผิดปกติในวันแรก แต่คำอธิบายนั้นขาดพลังแห่งเหตุที่จิตใจเราชอบ เราจ่ายเงินจำนวนมากให้กับผู้ที่คิดคำอธิบายที่น่าสนใจเกี่ยวกับผลกระทบจากการถดถอยให้เรา ผู้วิจารณ์ในช่องข่าวธุรกิจซึ่งกล่าวอย่างถูกต้องว่า “ปีนี้ดีกว่าสำหรับธุรกิจเพราะปีที่แล้วแย่” น่าจะออกอากาศได้ไม่นาน

ความยากลำบากของเราในการทำความเข้าใจการถดถอยเกิดขึ้นจากทั้งระบบ 1 และระบบ 2 หากไม่มีคำแนะนำเพิ่มเติม (และในหลายกรณี แม้จะคุ้นเคยกับสถิติแล้ว) ความสัมพันธ์ระหว่างสหสัมพันธ์และการถดถอยยังคงไม่ชัดเจน เป็นเรื่องยากสำหรับระบบ 2 ที่จะเข้าใจและทำให้มันอยู่ภายใน ส่วนหนึ่งเป็นเพราะระบบ 1 ยืนกรานในการให้คำอธิบายเชิงสาเหตุ

การใช้เครื่องดื่มชูกำลังเพื่อรักษาภาวะซึมเศร้าในเด็กเป็นเวลาสามเดือนทำให้เกิดการปรับปรุงที่สำคัญ

ฉันเขียนพาดหัวนี้ แต่สิ่งที่อธิบายไว้นั้นเป็นความจริง: การให้เครื่องดื่มชูกำลังแก่เด็กที่เป็นโรคซึมเศร้าเป็นระยะเวลาหนึ่งแสดงให้เห็นพัฒนาการที่ดีขึ้นอย่างมีนัยสำคัญทางคลินิก ในทำนองเดียวกัน เด็กที่เป็นโรคซึมเศร้าที่ยืนบนหัวเป็นเวลาห้านาทีหรือเลี้ยงแมวเป็นเวลายี่สิบนาทีทุกวันก็จะมีพัฒนาการที่ดีขึ้นเช่นกัน ผู้อ่านหัวข้อข่าวดังกล่าวส่วนใหญ่จะสรุปโดยอัตโนมัติว่าการปรับปรุงนั้นเกิดจากเครื่องดื่มชูกำลังหรือการลูบคลำแมว แต่นี่เป็นข้อสรุปที่ไม่มีมูลเลย เด็กที่เป็นโรคซึมเศร้าเป็นกลุ่มที่มีความสุดโต่ง และกลุ่มดังกล่าวจะถดถอยลงสู่ระดับเฉลี่ยเมื่อเวลาผ่านไป ความสัมพันธ์ระหว่างระดับภาวะซึมเศร้าในการทดสอบต่อเนื่องๆ นั้นไม่สมบูรณ์ ดังนั้นการถดถอยกับค่าเฉลี่ยจึงเป็นสิ่งที่หลีกเลี่ยงไม่ได้: เด็กที่มีภาวะซึมเศร้าจะดีขึ้นเล็กน้อยเมื่อเวลาผ่านไป แม้ว่าพวกเขาจะไม่ได้เลี้ยงแมวหรือดื่มกระทิงแดงก็ตาม เพื่อสรุปว่าเครื่องดื่มชูกำลังหรือการรักษาอื่นๆ มีประสิทธิผล จำเป็นต้องเปรียบเทียบกลุ่มผู้ป่วยที่ได้รับเครื่องดื่มดังกล่าวกับกลุ่มควบคุมที่ไม่ได้รับการรักษาเลย (หรือที่ดีกว่าคือยาหลอก) กลุ่มควบคุมคาดว่าจะแสดงการปรับปรุงเนื่องจากการถดถอยเพียงอย่างเดียว และวัตถุประสงค์ของการทดลองคือเพื่อค้นหาว่าผู้ป่วยที่ได้รับการรักษามีการปรับปรุงมากกว่าที่อธิบายโดยการถดถอยหรือไม่

การระบุแหล่งที่มาที่ไม่ถูกต้องของเอฟเฟกต์การถดถอยไม่ได้จำกัดอยู่เพียงผู้อ่านสื่อยอดนิยมเท่านั้น นักสถิติ Howard Weiner ได้รวบรวมรายชื่อนักวิจัยที่มีชื่อเสียงจำนวนมากมายที่ทำผิดพลาดแบบเดียวกัน นั่นก็คือ ทำให้เกิดความสับสนระหว่างความสัมพันธ์และสาเหตุ ผลจากการถดถอยเป็นสาเหตุของปัญหาที่พบบ่อยในการวิจัย และนักวิทยาศาสตร์ที่มีประสบการณ์ก็เกิดความกลัวต่อหลุมพราง ซึ่งก็คือ การอนุมานเชิงสาเหตุที่ไม่สมเหตุสมผล

หนึ่งในตัวอย่างข้อผิดพลาดในการคาดเดาตามสัญชาตญาณที่ฉันชื่นชอบมาจากหนังสือยอดเยี่ยมของ Max Bazerman เรื่อง Value Judgements in Management Decision Making และดัดแปลงมาจาก:

คุณกำลังคาดการณ์ยอดขายในร้านค้าในเครือ ร้านค้าทั้งหมดในเครือมีขนาดและประเภทสินค้าใกล้เคียงกัน แต่ปริมาณการขายจะแตกต่างกันไปตามสถานที่ตั้ง การแข่งขัน และปัจจัยสุ่มต่างๆ คุณได้รับการนำเสนอพร้อมผลลัพธ์สำหรับปี 2554 และขอให้พิจารณายอดขายในปี 2555 คุณได้รับคำสั่งให้ยึดตามการคาดการณ์ทั่วไปของนักเศรษฐศาสตร์ที่ว่ายอดขายโดยรวมจะเติบโตที่ 10% คุณจะกรอกตารางต่อไปนี้ให้สมบูรณ์อย่างไร?

หลังจากอ่านบทนี้แล้ว คุณจะรู้ว่าวิธีแก้ปัญหาที่ชัดเจนในการเพิ่มยอดขายของแต่ละร้าน 10% นั้นไม่ถูกต้อง การคาดการณ์ควรเป็นแบบถดถอย นั่นคือสำหรับร้านค้าที่มีผลลัพธ์ไม่ดี คุณควรเพิ่มมากกว่า 10% และสำหรับส่วนที่เหลือ - ให้น้อยลงหรือลบบางอย่างออกด้วยซ้ำ อย่างไรก็ตาม คนส่วนใหญ่สับสนกับงานนี้: ทำไมต้องถามถึงสิ่งที่ชัดเจน? ดังที่กัลตันค้นพบ แนวคิดเรื่องการถดถอยไม่ชัดเจน