วิธีแก้ปัญหากำลังสองน้อยที่สุดพร้อมคำอธิบาย ใช้วิธีกำลังสองน้อยที่สุดที่ไหน?
วิธีหนึ่งในการศึกษาความสัมพันธ์แบบสุ่มระหว่างคุณลักษณะคือการวิเคราะห์การถดถอย
การวิเคราะห์การถดถอยเป็นที่มาของสมการการถดถอย โดยใช้ค่าเฉลี่ยของตัวแปรสุ่ม (คุณลักษณะผลลัพธ์) ซึ่งสามารถหาได้หากทราบค่าของตัวแปรอื่น (หรืออื่นๆ) (คุณลักษณะปัจจัย) ประกอบด้วยขั้นตอนต่อไปนี้:
- การเลือกรูปแบบการเชื่อมต่อ (ประเภทของสมการถดถอยเชิงวิเคราะห์)
- การประมาณค่าพารามิเตอร์สมการ
- การประเมินคุณภาพของสมการถดถอยเชิงวิเคราะห์
ในกรณีของความสัมพันธ์เชิงเส้นตรงแบบคู่ สมการการถดถอยจะอยู่ในรูปแบบ: y i =a+b·x i +u i ตัวเลือก สมการที่กำหนด a และ b ถูกประมาณจากการสังเกตทางสถิติของ x และ y ผลลัพธ์ของการประเมินดังกล่าวคือสมการ โดยที่ คือค่าประมาณของพารามิเตอร์ a และ b คือค่าของคุณลักษณะผลลัพธ์ (ตัวแปร) ที่ได้รับจากสมการการถดถอย (ค่าที่คำนวณได้)
ส่วนใหญ่มักใช้ในการประมาณค่าพารามิเตอร์ วิธีกำลังสองน้อยที่สุด (LSM)
วิธีกำลังสองน้อยที่สุดให้การประมาณค่าพารามิเตอร์ของสมการถดถอยที่ดีที่สุด (สม่ำเสมอ มีประสิทธิภาพ และไม่เอนเอียง) แต่เฉพาะในกรณีที่เป็นไปตามสมมติฐานบางประการเกี่ยวกับเทอมสุ่ม (u) และตัวแปรอิสระ (x) เท่านั้น (ดูสมมติฐาน OLS)
ปัญหาของการประมาณค่าพารามิเตอร์เชิงเส้น สมการคู่วิธีกำลังสองน้อยที่สุดมีดังต่อไปนี้: เพื่อให้ได้ค่าประมาณของพารามิเตอร์ ซึ่งผลรวมของการเบี่ยงเบนกำลังสองของค่าที่แท้จริงของคุณลักษณะผลลัพธ์ - y ฉัน จากค่าที่คำนวณได้ - มีค่าน้อยที่สุด
อย่างเป็นทางการ การทดสอบโอแอลเอสสามารถเขียนได้ดังนี้: .
การจำแนกวิธีกำลังสองน้อยที่สุด
- วิธีกำลังสองน้อยที่สุด
- วิธีความน่าจะเป็นสูงสุด (สำหรับแบบจำลองการถดถอยเชิงเส้นแบบคลาสสิกปกติ จะถือว่าค่าปกติของค่าตกค้างของการถดถอย)
- วิธี OLS กำลังสองน้อยที่สุดทั่วไปใช้ในกรณีของความสัมพันธ์อัตโนมัติของข้อผิดพลาด และในกรณีของความแตกต่าง
- วิธีกำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก (กรณีพิเศษของ OLS ที่มีค่าตกค้างเฮเทอโรเซดาสติก)
เรามาอธิบายประเด็นกันดีกว่า วิธีกำลังสองน้อยที่สุดแบบคลาสสิกแบบกราฟิก- เพื่อทำเช่นนี้ เราจะสร้างแผนภาพกระจายตามข้อมูลเชิงสังเกต (x i , y i , i=1;n) ใน ระบบสี่เหลี่ยมพิกัด (จุดพล็อตดังกล่าวเรียกว่าฟิลด์สหสัมพันธ์) ลองเลือกเส้นตรงที่ใกล้กับจุดของฟิลด์สหสัมพันธ์มากที่สุด ตามวิธีกำลังสองน้อยที่สุด เส้นจะถูกเลือกเพื่อให้ผลรวมของกำลังสองของระยะทางแนวตั้งระหว่างจุดของเขตข้อมูลสหสัมพันธ์และเส้นนี้มีค่าน้อยที่สุด
สัญกรณ์ทางคณิตศาสตร์สำหรับปัญหานี้: .
เราทราบค่าของ y i และ x i =1...n ซึ่งเป็นข้อมูลเชิงสังเกต ในฟังก์ชัน S พวกมันแทนค่าคงที่ ตัวแปรในฟังก์ชันนี้เป็นค่าประมาณที่จำเป็นของพารามิเตอร์ - , ในการค้นหาฟังก์ชันขั้นต่ำของตัวแปรสองตัว จำเป็นต้องคำนวณอนุพันธ์ย่อยของฟังก์ชันนี้สำหรับแต่ละพารามิเตอร์และจัดให้เป็นศูนย์ เช่น .
เป็นผลให้เราได้ระบบ 2 ปกติ สมการเชิงเส้น:
ในการแก้ปัญหาระบบนี้ เราจะพบการประมาณค่าพารามิเตอร์ที่ต้องการ:
ความถูกต้องของการคำนวณพารามิเตอร์ของสมการถดถอยสามารถตรวจสอบได้โดยการเปรียบเทียบจำนวน (อาจมีความคลาดเคลื่อนบางประการเนื่องจากการปัดเศษของการคำนวณ)
ในการคำนวณค่าประมาณพารามิเตอร์ คุณสามารถสร้างตารางที่ 1 ได้
เครื่องหมายของสัมประสิทธิ์การถดถอย b บ่งบอกถึงทิศทางของความสัมพันธ์ (ถ้า b >0 ความสัมพันธ์จะเป็นทางตรง ถ้า b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
อย่างเป็นทางการ ค่าของพารามิเตอร์ a คือค่าเฉลี่ยของ y โดยที่ x เท่ากับศูนย์ ถ้าแอตทริบิวต์-ปัจจัยไม่มีและไม่สามารถมีค่าเป็นศูนย์ได้ การตีความพารามิเตอร์ a ข้างต้นก็ไม่สมเหตุสมผล
การประเมินความใกล้ชิดของความสัมพันธ์ระหว่างคุณลักษณะ
ดำเนินการโดยใช้สัมประสิทธิ์สหสัมพันธ์เชิงเส้นคู่ - r x,y สามารถคำนวณได้โดยใช้สูตร: - นอกจากนี้ ค่าสัมประสิทธิ์สหสัมพันธ์คู่เชิงเส้นสามารถหาได้จากค่าสัมประสิทธิ์การถดถอย b: .
ช่วงของค่าที่ยอมรับได้ของค่าสัมประสิทธิ์สหสัมพันธ์เชิงเส้นคือตั้งแต่ –1 ถึง +1 สัญลักษณ์ของค่าสัมประสิทธิ์สหสัมพันธ์บ่งบอกถึงทิศทางของความสัมพันธ์ ถ้า r x, y >0 แสดงว่าการเชื่อมต่อเป็นแบบตรง ถ้า r x, y<0, то связь обратная.
หากสัมประสิทธิ์นี้ใกล้เคียงกับความสามัคคีในขนาด ความสัมพันธ์ระหว่างคุณลักษณะต่างๆ ก็สามารถตีความได้ว่าเป็นความสัมพันธ์เชิงเส้นที่ค่อนข้างใกล้เคียงกัน หากโมดูลมีค่าเท่ากับหนึ่ง ê r x , y ê =1 ความสัมพันธ์ระหว่างคุณลักษณะต่างๆ จะเป็นเชิงเส้นตรงเชิงฟังก์ชัน หากจุดสนใจ x และ y มีความเป็นอิสระเชิงเส้น ดังนั้น r x,y จะใกล้เคียงกับ 0
ในการคำนวณ r x,y คุณสามารถใช้ตารางที่ 1 ได้เช่นกัน
ตารางที่ 1
ไม่มีข้อสังเกต | x ฉัน | ใช่แล้ว | x ฉัน ∙y ฉัน | ||
1 | x1 | คุณ 1 | x 1 ปี 1 | ||
2 | x2 | คุณ 2 | x 2 ปี 2 | ||
... | |||||
n | เอ็กซ์เอ็น | ใช่ | x ไม่ ใช่ | ||
ผลรวมคอลัมน์ | ∑x | ∑ใช่ | ∑xy | ||
ค่าเฉลี่ย |
,
โดยที่ d 2 คือความแปรปรวนของ y อธิบายโดยสมการถดถอย
e 2 - ความแปรปรวนของ y ที่เหลือ (ไม่ได้อธิบายโดยสมการถดถอย)
s 2 y - ผลต่างรวม (ทั้งหมด) ของ y
ค่าสัมประสิทธิ์การกำหนดลักษณะสัดส่วนของความแปรผัน (การกระจายตัว) ของคุณลักษณะผลลัพธ์ y อธิบายโดยการถดถอย (และด้วยเหตุนี้ ตัวประกอบ x) ในรูปแบบรวม (การกระจายตัว) y ค่าสัมประสิทธิ์การกำหนด R 2 yx ใช้ค่าตั้งแต่ 0 ถึง 1 ดังนั้นค่า 1-R 2 yx จะแสดงลักษณะของสัดส่วนของความแปรปรวน y ที่เกิดจากอิทธิพลของปัจจัยอื่น ๆ ที่ไม่ได้คำนึงถึงในแบบจำลองและข้อผิดพลาดของข้อกำหนด
ในห้องอบไอน้ำ การถดถอยเชิงเส้นร 2 yx = ร 2 yx
หากปริมาณทางกายภาพที่แน่นอนขึ้นอยู่กับปริมาณอื่น การพึ่งพานี้สามารถศึกษาได้โดยการวัด y ด้วยค่า x ที่ต่างกัน จากการวัดจะได้ค่าจำนวนหนึ่ง:
x 1, x 2, ..., x ฉัน, ..., xn;
ใช่ 1 , y 2 , ... , ใช่ , ... , ใช่ .
จากข้อมูลของการทดลองดังกล่าว คุณสามารถสร้างกราฟของการพึ่งพา y = ƒ(x) ได้ เส้นโค้งผลลัพธ์ทำให้สามารถตัดสินรูปแบบของฟังก์ชัน ƒ(x) ได้ อย่างไรก็ตาม ยังไม่ทราบค่าสัมประสิทธิ์คงที่ที่เข้าสู่ฟังก์ชันนี้ สามารถกำหนดได้โดยใช้วิธีกำลังสองน้อยที่สุด ตามกฎแล้วจุดทดลองไม่ได้อยู่บนเส้นโค้งพอดี วิธีกำลังสองน้อยที่สุดกำหนดให้ผลรวมของกำลังสองของการเบี่ยงเบนของจุดทดลองจากเส้นโค้ง กล่าวคือ
2 มีขนาดเล็กที่สุด
ในทางปฏิบัติ วิธีนี้มักใช้บ่อยที่สุด (และง่ายที่สุด) ในกรณีของความสัมพันธ์เชิงเส้น เช่น เมื่อไร y = kx หรือ
y = a + bx
การพึ่งพาเชิงเส้นแพร่หลายมากในวิชาฟิสิกส์ และแม้ว่าความสัมพันธ์จะไม่เป็นเชิงเส้น พวกเขามักจะพยายามสร้างกราฟเพื่อให้ได้เส้นตรง ตัวอย่างเช่น หากสันนิษฐานว่าดัชนีการหักเหของแก้ว n มีความสัมพันธ์กับความยาวคลื่นแสง λ โดยความสัมพันธ์ n = a + b/λ 2 ดังนั้นการขึ้นต่อกันของ n บน γ -2 จะถูกพล็อตบนกราฟ ในทางปฏิบัติ วิธีนี้มักใช้บ่อยที่สุด (และง่ายที่สุด) ในกรณีของความสัมพันธ์เชิงเส้น เช่น เมื่อไร(เส้นตรงที่ลากผ่านจุดกำเนิด) ลองเขียนค่า φ ผลรวมของกำลังสองของการเบี่ยงเบนของจุดของเราจากเส้นตรง
ค่าของ φ จะเป็นค่าบวกเสมอ และจะมีค่าน้อยลงเมื่อจุดของเราเข้าใกล้เส้นตรงมากขึ้น วิธีกำลังสองน้อยที่สุดระบุว่าควรเลือกค่าสำหรับ k โดยที่ φ มีค่าต่ำสุด
หรือ
(19)
การคำนวณแสดงให้เห็นว่าข้อผิดพลาดรูต-ค่าเฉลี่ย-กำลังสองในการกำหนดค่าของ k เท่ากับ
, (20)
โดยที่ n คือจำนวนการวัด
ให้เราพิจารณากรณีที่ยากขึ้นเล็กน้อย เมื่อคะแนนต้องเป็นไปตามสูตร y = a + bx(เป็นเส้นตรงไม่ผ่านจุดกำเนิด)
ภารกิจคือการค้นหาโดยกำหนดชุดของค่า x i , y i ค่าที่ดีที่สุดก และ ข
ให้เราเขียนรูปแบบกำลังสอง φ อีกครั้ง ซึ่งเท่ากับผลรวมของการเบี่ยงเบนกำลังสองของจุด x i, y ฉัน จากเส้นตรง
และค้นหาค่าของ a และ b โดยที่ φ มีค่าต่ำสุด
;
.
.การแก้สมการร่วมของสมการเหล่านี้จะได้
(21)
ค่าคลาดเคลื่อนกำลังสองเฉลี่ยรากของการหา a และ b เท่ากัน
(23)
-  (24)
เมื่อประมวลผลผลการวัดโดยใช้วิธีนี้ จะสะดวกที่จะสรุปข้อมูลทั้งหมดในตารางซึ่งมีการคำนวณจำนวนทั้งหมดที่รวมอยู่ในสูตร (19)(24) เบื้องต้น รูปแบบของตารางเหล่านี้แสดงไว้ในตัวอย่างด้านล่าง
ตัวอย่างที่ 1มีการศึกษาสมการพื้นฐานของพลศาสตร์ของการเคลื่อนที่แบบหมุน ε = M/J (เส้นตรงที่ผ่านจุดกำเนิดของพิกัด) ที่ค่าที่แตกต่างกันของโมเมนต์ M จะวัดความเร่งเชิงมุม ε ของวัตถุบางอย่าง จำเป็นต้องกำหนดโมเมนต์ความเฉื่อยของร่างกายนี้ ผลลัพธ์ของการวัดโมเมนต์ของแรงและความเร่งเชิงมุมแสดงอยู่ในคอลัมน์ที่สองและสาม ตารางที่ 5.
ตารางที่ 5
n | เอ็ม เอ็น ม | ε, ส -1 | ม.2 | เอ็ม ε | ε - กม | (ε - กม.) 2 |
1 | 1.44 | 0.52 | 2.0736 | 0.7488 | 0.039432 | 0.001555 |
2 | 3.12 | 1.06 | 9.7344 | 3.3072 | 0.018768 | 0.000352 |
3 | 4.59 | 1.45 | 21.0681 | 6.6555 | -0.08181 | 0.006693 |
4 | 5.90 | 1.92 | 34.81 | 11.328 | -0.049 | 0.002401 |
5 | 7.45 | 2.56 | 55.5025 | 19.072 | 0.073725 | 0.005435 |
∑ | | | 123.1886 | 41.1115 | | 0.016436 |
การใช้สูตร (19) เรากำหนด:
.
ในการหาค่าคลาดเคลื่อนกำลังสองเฉลี่ยรูท เราใช้สูตร (20)
0.005775กก-1 · ม -2 .
ตามสูตร (18) ที่เรามี
; .เอสเจ = (2.996 · 0.005775)/0.3337 = 0.05185 กิโลกรัม ตร.ม.
เมื่อตั้งค่าความน่าเชื่อถือ P = 0.95 โดยใช้ตารางค่าสัมประสิทธิ์นักเรียนสำหรับ n = 5 เราจะพบ t = 2.78 และหาข้อผิดพลาดสัมบูรณ์ ΔJ = 2.78 0.05185 = 0.1441 µ 0.2 กิโลกรัม ตร.ม.
มาเขียนผลลัพธ์ในรูปแบบ:
เจ = (3.0 ± 0.2) กิโลกรัม ตร.ม;
ตัวอย่างที่ 2ลองคำนวณค่าสัมประสิทธิ์อุณหภูมิของความต้านทานของโลหะโดยใช้วิธีกำลังสองน้อยที่สุด ความต้านทานขึ้นอยู่กับอุณหภูมิเป็นเส้นตรง
R เสื้อ = R 0 (1 + α t°) = R 0 + R 0 α t°
ระยะอิสระกำหนดความต้านทาน R 0 ที่อุณหภูมิ 0 ° C และค่าสัมประสิทธิ์ความชันเป็นผลคูณของค่าสัมประสิทธิ์อุณหภูมิ α และความต้านทาน R 0
ผลลัพธ์ของการวัดและการคำนวณแสดงอยู่ในตาราง ( ดูตารางที่ 6).
ตารางที่ 6
n | ที°, ส | อาร์, โอห์ม | t-èt | (t-µ) 2 | (t-èt)ร | ร - บาท - ก | (ร - บาท - ก) 2 .10 -6 |
1 | 23 | 1.242 | -62.8333 | 3948.028 | -78.039 | 0.007673 | 58.8722 |
2 | 59 | 1.326 | -26.8333 | 720.0278 | -35.581 | -0.00353 | 12.4959 |
3 | 84 | 1.386 | -1.83333 | 3.361111 | -2.541 | -0.00965 | 93.1506 |
4 | 96 | 1.417 | 10.16667 | 103.3611 | 14.40617 | -0.01039 | 107.898 |
5 | 120 | 1.512 | 34.16667 | 1167.361 | 51.66 | 0.021141 | 446.932 |
6 | 133 | 1.520 | 47.16667 | 2224.694 | 71.69333 | -0.00524 | 27.4556 |
∑ | 515 | 8.403 | | 8166.833 | 21.5985 | | 746.804 |
∑/น | 85.83333 | 1.4005 | | | | | |
เรากำหนดโดยใช้สูตร (21), (22)
R 0 = เลเยอร์ R-α R 0 เลเยอร์ เสื้อ = 1.4005 - 0.002645 85.83333 = 1.1735 โอห์ม.
มาหาข้อผิดพลาดในนิยามของ α กันดีกว่า ตั้งแต่นั้นมา ตามสูตร (18) เรามี:
.
ใช้สูตร (23), (24) ที่เรามี
;
0.014126 โอห์ม.
เมื่อตั้งค่าความน่าเชื่อถือเป็น P = 0.95 โดยใช้ตารางค่าสัมประสิทธิ์นักเรียนสำหรับ n = 6 เราจะพบ t = 2.57 และหาข้อผิดพลาดสัมบูรณ์ Δα = 2.57 0.000132 = 0.000338 องศา -1.
α = (23 ± 4) 10 -4 ลูกเห็บ-1 ที่ P = 0.95
ตัวอย่างที่ 3จำเป็นต้องกำหนดรัศมีความโค้งของเลนส์โดยใช้วงแหวนของนิวตัน วัดรัศมีของวงแหวนของนิวตัน r m และหาจำนวนของวงแหวนเหล่านี้ m รัศมีของวงแหวนของนิวตันสัมพันธ์กับรัศมีความโค้งของเลนส์ R และหมายเลขวงแหวนตามสมการ
r 2 m = mแล R - 2d 0 R,
โดยที่ d 0 ความหนาของช่องว่างระหว่างเลนส์กับแผ่นระนาบขนาน (หรือการเสียรูปของเลนส์)
แล ความยาวคลื่นของแสงตกกระทบ
แล = (600 ± 6) นาโนเมตร;
ร 2 ม. = y;
ม. = x;
แลมบรอ = ข;
-2d 0 R = ก,
จากนั้นสมการจะอยู่ในรูปแบบ y = a + bx.
.ผลลัพธ์ของการวัดและการคำนวณจะถูกป้อนเข้าไป ตารางที่ 7.
ตารางที่ 7
n | x = ม | y = r 2, 10 -2 มม. 2 | ม -′ ม | (ม -µ) 2 | (ม -′ ม)ป | y - bx - a, 10 -4 | (y - bx - ก) 2 , 10 -6 |
1 | 1 | 6.101 | -2.5 | 6.25 | -0.152525 | 12.01 | 1.44229 |
2 | 2 | 11.834 | -1.5 | 2.25 | -0.17751 | -9.6 | 0.930766 |
3 | 3 | 17.808 | -0.5 | 0.25 | -0.08904 | -7.2 | 0.519086 |
4 | 4 | 23.814 | 0.5 | 0.25 | 0.11907 | -1.6 | 0.0243955 |
5 | 5 | 29.812 | 1.5 | 2.25 | 0.44718 | 3.28 | 0.107646 |
6 | 6 | 35.760 | 2.5 | 6.25 | 0.894 | 3.12 | 0.0975819 |
∑ | 21 | 125.129 | | 17.5 | 1.041175 | | 3.12176 |
∑/น | 3.5 | 20.8548333 | | | | | |
หลังจากการปรับระดับเราจะได้ฟังก์ชันในรูปแบบต่อไปนี้: g (x) = x + 1 3 + 1 .
เราสามารถประมาณข้อมูลนี้ได้โดยใช้ความสัมพันธ์เชิงเส้น y = a x + b โดยการคำนวณพารามิเตอร์ที่เกี่ยวข้อง เมื่อต้องการทำเช่นนี้ เราจำเป็นต้องใช้วิธีที่เรียกว่ากำลังสองน้อยที่สุด คุณจะต้องวาดภาพเพื่อตรวจสอบว่าเส้นใดจะจัดแนวข้อมูลการทดลองได้ดีที่สุด
ยานเดกซ์ RTB R-A-339285-1
OLS คืออะไร (วิธีกำลังสองน้อยที่สุด)
สิ่งสำคัญที่เราต้องทำคือการหาค่าสัมประสิทธิ์ของการพึ่งพาเชิงเส้นซึ่งค่าของฟังก์ชันของตัวแปรสองตัว F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 จะเป็น เล็กที่สุด กล่าวอีกนัยหนึ่งสำหรับค่าบางค่าของ a และ b ผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลที่นำเสนอจากเส้นตรงผลลัพธ์จะมีค่าต่ำสุด นี่คือความหมายของวิธีกำลังสองน้อยที่สุด สิ่งที่เราต้องทำเพื่อแก้ตัวอย่างคือการหาจุดสิ้นสุดของฟังก์ชันของตัวแปรสองตัว
วิธีหาสูตรคำนวณสัมประสิทธิ์
เพื่อที่จะได้สูตรในการคำนวณค่าสัมประสิทธิ์ คุณต้องสร้างและแก้ระบบสมการที่มีตัวแปรสองตัว ในการทำเช่นนี้ เราคำนวณอนุพันธ์ย่อยของนิพจน์ F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 เทียบกับ a และ b แล้วเทียบให้เป็น 0
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
ในการแก้ระบบสมการ คุณสามารถใช้วิธีใดก็ได้ เช่น การแทนที่หรือวิธีของแครเมอร์ ด้วยเหตุนี้เราจึงควรมีสูตรที่สามารถใช้คำนวณค่าสัมประสิทธิ์โดยใช้วิธีกำลังสองน้อยที่สุดได้
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n
เราได้คำนวณค่าของตัวแปรที่ฟังก์ชัน
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 จะใช้ค่าต่ำสุด ในย่อหน้าที่สาม เราจะพิสูจน์ว่าทำไมมันจึงเป็นเช่นนี้
นี่คือการประยุกต์ใช้วิธีกำลังสองน้อยที่สุดในทางปฏิบัติ สูตรที่ใช้ค้นหาพารามิเตอร์ a ประกอบด้วย ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 รวมถึงพารามิเตอร์ด้วย
n – หมายถึงจำนวนข้อมูลการทดลอง เราแนะนำให้คุณคำนวณแต่ละจำนวนเงินแยกกัน ค่าของสัมประสิทธิ์ b จะถูกคำนวณทันทีหลังจาก a
กลับไปที่ตัวอย่างเดิม
ตัวอย่างที่ 1
ตรงนี้เรามี n เท่ากับ 5. เพื่อให้สะดวกยิ่งขึ้นในการคำนวณจำนวนเงินที่ต้องการซึ่งรวมอยู่ในสูตรสัมประสิทธิ์ เรามากรอกตารางกันดีกว่า
ฉัน = 1 | ผม=2 | ผม=3 | ผม=4 | ผม=5 | ∑ ผม = 1 5 | |
x ฉัน | 0 | 1 | 2 | 4 | 5 | 12 |
ใช่แล้ว | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
x ฉัน ฉัน ฉัน | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
x ฉัน 2 | 0 | 1 | 4 | 16 | 25 | 46 |
สารละลาย
แถวที่สี่รวมข้อมูลที่ได้รับโดยการคูณค่าจากแถวที่สองด้วยค่าของแถวที่สามสำหรับแต่ละ i บรรทัดที่ห้าประกอบด้วยข้อมูลจากบรรทัดที่สอง กำลังสอง คอลัมน์สุดท้ายจะแสดงผลรวมของค่าของแต่ละแถว
ลองใช้วิธีกำลังสองน้อยที่สุดในการคำนวณค่าสัมประสิทธิ์ a และ b ที่เราต้องการ ในการดำเนินการนี้ให้แทนที่ค่าที่ต้องการจากคอลัมน์สุดท้ายแล้วคำนวณจำนวนเงิน:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - ก 12 5 ⇒ ก µ 0, 165 ข ต้อ 2, 184
ปรากฎว่าเส้นตรงโดยประมาณที่ต้องการจะมีลักษณะดังนี้ y = 0, 165 x + 2, 184 ตอนนี้เราต้องพิจารณาว่าบรรทัดใดจะประมาณข้อมูลได้ดีกว่า - g (x) = x + 1 3 + 1 หรือ 0, 165 x + 2, 184 ลองประมาณโดยใช้วิธีกำลังสองน้อยที่สุด
ในการคำนวณข้อผิดพลาด เราจำเป็นต้องค้นหาผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลจากเส้นตรง σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 และ σ 2 = ∑ i = 1 n (y i - g (x i)) 2 ค่าต่ำสุดจะสอดคล้องกับเส้นที่เหมาะสมกว่า
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 data 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 data 0.096
คำตอบ:ตั้งแต่ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0.165 x + 2.184
วิธีกำลังสองน้อยที่สุดจะแสดงไว้อย่างชัดเจนในภาพประกอบกราฟิก เส้นสีแดงทำเครื่องหมายเส้นตรง g (x) = x + 1 3 + 1 เส้นสีน้ำเงินทำเครื่องหมาย y = 0, 165 x + 2, 184 ข้อมูลต้นฉบับจะแสดงด้วยจุดสีชมพู
ให้เราอธิบายว่าทำไมจึงต้องมีการประมาณประเภทนี้
สามารถใช้ในงานที่ต้องการการปรับข้อมูลให้เรียบ เช่นเดียวกับงานที่ต้องแก้ไขหรือคาดการณ์ข้อมูล ตัวอย่างเช่น ในปัญหาที่กล่าวถึงข้างต้น เราสามารถหาค่าของปริมาณที่สังเกตได้ y ที่ x = 3 หรือที่ x = 6 เราได้อุทิศบทความแยกต่างหากให้กับตัวอย่างดังกล่าว
หลักฐานของวิธี OLS
เพื่อให้ฟังก์ชันรับค่าต่ำสุดเมื่อคำนวณ a และ b จำเป็นที่จุดที่กำหนดเมทริกซ์ของรูปแบบกำลังสองของส่วนต่างของฟังก์ชันของรูปแบบ F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 เป็นบวกแน่นอน มาดูกันว่าควรมีลักษณะอย่างไร
ตัวอย่างที่ 2
เรามีส่วนต่างลำดับที่สองของแบบฟอร์มต่อไปนี้:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2ข
สารละลาย
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
กล่าวอีกนัยหนึ่ง เราสามารถเขียนได้ดังนี้: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b
เราได้เมทริกซ์ที่มีรูปแบบกำลังสอง M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n
ในกรณีนี้ค่าของแต่ละองค์ประกอบจะไม่เปลี่ยนแปลงขึ้นอยู่กับ a และ b . เมทริกซ์นี้เป็นค่าบวกแน่นอนหรือไม่? เพื่อตอบคำถามนี้ ลองตรวจสอบว่ารองเชิงมุมของมันเป็นบวกหรือไม่
เราคำนวณตัวรองเชิงมุมของลำดับแรก: 2 ∑ i = 1 n (x i) 2 > 0 เนื่องจากจุด x ฉันไม่ตรง ความไม่เท่าเทียมกันจึงเข้มงวด เราจะจำสิ่งนี้ไว้ในการคำนวณต่อไป
เราคำนวณผู้เยาว์เชิงมุมลำดับที่สอง:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2
หลังจากนี้ เราจะพิสูจน์อสมการ n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 โดยใช้การอุปนัยทางคณิตศาสตร์
- ลองตรวจสอบว่าอสมการนี้ใช้ได้กับ n ใดๆ ก็ตามหรือไม่ ลองเอา 2 มาคำนวณ:
2 ∑ ผม = 1 2 (x i) 2 - ∑ ผม = 1 2 x ผม 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
เราได้รับความเท่าเทียมกันที่ถูกต้อง (หากค่า x 1 และ x 2 ไม่ตรงกัน)
- ให้เราสมมุติว่าอสมการนี้จะเป็นจริงสำหรับ n นั่นคือ n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – จริง
- ตอนนี้เราจะพิสูจน์ความถูกต้องของ n + 1 เช่น นั่น (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, ถ้า n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
เราคำนวณ:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . - - + xn + 1 2 - 2 xn + 1 x 1 + xn 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (xn + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . - - + (x n - 1 - x n) 2 > 0
การแสดงออกที่มีอยู่ใน วงเล็บปีกกาจะมากกว่า 0 (ขึ้นอยู่กับสิ่งที่เราสมมติในขั้นตอนที่ 2) และพจน์ที่เหลือจะมากกว่า 0 เนื่องจากเป็นตัวเลขกำลังสองทั้งหมด เราได้พิสูจน์ความไม่เท่าเทียมกันแล้ว
คำตอบ: a และ b ที่พบจะสอดคล้องกับค่าที่น้อยที่สุดของฟังก์ชัน F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ซึ่งหมายความว่าพวกมันเป็นพารามิเตอร์ที่ต้องการของวิธีกำลังสองน้อยที่สุด (แอลเอสเอ็ม).
หากคุณสังเกตเห็นข้อผิดพลาดในข้อความ โปรดไฮไลต์แล้วกด Ctrl+Enter
วิธีกำลังสองน้อยที่สุด
วิธีกำลังสองน้อยที่สุด ( OLS, OLS, กำลังสองน้อยสุดสามัญ) - หนึ่งในวิธีพื้นฐานของการวิเคราะห์การถดถอยสำหรับการประมาณค่าพารามิเตอร์ที่ไม่รู้จักของแบบจำลองการถดถอยโดยใช้ข้อมูลตัวอย่าง วิธีการนี้ขึ้นอยู่กับการลดผลรวมของกำลังสองของเศษที่เหลือจากการถดถอยให้เหลือน้อยที่สุด
ควรสังเกตว่าวิธีกำลังสองน้อยที่สุดนั้นสามารถเรียกได้ว่าเป็นวิธีการแก้ปัญหาในพื้นที่ใดๆ หากวิธีการแก้ปัญหาอยู่ในหรือเป็นไปตามเกณฑ์บางประการในการลดผลรวมของกำลังสองของฟังก์ชันบางอย่างของตัวแปรที่ต้องการให้เหลือน้อยที่สุด ดังนั้น วิธีกำลังสองน้อยที่สุดยังสามารถใช้สำหรับการประมาณค่าได้ (การประมาณ) ฟังก์ชันที่กำหนดฟังก์ชันอื่นๆ (ง่ายกว่า) เมื่อค้นหาชุดของปริมาณที่เป็นไปตามสมการหรือข้อจำกัด จำนวนที่เกินจำนวนเหล่านี้ เป็นต้น
สาระสำคัญของ MNC
ให้แบบจำลอง (พาราเมตริก) ของความสัมพันธ์ความน่าจะเป็น (การถดถอย) ระหว่างตัวแปร (อธิบาย) ได้รับ ยและปัจจัยหลายประการ (ตัวแปรอธิบาย) x
เวกเตอร์ของพารามิเตอร์แบบจำลองที่ไม่รู้จักอยู่ที่ไหน
- ข้อผิดพลาดของโมเดลแบบสุ่มให้มีด้วย การสังเกตตัวอย่างค่าของตัวแปรที่ระบุ อนุญาต เป็นหมายเลขสังเกต () จากนั้นเป็นค่าของตัวแปรในการสังเกตครั้งที่ 3 จากนั้นสำหรับค่าที่กำหนดของพารามิเตอร์ b คุณสามารถคำนวณค่าทางทฤษฎี (แบบจำลอง) ของตัวแปรที่อธิบาย y:
ขนาดของสิ่งตกค้างขึ้นอยู่กับค่าของพารามิเตอร์ b
สาระสำคัญของวิธีกำลังสองน้อยที่สุด (ธรรมดา, คลาสสิก) คือการค้นหาพารามิเตอร์ดังกล่าว b ซึ่งผลรวมของกำลังสองของส่วนที่เหลือ (อังกฤษ. ผลรวมที่เหลือของกำลังสอง) จะน้อยที่สุด:
ในกรณีทั่วไป ปัญหานี้สามารถแก้ไขได้โดยวิธีการปรับให้เหมาะสมเชิงตัวเลข (การย่อขนาด) ในกรณีนี้พวกเขาพูดถึง กำลังสองน้อยที่สุดแบบไม่เชิงเส้น(NLS หรือ NLLS - ภาษาอังกฤษ) กำลังสองน้อยที่สุดที่ไม่ใช่เชิงเส้น- ในหลายกรณี เป็นไปได้ที่จะได้รับโซลูชันเชิงวิเคราะห์ ในการแก้ปัญหาการย่อเล็กสุดจำเป็นต้องค้นหาจุดที่คงที่ของฟังก์ชันโดยสร้างความแตกต่างด้วยพารามิเตอร์ที่ไม่รู้จัก b เท่ากับอนุพันธ์ให้เป็นศูนย์และแก้ระบบสมการผลลัพธ์:
หากข้อผิดพลาดแบบสุ่มของแบบจำลองมีการกระจายตามปกติ มีความแปรปรวนเท่ากัน และไม่มีความสัมพันธ์กัน การประมาณค่าพารามิเตอร์ OLS จะเหมือนกับการประมาณโอกาสสูงสุด (MLM)
OLS ในกรณีของโมเดลเชิงเส้น
ปล่อยให้การพึ่งพาการถดถอยเป็นเส้นตรง:
อนุญาต ยเป็นเวกเตอร์คอลัมน์ของการสังเกตของตัวแปรที่อธิบายและเป็นเมทริกซ์ของการสังเกตปัจจัย (แถวของเมทริกซ์เป็นเวกเตอร์ของค่าตัวประกอบในการสังเกตที่กำหนด คอลัมน์เป็นเวกเตอร์ของค่าของปัจจัยที่กำหนด ในการสังเกตทั้งหมด) การแสดงเมทริกซ์ของโมเดลเชิงเส้นคือ:
จากนั้นเวกเตอร์ของการประมาณค่าของตัวแปรที่อธิบายและเวกเตอร์ของเศษการถดถอยจะเท่ากัน
ดังนั้นผลรวมของกำลังสองของการถดถอยที่เหลือจะเท่ากับ
การแยกฟังก์ชันนี้ด้วยความเคารพต่อเวกเตอร์ของพารามิเตอร์และการทำให้อนุพันธ์เป็นศูนย์เราจะได้ระบบสมการ (ในรูปแบบเมทริกซ์):
.การแก้ระบบสมการนี้ให้สูตรทั่วไปสำหรับการประมาณค่ากำลังสองน้อยที่สุดสำหรับแบบจำลองเชิงเส้น:
เพื่อวัตถุประสงค์ในการวิเคราะห์ การแสดงสูตรหลังนี้มีประโยชน์ หากอยู่ในแบบจำลองการถดถอยข้อมูล อยู่ตรงกลางจากนั้นในการเป็นตัวแทนนี้ เมทริกซ์แรกมีความหมายของเมทริกซ์ความแปรปรวนร่วมตัวอย่างของปัจจัย และเมทริกซ์ที่สองคือเวกเตอร์ของความแปรปรวนร่วมของปัจจัยที่มีตัวแปรตาม หากนอกเหนือจากข้อมูลแล้วยัง ทำให้เป็นมาตรฐานถึง MSE (นั่นคือท้ายที่สุดแล้ว ได้มาตรฐาน) จากนั้นเมทริกซ์แรกมีความหมายของเมทริกซ์ความสัมพันธ์ตัวอย่างของปัจจัย เวกเตอร์ที่สอง - เวกเตอร์ของความสัมพันธ์ตัวอย่างของปัจจัยกับตัวแปรตาม
คุณสมบัติที่สำคัญของการประมาณค่า OLS สำหรับแบบจำลอง มีค่าคงที่- เส้นการถดถอยที่สร้างขึ้นจะผ่านจุดศูนย์ถ่วงของข้อมูลตัวอย่าง นั่นคือมีความเท่าเทียมกัน:
โดยเฉพาะอย่างยิ่ง ในกรณีที่รุนแรง เมื่อตัวถดถอยตัวเดียวเป็นค่าคงที่ เราจะพบว่าการประมาณค่า OLS ของพารามิเตอร์ตัวเดียว (ค่าคงที่นั้นเอง) เท่ากับค่าเฉลี่ยของตัวแปรที่อธิบาย นั่นคือค่าเฉลี่ยเลขคณิตที่ทราบกันดีอยู่แล้ว คุณสมบัติที่ดีจากกฎหมาย จำนวนมากยังเป็นค่าประมาณกำลังสองน้อยที่สุด - เป็นไปตามเกณฑ์ของผลรวมขั้นต่ำของการเบี่ยงเบนกำลังสองจากนั้น
ตัวอย่าง: การถดถอยที่ง่ายที่สุด (ตามคู่)
ในกรณีของการถดถอยเชิงเส้นแบบคู่ สูตรการคำนวณจะง่ายขึ้น (คุณสามารถทำได้โดยไม่ต้อง พีชคณิตเมทริกซ์):
คุณสมบัติของตัวประมาณค่า OLS
ก่อนอื่น เราทราบว่าสำหรับโมเดลเชิงเส้น การประมาณค่า OLS เป็นการประมาณเชิงเส้น ดังต่อไปนี้จากสูตรข้างต้น สำหรับการประมาณค่า OLS ที่เป็นกลาง มีความจำเป็นและเพียงพอในการตอบสนองเงื่อนไขที่สำคัญที่สุดของการวิเคราะห์การถดถอย: ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มตามเงื่อนไขของปัจจัย จะต้องเท่ากับศูนย์ โดยเฉพาะอย่างยิ่งเงื่อนไขนี้จะเป็นที่พอใจหาก
- ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มคือศูนย์ และ
- ปัจจัยและข้อผิดพลาดแบบสุ่มเป็นตัวแปรสุ่มอิสระ
เงื่อนไขที่สอง - เงื่อนไขของปัจจัยภายนอก - เป็นเงื่อนไขพื้นฐาน หากไม่ตรงตามคุณสมบัตินี้ เราสามารถสรุปได้ว่าการประมาณการเกือบทั้งหมดจะไม่เป็นที่น่าพอใจอย่างยิ่ง โดยจะไม่สอดคล้องกันด้วยซ้ำ (นั่นคือ แม้แต่ข้อมูลจำนวนมากก็ไม่อนุญาตให้เรารับการประมาณการคุณภาพสูงในกรณีนี้ ). ในกรณีคลาสสิก มีการตั้งสมมติฐานที่หนักแน่นกว่าเกี่ยวกับการกำหนดปัจจัยต่างๆ ซึ่งตรงข้ามกับข้อผิดพลาดแบบสุ่ม ซึ่งหมายความว่าเป็นไปตามเงื่อนไขภายนอกโดยอัตโนมัติ ในกรณีทั่วไป เพื่อความสอดคล้องของการประมาณการ ก็เพียงพอแล้วที่จะเป็นไปตามเงื่อนไขภายนอกร่วมกับการลู่เข้าของเมทริกซ์กับเมทริกซ์ที่ไม่ใช่เอกพจน์เมื่อขนาดตัวอย่างเพิ่มขึ้นจนถึงค่าอนันต์
เพื่อให้การประมาณค่าของวิธีกำลังสองน้อยที่สุด (ปกติ) น้อยที่สุดมีประสิทธิภาพด้วย (การประมาณค่าที่ไม่เอนเอียงที่ดีที่สุดในกลุ่ม) จึงจำเป็นต้องดำเนินการ นอกเหนือจากความสม่ำเสมอและไม่เอนเอียง คุณสมบัติเพิ่มเติมข้อผิดพลาดแบบสุ่ม:
สมมติฐานเหล่านี้สามารถกำหนดสูตรสำหรับเมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ข้อผิดพลาดแบบสุ่มได้
เรียกว่าแบบจำลองเชิงเส้นที่ตรงตามเงื่อนไขเหล่านี้ คลาสสิค- การประมาณค่า OLS สำหรับการถดถอยเชิงเส้นแบบคลาสสิกนั้นมีความเป็นกลาง สม่ำเสมอ และมีประสิทธิภาพมากที่สุดในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้นทั้งหมด (ในวรรณคดีอังกฤษ บางครั้งจะใช้ตัวย่อ สีฟ้า (ตัวประมาณค่าเชิงเส้นแบบไม่มีฐานที่ดีที่สุด) - การประมาณการที่เป็นกลางเชิงเส้นที่ดีที่สุด ในวรรณคดีรัสเซียมักอ้างถึงทฤษฎีบทเกาส์-มาร์คอฟ) ตามที่แสดงได้ง่าย เมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ของการประมาณค่าสัมประสิทธิ์จะเท่ากับ:
OLS ทั่วไป
วิธีกำลังสองน้อยที่สุดทำให้สามารถสรุปได้กว้างๆ แทนที่จะลดผลรวมของกำลังสองของส่วนที่เหลือให้เหลือน้อยที่สุด เราสามารถลดรูปแบบกำลังสองที่แน่นอนของเวกเตอร์ของส่วนที่เหลือให้เหลือน้อยที่สุด โดยที่เมทริกซ์น้ำหนักแน่นอนเชิงบวกแบบสมมาตรบางตัว กำลังสองน้อยที่สุดแบบธรรมดาเป็นกรณีพิเศษของแนวทางนี้ โดยที่เมทริกซ์น้ำหนักจะเป็นสัดส่วนกับเมทริกซ์เอกลักษณ์ ดังที่ทราบจากทฤษฎีเมทริกซ์สมมาตร (หรือตัวดำเนินการ) สำหรับเมทริกซ์ดังกล่าวจะมีการสลายตัว ดังนั้นจึงสามารถแสดงฟังก์ชันที่ระบุได้ ดังต่อไปนี้นั่นคือ ฟังก์ชันนี้สามารถแสดงเป็นผลรวมของกำลังสองของ "เศษ" ที่ถูกแปลงบางส่วน ดังนั้นเราจึงสามารถแยกแยะคลาสของวิธีกำลังสองน้อยที่สุดได้ - วิธี LS (กำลังสองน้อยที่สุด)
ได้รับการพิสูจน์แล้ว (ทฤษฎีบทของเอตเคน) ว่าสำหรับแบบจำลองการถดถอยเชิงเส้นทั่วไป (ซึ่งไม่มีข้อจำกัดใดๆ กำหนดไว้กับเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) สิ่งที่เรียกว่าการประมาณการที่มีประสิทธิผลมากที่สุด (ในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้น) กำลังสองน้อยที่สุดทั่วไป (GLS - กำลังสองน้อยที่สุดทั่วไป)- วิธี LS ที่มีเมทริกซ์น้ำหนักเท่ากับเมทริกซ์ความแปรปรวนร่วมผกผันของข้อผิดพลาดแบบสุ่ม:
จะเห็นได้ว่าสูตรสำหรับการประมาณค่าพารามิเตอร์ของแบบจำลองเชิงเส้นของ GLS มีรูปแบบ
เมทริกซ์ความแปรปรวนร่วมของการประมาณค่าเหล่านี้จะเท่ากับตามนั้น
ในความเป็นจริง สาระสำคัญของ OLS อยู่ที่การแปลง (P) บางอย่าง (เชิงเส้น) ของข้อมูลต้นฉบับและการประยุกต์ใช้ OLS ธรรมดากับข้อมูลที่แปลงแล้ว วัตถุประสงค์ของการแปลงนี้คือ สำหรับข้อมูลที่แปลงแล้ว ข้อผิดพลาดแบบสุ่มเป็นไปตามสมมติฐานดั้งเดิมอยู่แล้ว
OLS แบบถ่วงน้ำหนัก
ในกรณีของเมทริกซ์น้ำหนักแนวทแยง (และด้วยเหตุนี้จึงเป็นเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) เราจะเรียกว่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก (WLS) ในกรณีนี้ ผลรวมถ่วงน้ำหนักของกำลังสองของส่วนที่เหลือของแบบจำลองจะลดลง กล่าวคือ การสังเกตแต่ละครั้งจะได้รับ "น้ำหนัก" ซึ่งเป็นสัดส่วนผกผันกับความแปรปรวนของข้อผิดพลาดแบบสุ่มในการสังเกตนี้: ในความเป็นจริง ข้อมูลจะถูกแปลงโดยการถ่วงน้ำหนักการสังเกต (หารด้วยจำนวนตามสัดส่วนที่คาดไว้ ส่วนเบี่ยงเบนมาตรฐานข้อผิดพลาดแบบสุ่ม) และ OLS ปกติจะถูกนำไปใช้กับข้อมูลที่ถ่วงน้ำหนัก
กรณีพิเศษบางประการของการใช้ MNC ในทางปฏิบัติ
การประมาณของการพึ่งพาเชิงเส้น
ลองพิจารณากรณีที่เป็นผลจากการศึกษาการพึ่งพาปริมาณสเกลาร์บางส่วนกับปริมาณสเกลาร์บางส่วน (เช่น การพึ่งพาแรงดันไฟฟ้าในปัจจุบัน: ที่ไหน - คงที่, ความต้านทานของตัวนำ) ทำการวัดปริมาณเหล่านี้ซึ่งเป็นผลมาจากค่าและค่าที่สอดคล้องกันที่ได้รับ ข้อมูลการวัดจะต้องบันทึกไว้ในตาราง
โต๊ะ. ผลการวัด
หมายเลขการวัด | ||
---|---|---|
1 | ||
2 | ||
3 | ||
4 | ||
5 | ||
6 |
คำถามคือ: สามารถเลือกค่าสัมประสิทธิ์ใดเพื่ออธิบายการพึ่งพาได้ดีที่สุด? ตามวิธีกำลังสองน้อยที่สุดค่านี้ควรเป็นผลรวมของการเบี่ยงเบนกำลังสองของค่าจากค่า
น้อยที่สุด
ผลรวมของการเบี่ยงเบนกำลังสองจะมีค่าสูงสุดหนึ่งค่า - ค่าต่ำสุดซึ่งทำให้เราสามารถใช้สูตรนี้ได้ ให้เราค้นหาค่าของสัมประสิทธิ์จากสูตรนี้ เมื่อต้องการทำเช่นนี้ เราแปลงด้านซ้ายดังนี้:
สูตรสุดท้ายช่วยให้เราสามารถหาค่าสัมประสิทธิ์ซึ่งเป็นค่าที่จำเป็นในโจทย์ได้
เรื่องราว
ถึง ต้น XIXวี. นักวิทยาศาสตร์ไม่มี กฎบางอย่างเพื่อแก้ระบบสมการที่มีจำนวนไม่ทราบน้อยกว่าจำนวนสมการ ก่อนหน้านั้นมีการใช้เทคนิคส่วนตัวซึ่งขึ้นอยู่กับประเภทของสมการและความเฉลียวฉลาดของเครื่องคิดเลข ดังนั้นเครื่องคิดเลขที่แตกต่างกันซึ่งใช้ข้อมูลเชิงสังเกตเดียวกันจึงได้ข้อสรุปที่ต่างกัน Gauss (1795) เป็นผู้รับผิดชอบในการประยุกต์วิธีการนี้เป็นครั้งแรก และ Legendre (1805) ค้นพบและตีพิมพ์โดยอิสระภายใต้ ชื่อที่ทันสมัย(พ. Méthode des moindres quarrés - ลาปลาซเชื่อมโยงวิธีการนี้เข้ากับทฤษฎีความน่าจะเป็น และนักคณิตศาสตร์ชาวอเมริกัน แอดเรน (1808) ได้พิจารณาการประยุกต์ใช้ทฤษฎีความน่าจะเป็นของมัน วิธีการนี้แพร่หลายและปรับปรุงโดยการวิจัยเพิ่มเติมโดย Encke, Bessel, Hansen และคนอื่นๆ
การใช้ทางเลือกอื่นของ OLS
แนวคิดของวิธีกำลังสองน้อยที่สุดยังสามารถใช้ในกรณีอื่นที่ไม่เกี่ยวข้องโดยตรงกับการวิเคราะห์การถดถอย ความจริงก็คือผลรวมของกำลังสองเป็นหนึ่งในการวัดความใกล้ชิดที่ใช้กันทั่วไปสำหรับเวกเตอร์ (เมตริกแบบยูคลิดในปริภูมิมิติจำกัด)
แอปพลิเคชั่นหนึ่งคือ “คำตอบ” ของระบบสมการเชิงเส้นซึ่งจำนวนสมการมากกว่าจำนวนตัวแปร
โดยที่เมทริกซ์ไม่ใช่สี่เหลี่ยมจัตุรัส แต่เป็นขนาดสี่เหลี่ยม .
ในกรณีทั่วไป ระบบสมการดังกล่าวไม่มีวิธีแก้ปัญหา (หากอันดับนั้นมากกว่าจำนวนตัวแปรจริงๆ) ดังนั้น ระบบนี้สามารถ "แก้ไข" ได้เฉพาะในแง่ของการเลือกเวกเตอร์ดังกล่าวเพื่อลด "ระยะห่าง" ระหว่างเวกเตอร์และ ในการทำเช่นนี้ คุณสามารถใช้เกณฑ์ในการลดผลรวมของผลต่างกำลังสองทางด้านซ้ายและ ชิ้นส่วนที่ถูกต้องสมการของระบบนั่นคือ เป็นเรื่องง่ายที่จะแสดงให้เห็นว่าการแก้ปัญหาการย่อเล็กสุดนี้นำไปสู่การแก้ระบบสมการต่อไปนี้
วิธีกำลังสองน้อยที่สุดสามัญ (OLS)- วิธีทางคณิตศาสตร์ที่ใช้ในการแก้ปัญหาต่างๆ โดยอาศัยการลดผลรวมของการเบี่ยงเบนกำลังสองของฟังก์ชันบางอย่างจากตัวแปรที่ต้องการให้เหลือน้อยที่สุด สามารถใช้เพื่อ "แก้" ระบบสมการที่กำหนดเกินกำหนดได้ (เมื่อจำนวนสมการเกินจำนวนที่ไม่ทราบ) เพื่อค้นหาคำตอบในกรณีของระบบสมการไม่เชิงเส้นธรรมดา (ไม่ได้กำหนดเกินกำหนด) เพื่อประมาณค่าจุดของบางค่า การทำงาน. OLS เป็นหนึ่งในวิธีพื้นฐานของการวิเคราะห์การถดถอยสำหรับการประมาณค่าพารามิเตอร์ที่ไม่รู้จักของแบบจำลองการถดถอยจากข้อมูลตัวอย่าง
YouTube สารานุกรม
1 / 5
√ วิธีกำลังสองน้อยที่สุด เรื่อง
, Mitin IV - การประมวลผลผลลัพธ์ทางกายภาพ การทดลอง - วิธีกำลังสองน้อยที่สุด (บรรยายที่ 4)
, วิธีกำลังสองน้อยที่สุด บทที่ 1/2 ฟังก์ชันเชิงเส้น
√ เศรษฐมิติ การบรรยายครั้งที่ 5. วิธีกำลังสองน้อยที่สุด
, วิธีกำลังสองน้อยที่สุด คำตอบ
คำบรรยาย
เรื่องราว
จนกระทั่งต้นศตวรรษที่ 19 นักวิทยาศาสตร์ไม่มีกฎเกณฑ์ที่แน่นอนในการแก้ระบบสมการซึ่งจำนวนไม่ทราบค่าน้อยกว่าจำนวนสมการ ก่อนหน้านั้นมีการใช้เทคนิคส่วนตัวซึ่งขึ้นอยู่กับประเภทของสมการและความเฉลียวฉลาดของเครื่องคิดเลข ดังนั้นเครื่องคิดเลขที่แตกต่างกันซึ่งใช้ข้อมูลเชิงสังเกตเดียวกันจึงได้ข้อสรุปที่ต่างกัน Gauss (1795) เป็นคนแรกที่ใช้วิธีการนี้ และ Legendre (1805) ค้นพบและตีพิมพ์โดยอิสระภายใต้ชื่อสมัยใหม่ (ฝรั่งเศส. Méthode des moindres quarrés- ลาปลาซเชื่อมโยงวิธีการนี้เข้ากับทฤษฎีความน่าจะเป็น และนักคณิตศาสตร์ชาวอเมริกัน แอดเรน (1808) ได้พิจารณาการประยุกต์ใช้ทฤษฎีความน่าจะเป็นของมัน วิธีการนี้แพร่หลายและปรับปรุงโดยการวิจัยเพิ่มเติมโดย Encke, Bessel, Hansen และคนอื่นๆ
สาระสำคัญของวิธีกำลังสองน้อยที่สุด
อนุญาต x (\รูปแบบการแสดงผล x)- ชุด n (\displaystyle n)ตัวแปรที่ไม่รู้จัก (พารามิเตอร์) ฉ ฉัน (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- ชุดฟังก์ชันจากชุดตัวแปรนี้ ภารกิจคือการเลือกค่าดังกล่าว x (\รูปแบบการแสดงผล x)เพื่อให้ค่าของฟังก์ชันเหล่านี้ใกล้เคียงกับค่าที่กำหนดมากที่สุด ใช่ ฉัน (\displaystyle y_(i))- โดยพื้นฐานแล้ว เรากำลังพูดถึงเกี่ยวกับ "คำตอบ" ของระบบสมการที่กำหนดไว้เกินกำหนด ฉ ฉัน (x) = y ฉัน (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)วี ในแง่นี้ความใกล้ชิดสูงสุดของส่วนซ้ายและขวาของระบบ สาระสำคัญของวิธีกำลังสองน้อยที่สุดคือการเลือกผลรวมของการเบี่ยงเบนกำลังสองของด้านซ้ายและด้านขวาเป็น "การวัดความใกล้เคียง" - ฉ ฉัน (x) − y ฉัน |(\displaystyle |f_(i)(x)-y_(i)|)
- ดังนั้น สาระสำคัญของ MNC จึงสามารถแสดงได้ดังนี้.∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\ลูกศรขวา \min _(x)) x (\รูปแบบการแสดงผล x)หากระบบสมการมีวิธีแก้ ผลรวมของกำลังสองขั้นต่ำจะเท่ากับศูนย์และสามารถหาคำตอบที่แน่นอนของระบบสมการได้ในเชิงวิเคราะห์หรือ ตัวอย่างเช่น โดยใช้วิธีการหาค่าเหมาะที่สุดเชิงตัวเลขต่างๆ ถ้าระบบถูกกำหนดไว้มากเกินไป กล่าวคือ จำนวนสมการอิสระมากกว่าจำนวนตัวแปรที่ต้องการ ระบบก็จะไม่มีคำตอบที่แน่นอน และวิธีการกำลังสองน้อยที่สุดช่วยให้เราสามารถหาเวกเตอร์ที่ "เหมาะสมที่สุด" ได้ ในแง่ของความใกล้ชิดสูงสุดของเวกเตอร์ y (\displaystyle y) และ f (x) (\displaystyle f(x)) หรือความใกล้ชิดสูงสุดของเวกเตอร์ส่วนเบี่ยงเบนเป็นศูนย์ (เข้าใจความใกล้ชิดในความหมายของระยะทางแบบยุคลิด)
ตัวอย่าง - ระบบสมการเชิงเส้น
โดยเฉพาะอย่างยิ่ง วิธีการกำลังสองน้อยที่สุดสามารถใช้เพื่อ "แก้" ระบบสมการเชิงเส้นได้
A x = b (\displaystyle Ax=b),ที่ไหน เอ (\displaystyle A)เมทริกซ์ขนาดสี่เหลี่ยม m × n , m > n (\displaystyle m\times n,m>n)(เช่น จำนวนแถวของเมทริกซ์ A มากกว่าจำนวนตัวแปรที่ต้องการ)
ในกรณีทั่วไป ระบบสมการดังกล่าวไม่มีคำตอบ ดังนั้นระบบนี้สามารถ "แก้ไข" ได้เฉพาะในแง่ของการเลือกเวกเตอร์ดังกล่าวเท่านั้น x (\รูปแบบการแสดงผล x)เพื่อลด "ระยะห่าง" ระหว่างเวกเตอร์ A x (\displaystyle ขวาน) y (\displaystyle y) ข (\displaystyle b)- ในการทำเช่นนี้ คุณสามารถใช้เกณฑ์ในการลดผลรวมของกำลังสองของความแตกต่างระหว่างด้านซ้ายและด้านขวาของสมการของระบบได้ นั่นคือ (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min )- เป็นเรื่องง่ายที่จะแสดงให้เห็นว่าการแก้ปัญหาการย่อเล็กสุดนี้นำไปสู่การแก้ระบบสมการต่อไปนี้
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\ลูกศรขวา x=(A^(T)A)^(-1)A^ (ท)ข).OLS ในการวิเคราะห์การถดถอย (การประมาณข้อมูล)
ให้มีอยู่ n (\displaystyle n)ค่าของตัวแปรบางตัว ในแง่ของความใกล้ชิดสูงสุดของเวกเตอร์(อาจเป็นผลลัพธ์ของการสังเกต การทดลอง ฯลฯ) และตัวแปรที่เกี่ยวข้อง x (\รูปแบบการแสดงผล x)- ความท้าทายคือเพื่อให้แน่ใจว่าความสัมพันธ์ระหว่าง ในแง่ของความใกล้ชิดสูงสุดของเวกเตอร์ y (\displaystyle y) x (\รูปแบบการแสดงผล x)ประมาณด้วยฟังก์ชันบางอย่างที่ทราบภายในพารามิเตอร์ที่ไม่รู้จักบางตัว ข (\displaystyle b)นั่นคือค้นหาค่าที่ดีที่สุดของพารามิเตอร์จริงๆ ข (\displaystyle b), การประมาณค่าให้ใกล้เคียงที่สุด f (x , b) (\displaystyle f(x,b))ถึงค่าที่แท้จริง ในแง่ของความใกล้ชิดสูงสุดของเวกเตอร์- อันที่จริง สิ่งนี้เกิดขึ้นได้ในกรณีของการ "แก้" ระบบสมการที่มีการกำหนดไว้เกินจริง ข (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
ในการวิเคราะห์การถดถอยและโดยเฉพาะอย่างยิ่งในเศรษฐมิติ จะใช้แบบจำลองความน่าจะเป็นของการพึ่งพาระหว่างตัวแปรต่างๆ
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
ที่ไหน ε t (\displaystyle \varepsilon _(t))- สิ่งที่เรียกว่า ข้อผิดพลาดแบบสุ่มโมเดล
ดังนั้นการเบี่ยงเบนของค่าที่สังเกตได้ ในแง่ของความใกล้ชิดสูงสุดของเวกเตอร์จากรุ่น f (x , b) (\displaystyle f(x,b))ถือว่าอยู่ในโมเดลแล้ว สาระสำคัญของวิธีกำลังสองน้อยที่สุด (ธรรมดา, คลาสสิก) คือการค้นหาพารามิเตอร์ดังกล่าว ข (\displaystyle b)ซึ่งผลรวมของการเบี่ยงเบนกำลังสอง (ข้อผิดพลาด สำหรับแบบจำลองการถดถอย มักเรียกว่าค่าคงเหลือของการถดถอย) e t (\displaystyle e_(t))จะน้อยที่สุด:
b ^ O L S = หาเรื่อง นาที b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),ที่ไหน RSS (\displaystyle RSS)- ภาษาอังกฤษ ผลรวมที่เหลือของกำลังสองถูกกำหนดเป็น:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).ในกรณีทั่วไป ปัญหานี้สามารถแก้ไขได้โดยวิธีการปรับให้เหมาะสมเชิงตัวเลข (การย่อขนาด) ในกรณีนี้พวกเขาพูดถึง กำลังสองน้อยที่สุดแบบไม่เชิงเส้น(NLS หรือ NLLS - กำลังสองน้อยที่สุดในภาษาอังกฤษ) ในหลายกรณี เป็นไปได้ที่จะได้รับโซลูชันเชิงวิเคราะห์ ในการแก้ปัญหาการย่อให้เล็กสุด จำเป็นต้องค้นหาจุดคงที่ของฟังก์ชัน RSS (b) (\displaystyle RSS(b))โดยแยกความแตกต่างตามพารามิเตอร์ที่ไม่รู้จัก ข (\displaystyle b)เท่ากับอนุพันธ์ให้เป็นศูนย์และแก้ระบบสมการผลลัพธ์:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\บางส่วน f(x_(t),b))(\บางส่วน b))=0).OLS ในกรณีของการถดถอยเชิงเส้น
ปล่อยให้การพึ่งพาการถดถอยเป็นเส้นตรง:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\วาเรปซิลอน _(t)).อนุญาต ยคือเวกเตอร์คอลัมน์ของการสังเกตตัวแปรที่กำลังอธิบาย และ X (\รูปแบบการแสดงผล X)- นี้ (n × k) (\displaystyle ((n\times k)))-เมทริกซ์ของการสังเกตปัจจัย (แถวของเมทริกซ์เป็นเวกเตอร์ของค่าปัจจัยในการสังเกตที่กำหนด คอลัมน์เป็นเวกเตอร์ของค่าของปัจจัยที่กำหนดในการสังเกตทั้งหมด) การแสดงเมทริกซ์ของโมเดลเชิงเส้นมีรูปแบบ:
y = X b + ε (\displaystyle y=Xb+\varepsilon ).จากนั้นเวกเตอร์ของการประมาณค่าของตัวแปรที่อธิบายและเวกเตอร์ของเศษการถดถอยจะเท่ากัน
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).ดังนั้นผลรวมของกำลังสองของการถดถอยที่เหลือจะเท่ากับ
R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).การสร้างความแตกต่างให้กับฟังก์ชันนี้ด้วยความเคารพต่อเวกเตอร์ของพารามิเตอร์ ข (\displaystyle b)และการทำให้อนุพันธ์เท่ากับศูนย์ เราจะได้ระบบสมการ (ในรูปแบบเมทริกซ์):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).ในรูปแบบเมทริกซ์ถอดรหัส ระบบสมการนี้มีลักษณะดังนี้:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x เสื้อ 3 x เสื้อ 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y ∑ x เสื้อ 2 ปี ∑ x เสื้อ 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ ผลรวม x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),)โดยที่ผลรวมทั้งหมดจะมาจากค่าที่ถูกต้องทั้งหมด เสื้อ (\displaystyle เสื้อ).
หากรวมค่าคงที่ไว้ในโมเดล (ตามปกติ) แล้ว x t 1 = 1 (\displaystyle x_(t1)=1)ต่อหน้าทุกคน เสื้อ (\displaystyle เสื้อ)ดังนั้นที่มุมซ้ายบนของเมทริกซ์ของระบบสมการจึงมีจำนวนการสังเกต n (\displaystyle n)และในองค์ประกอบที่เหลือของแถวแรกและคอลัมน์แรก - เพียงผลรวมของค่าตัวแปร: ∑ x t j (\displaystyle \sum x_(tj))และองค์ประกอบแรกของด้านขวาของระบบคือ ∑ y t (\displaystyle \sum y_(t)).
การแก้ระบบสมการนี้ให้สูตรทั่วไปสำหรับการประมาณค่ากำลังสองน้อยที่สุดสำหรับแบบจำลองเชิงเส้น:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).เพื่อวัตถุประสงค์ในการวิเคราะห์ การแสดงสูตรสุดท้ายของสูตรนี้จะมีประโยชน์ (ในระบบสมการเมื่อหารด้วย n ค่าเฉลี่ยเลขคณิตจะปรากฏขึ้นแทนผลรวม) หากอยู่ในแบบจำลองการถดถอยข้อมูล อยู่ตรงกลางจากนั้นในการเป็นตัวแทนนี้ เมทริกซ์แรกมีความหมายของเมทริกซ์ความแปรปรวนร่วมตัวอย่างของปัจจัย และเมทริกซ์ที่สองคือเวกเตอร์ของความแปรปรวนร่วมของปัจจัยที่มีตัวแปรตาม หากนอกเหนือจากข้อมูลแล้วยัง ทำให้เป็นมาตรฐานถึง MSE (นั่นคือท้ายที่สุดแล้ว ได้มาตรฐาน) จากนั้นเมทริกซ์แรกมีความหมายของเมทริกซ์ความสัมพันธ์ตัวอย่างของปัจจัย เวกเตอร์ที่สอง - เวกเตอร์ของความสัมพันธ์ตัวอย่างของปัจจัยกับตัวแปรตาม
คุณสมบัติที่สำคัญของการประมาณค่า OLS สำหรับแบบจำลอง มีค่าคงที่- เส้นการถดถอยที่สร้างขึ้นจะผ่านจุดศูนย์ถ่วงของข้อมูลตัวอย่าง นั่นคือมีความเท่าเทียมกัน:
y mac = b 1 ^ + ∑ j = 2 k b ^ j x เค้าโครง j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\หมวก (b))_(เจ)(\bar (x))_(j)).โดยเฉพาะอย่างยิ่ง ในกรณีที่รุนแรง เมื่อตัวถดถอยตัวเดียวเป็นค่าคงที่ เราจะพบว่าการประมาณค่า OLS ของพารามิเตอร์ตัวเดียว (ค่าคงที่นั้นเอง) เท่ากับค่าเฉลี่ยของตัวแปรที่อธิบาย นั่นคือค่าเฉลี่ยเลขคณิตซึ่งเป็นที่รู้จักในเรื่องคุณสมบัติที่ดีจากกฎของจำนวนจำนวนมากก็เป็นค่าประมาณกำลังสองน้อยที่สุดเช่นกันซึ่งเป็นไปตามเกณฑ์ของผลรวมขั้นต่ำของการเบี่ยงเบนกำลังสองจากนั้น
กรณีพิเศษที่ง่ายที่สุด
ในกรณีของการถดถอยเชิงเส้นคู่ y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t))เมื่อมีการประมาณการพึ่งพาเชิงเส้นของตัวแปรหนึ่งไปยังอีกตัวแปรหนึ่ง สูตรการคำนวณจะง่ายขึ้น (คุณสามารถทำได้โดยไม่ต้องใช้พีชคณิตเมทริกซ์) ระบบสมการมีรูปแบบดังนี้
(1 x เลเยอร์ x เลเยอร์ x 2 เลเยอร์) (a b) = (y เลเยอร์ x y เลเยอร์) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).จากที่นี่ ง่ายต่อการค้นหาการประมาณค่าสัมประสิทธิ์:
( b ^ = Cov (x , y) Var (x) = x y เลเยอร์ − x เลเยอร์ y เลเยอร์ x 2 เลเยอร์ − x เลเยอร์ 2 , a ^ = y เลเยอร์ − b x เลเยอร์ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(กรณี)))แม้ว่าในกรณีทั่วไป แบบจำลองที่มีค่าคงที่จะดีกว่า ในบางกรณี เป็นที่ทราบจากการพิจารณาทางทฤษฎีว่าค่าคงที่ ก (\displaystyle ก)จะต้องเท่ากับศูนย์ ตัวอย่างเช่น ในฟิสิกส์ความสัมพันธ์ระหว่างแรงดันและกระแสคือ U = I ⋅ R (\displaystyle U=I\cdot R)- เมื่อวัดแรงดันและกระแสจำเป็นต้องประมาณค่าความต้านทาน ในกรณีนี้เรากำลังพูดถึงโมเดล y = b x (\displaystyle y=bx)- ในกรณีนี้ แทนที่จะเป็นระบบสมการ เรามีสมการเดียว
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
ดังนั้นสูตรในการประมาณค่าสัมประสิทธิ์เดี่ยวจึงมีรูปแบบ
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y mac x 2 mac (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
กรณีของแบบจำลองพหุนาม
หากข้อมูลพอดีกับฟังก์ชันการถดถอยพหุนามของตัวแปรตัวหนึ่ง f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i))แล้วจึงรับรู้องศา x ฉัน (\displaystyle x^(i))เป็นปัจจัยอิสระสำหรับแต่ละคน ฉัน (\displaystyle i)สามารถประมาณค่าพารามิเตอร์แบบจำลองตามสูตรทั่วไปสำหรับการประมาณค่าพารามิเตอร์ของแบบจำลองเชิงเส้นได้ ในการทำเช่นนี้ก็เพียงพอที่จะคำนึงถึงสูตรทั่วไปด้วยการตีความดังกล่าว x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) y (\displaystyle y) x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t))- เพราะฉะนั้น, สมการเมทริกซ์ในกรณีนี้จะอยู่ในรูปแบบ:
(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ ไม่มี ∑ ไม่มี t ⋮ ∑ n x t k y t ] .
(\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \ลิมิต _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ ผลรวม \ลิมิต _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bเมทริกซ์)).)
คุณสมบัติทางสถิติของตัวประมาณค่า OLS
- ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มคือศูนย์ และ
- ก่อนอื่น เราทราบว่าสำหรับโมเดลเชิงเส้น การประมาณค่า OLS เป็นการประมาณเชิงเส้น ดังต่อไปนี้จากสูตรข้างต้น สำหรับการประมาณค่า OLS ที่เป็นกลาง มีความจำเป็นและเพียงพอที่จะปฏิบัติตามเงื่อนไขที่สำคัญที่สุดของการวิเคราะห์การถดถอย: ความคาดหวังทางคณิตศาสตร์แบบมีเงื่อนไขของปัจจัยของข้อผิดพลาดแบบสุ่มจะต้องเท่ากับศูนย์ โดยเฉพาะอย่างยิ่งเงื่อนไขนี้จะเป็นที่พอใจหาก
ปัจจัยและข้อผิดพลาดแบบสุ่มเป็นตัวแปร สุ่ม ที่เป็นอิสระ เงื่อนไขที่สอง - เงื่อนไขของปัจจัยภายนอก - เป็นเงื่อนไขพื้นฐาน หากไม่ตรงตามคุณสมบัตินี้ เราสามารถสรุปได้ว่าการประมาณการเกือบทั้งหมดจะไม่เป็นที่น่าพอใจอย่างยิ่ง โดยจะไม่สอดคล้องกันด้วยซ้ำ (นั่นคือ แม้แต่ข้อมูลจำนวนมากก็ไม่อนุญาตให้เรารับการประมาณการคุณภาพสูงในกรณีนี้ ). ในกรณีคลาสสิก มีการตั้งสมมติฐานที่หนักแน่นกว่าเกี่ยวกับการกำหนดปัจจัยต่างๆ ซึ่งตรงข้ามกับข้อผิดพลาดแบบสุ่ม ซึ่งหมายความว่าเป็นไปตามเงื่อนไขภายนอกโดยอัตโนมัติ ในกรณีทั่วไป เพื่อความสอดคล้องของการประมาณการ ก็เพียงพอที่จะตอบสนองเงื่อนไขภายนอกพร้อมกับการลู่เข้าของเมทริกซ์ V x (\รูปแบบการแสดงผล V_(x))
ไปยังเมทริกซ์ที่ไม่ใช่เอกพจน์เมื่อขนาดตัวอย่างเพิ่มขึ้นจนถึงค่าอนันต์
เพื่อให้ นอกจากความสม่ำเสมอและความเป็นกลางแล้ว การประมาณค่ากำลังสองน้อยที่สุด (ปกติ) ให้มีประสิทธิภาพด้วย (ค่าที่ดีที่สุดในกลุ่มการประมาณค่าที่ไม่เอนเอียงเชิงเส้น) จะต้องมีคุณสมบัติเพิ่มเติมของข้อผิดพลาดแบบสุ่ม: สมมติฐานเหล่านี้สามารถกำหนดสูตรสำหรับเมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ข้อผิดพลาดแบบสุ่มได้.
เรียกว่าแบบจำลองเชิงเส้นที่ตรงตามเงื่อนไขเหล่านี้ คลาสสิค- การประมาณค่า OLS สำหรับการถดถอยเชิงเส้นแบบคลาสสิกนั้นมีความเป็นกลาง สม่ำเสมอ และมีประสิทธิภาพมากที่สุดในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้นทั้งหมด (ในวรรณคดีอังกฤษ บางครั้งจะใช้ตัวย่อ สีฟ้า (V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I)) - การประมาณค่าที่เป็นกลางเชิงเส้นที่ดีที่สุด ในวรรณคดีรัสเซียมักอ้างถึงทฤษฎีบทเกาส์-มาร์คอฟ) ตามที่แสดงได้ง่าย เมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ของการประมาณค่าสัมประสิทธิ์จะเท่ากับ:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
ประสิทธิภาพหมายความว่าเมทริกซ์ความแปรปรวนร่วมนี้เป็น "น้อยที่สุด" (ผลรวมเชิงเส้นใดๆ ของสัมประสิทธิ์ และโดยเฉพาะอย่างยิ่งตัวสัมประสิทธิ์เอง มีความแปรปรวนน้อยที่สุด) นั่นคือ ในคลาสของตัวประมาณค่าที่ไม่เอนเอียงเชิงเส้น ตัวประมาณค่า OLS นั้นดีที่สุด องค์ประกอบในแนวทแยงของเมทริกซ์นี้ - ความแปรปรวนของการประมาณค่าสัมประสิทธิ์ - เป็นพารามิเตอร์สำคัญของคุณภาพของการประมาณค่าที่ได้รับ อย่างไรก็ตาม ไม่สามารถคำนวณเมทริกซ์ความแปรปรวนร่วมได้ เนื่องจากไม่ทราบความแปรปรวนของข้อผิดพลาดแบบสุ่ม สามารถพิสูจน์ได้ว่าการประมาณค่าความแปรปรวนของข้อผิดพลาดแบบสุ่มที่เป็นกลางและสม่ำเสมอ (สำหรับแบบจำลองเชิงเส้นแบบคลาสสิก) คือปริมาณ:
S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).
เมื่อแทนค่านี้ลงในสูตรสำหรับเมทริกซ์ความแปรปรวนร่วม เราจะได้ค่าประมาณของเมทริกซ์ความแปรปรวนร่วม ผลการประมาณการที่ได้ยังเป็นกลางและสม่ำเสมออีกด้วย สิ่งสำคัญอีกประการหนึ่งคือการประมาณค่าความแปรปรวนของข้อผิดพลาด (และด้วยเหตุนี้ความแปรปรวนของสัมประสิทธิ์) และการประมาณค่าของพารามิเตอร์แบบจำลองจึงเป็นตัวแปรสุ่มอิสระ ซึ่งทำให้สามารถรับสถิติทดสอบสำหรับการทดสอบสมมติฐานเกี่ยวกับค่าสัมประสิทธิ์แบบจำลองได้
ควรสังเกตว่าหากไม่เป็นไปตามสมมติฐานดั้งเดิม การประมาณค่าพารามิเตอร์ OLS จะไม่มีประสิทธิภาพมากที่สุด และโดยที่ W (\displaystyle W)คือเมทริกซ์น้ำหนักแน่นอนเชิงบวกแบบสมมาตร กำลังสองน้อยที่สุดแบบธรรมดาเป็นกรณีพิเศษของแนวทางนี้ โดยที่เมทริกซ์น้ำหนักจะเป็นสัดส่วนกับเมทริกซ์เอกลักษณ์ ดังที่ทราบกันดีว่าสำหรับเมทริกซ์สมมาตร (หรือตัวดำเนินการ) จะมีการขยายตัว W = P T P (\displaystyle W=P^(T)P)- ดังนั้นฟังก์ชันที่ระบุจึงสามารถแสดงได้ดังนี้ e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *))นั่นคือ ฟังก์ชันนี้สามารถแสดงเป็นผลรวมของกำลังสองของ "เศษ" ที่ถูกแปลงบางส่วน ดังนั้นเราจึงสามารถแยกแยะคลาสของวิธีกำลังสองน้อยที่สุดได้ - วิธี LS (กำลังสองน้อยที่สุด)
ได้รับการพิสูจน์แล้ว (ทฤษฎีบทของเอตเคน) ว่าสำหรับแบบจำลองการถดถอยเชิงเส้นทั่วไป (ซึ่งไม่มีข้อจำกัดใดๆ กำหนดไว้กับเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) สิ่งที่เรียกว่าการประมาณการที่มีประสิทธิผลมากที่สุด (ในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้น) กำลังสองน้อยที่สุดทั่วไป (GLS - กำลังสองน้อยที่สุดทั่วไป)- วิธี LS ที่มีเมทริกซ์น้ำหนักเท่ากับเมทริกซ์ความแปรปรวนร่วมผกผันของข้อผิดพลาดแบบสุ่ม: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
จะเห็นได้ว่าสูตรสำหรับการประมาณค่าพารามิเตอร์ของแบบจำลองเชิงเส้นของ GLS มีรูปแบบ
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(ท)วี^(-1)ย).
เมทริกซ์ความแปรปรวนร่วมของการประมาณค่าเหล่านี้จะเท่ากับตามนั้น
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
ในความเป็นจริง สาระสำคัญของ OLS อยู่ที่การแปลง (P) บางอย่าง (เชิงเส้น) ของข้อมูลต้นฉบับและการประยุกต์ใช้ OLS ธรรมดากับข้อมูลที่แปลงแล้ว วัตถุประสงค์ของการแปลงนี้คือ สำหรับข้อมูลที่แปลงแล้ว ข้อผิดพลาดแบบสุ่มเป็นไปตามสมมติฐานดั้งเดิมอยู่แล้ว
OLS แบบถ่วงน้ำหนัก
ในกรณีของเมทริกซ์น้ำหนักแนวทแยง (และด้วยเหตุนี้จึงเป็นเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) เราจะเรียกว่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก (WLS) ในกรณีนี้ ผลรวมถ่วงน้ำหนักของกำลังสองของส่วนที่เหลือของแบบจำลองจะลดลง กล่าวคือ การสังเกตแต่ละครั้งจะได้รับ "น้ำหนัก" ซึ่งเป็นสัดส่วนผกผันกับความแปรปรวนของข้อผิดพลาดแบบสุ่มในการสังเกตนี้: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2))))- ข้อมูลจะถูกแปลงโดยการถ่วงน้ำหนักการสังเกต (หารด้วยจำนวนที่เป็นสัดส่วนกับค่าเบี่ยงเบนมาตรฐานโดยประมาณของข้อผิดพลาดแบบสุ่ม) และ OLS ธรรมดาจะถูกนำไปใช้กับข้อมูลที่ถ่วงน้ำหนัก
ISBN 978-5-7749-0473-0 .