کمترین مربعات جزئی

کمترین مربعات جزئی [persian-alpha 1] یکی از روش‌های تحلیل رگرسیون است. در این روش، راه حل کمترین مربعات بر روی تعدادی مؤلفه متعامد که ترکیبی خطی از متغیرهای مستقل هستند و به صورت متناوب و با هدف بیشینه کردن کوواریانسِ تبدیل خطیِ متغیرهای مستقل و متغیرهای وابسته ایجاد شده‌اند، اعمال می‌شود.[1][2]

رابطه ریاضی

فرض می‌کنیم $n$ داده داریم که هر کدام از یک متغیر وابسته و $p$ متغیر مستقل تشکیل شده‌است؛ به کمک متغیرهای مستقل متغیر وابسته را پیش‌بینی می‌کنیم. مقادیر متغیرهای مستقل (به همراه یک بردار ثابت $1$ ) و مقادیر متغیر وابسته را به ترتیب در ماتریس‌های $\mathbf {X} _{n\times (p+1)}$ و $\mathbf {Y} _{n\times 1}$ به شکل پایین نمایش می‌دهیم؛ در اینجا $\mathbf {X} _{i}$ یک ماتریس $n\times 1$ از مقادیر $i$ امین متغیر مستقل است:

\mathbf {X} _{n\times (p+1)}=\left(\mathbf {1} ,\mathbf {X} _{1},\ldots ,\mathbf {X} _{n}\right)^{\top }

\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{\top }

هدف از رگرسیون خطی بدست آوردن پارامتر ${\boldsymbol {\beta }}\in \mathbb {R} ^{p+1}$ است به شکلی که $\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$ در اینجا $\varepsilon$ یک متغیر تصادفی است که خطای مدل را نشان می‌دهد. این خطا از توزیع طبیعی با میانگین صفر و واریانس ثابت برای تمامی ابعاد پیروی می‌کند به این معنی که $\operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \;$ و $\;\operatorname {Var} \left({\boldsymbol {\varepsilon }}\right)=\sigma ^{2}I_{n\times n}$ . از طریق روش کمترین مربعات می‌توان $||\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}||^{2}$ یعنی مربع میزان خطاها را کمینه کرد و به پارامتر بهینه رسید. این پارامتر با ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y}$ برابراست. یکی از مشکلات اصلی این روش عدم وارونپذیری $(\mathbf {X} ^{\top }\mathbf {X} )^{-1}$ است. برای حل این مشکل، کمترین مربعات جزئی، متناوباً مولفه‌هایی متعامد ( $\mathbf {Z_{m}}$ در پایین) که ترکیبی خطی از متغیرهای مستقل هستند تولید می‌کند و در نهایت راه حل کمترین مربعات را بر روی این مولفه‌ها اعمال می‌کند. ضرایب متغیرهای مستقل در مولفه‌ها با ضرب نقطه‌ایِ متغیرهای وابسته و مستقل برابر است. متغیرهای مستقل در ابتدای کار استاندارد شده‌اند یعنی میانگین صفر و واریانس یک دارند. در پایان هر مرحله متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند. الگوریتم تولید مولفه‌ها برای $k\leq p$ به شکل پایین است ( $k$ از روش اعتبارسنجی متقابل محاسبه می‌شود):

${\begin{cases}\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,p:\\\,\,\,\,\,\,\,\,\,\,\mathbf {X} _{j}^{(0)}=\mathbf {X} _{j}\\\,\,{\mbox{ for }}\,\,m=\,\,1,\cdots ,k:\\\,\,\,\,\,\,\,\,\,\,\mathbf {Z} _{m}=\sum _{j=1}^{p}\left\langle \mathbf {X} _{j}^{(m-1)},\mathbf {Y} \right\rangle \mathbf {X} _{j}^{(m-1)}\\\,\,\,\,\,\,\,\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,p:\\\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\mathbf {X} _{j}^{(m)}=\mathbf {X} _{j}^{(m)}-{\frac {\langle \mathbf {Z} _{m}\,,\,\mathbf {Y} \rangle }{\langle \mathbf {Z} _{m}\,,\,\mathbf {Z} _{m}\rangle }}\mathbf {Z} _{m}\\\,\,{\hat {\mathbf {Y} }}={\bar {\mathbf {Y} }}\mathbf {1} +\sum _{m=1}^{k}{\frac {\langle \mathbf {Z} _{m}\,,\,\mathbf {Y} \rangle }{\langle \mathbf {Z} _{m}\,,\,\mathbf {Z} _{m}\rangle }}\mathbf {Z} _{m}\\\end{cases}}$

از آنجا که ${\hat {\mathbf {Y} }}$ یا همان مقدار پیش‌بینی شده، ترکیبی خطی از $\mathbf {Z} _{m}$ ها است و خود $\mathbf {Z} _{m}$ ها هم ترکیبی خطی از متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از متغیرهای مستقل خواهد بود.[1]

جستارهای وابسته

تحلیل مولفه‌های اصلی

تحلیل واریانس

رگرسیون خطی

یادداشت‌ها

partial least squares

منابع

Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). "The Elements of Statistical Learning". Springer Series in Statistics: 80–82. doi:10.1007/978-0-387-84858-7. ISSN 0172-7397.
de Jong, S.; ter Braak, C.J.F. (1994). "Comments on the PLS kernel algorithm". J. Chemometrics. 8 (2): 169–174. doi:10.1002/cem.1180080208.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] rtial least squares

[:0-2] Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). "The Elements of Statistical Learning". Springer Series in Statistics: 80–82. doi:10.1007/978-0-387-84858-7. ISSN 0172-7397.

[3] Jong, S.; ter Braak, C.J.F. (1994). "Comments on the PLS kernel algorithm". J. Chemometrics. 8 (2): 169–174. doi:10.1002/cem.1180080208.

تحلیل رگرسیون
بخشی از مجموعه مباحث دربارهٔ آمار

مدل‌ها
رگرسیون خطی رگرسیون ساده خطی ‏(en)‏ رگرسیون چندجمله‌ای ‏(en)‏ رگرسیون چندمتغیره
مدل خطی تعمیم‌یافته انتخاب گسسته ‏(en)‏ رگرسیون لجستیک لوجیت چندجمله‌ای ‏(en)‏ لوجیت آمیخته ‏(en)‏ مدل پروبیت ‏(en)‏ پروبیت چندجمله‌ای ‏(en)‏ لوجیت مرتب ‏(en)‏ پروبیت مرتب ‏(en)‏ رگرسیون پواسون
مدل چندسطحی ‏(en)‏ مدل اثرهای ثابت ‏(en)‏ مدل اثرهای تصادفی ‏(en)‏ مدل آمیخته ‏(en)‏
رگرسیون غیرخطی ‏(en)‏ رگرسیون غیرپارامتریک ‏(en)‏ رگرسیون نیمه‌پارامتریک ‏(en)‏ رگرسیون باثبات رگرسیون چندک رگرسیون ایزوتونیک ‏(en)‏ رگرسیون مولفه اصلی رگرسیون کمترین زاویه رگرسیون موضعی ‏(en)‏ رگرسیون مقطع ‏(en)‏
مدل خطا در متغیرها ‏(en)‏
تخمین
کمترین مربعات کمترین مربعات خطی ‏(en)‏ کمترین مربعات غیرخطی ‏(en)‏
حداقل مربعات معمولی حداقل مربعات وزن‌دار ‏(en)‏ روش تعمیم‌یافته کمترین مربعات
رگرسیون پاره‌ای کمتری مربعات مجموع کمترین مربعات ‏(en)‏ کمترین مربعات نامنفی ‏(en)‏ تنظیم تیخونوف کمترین مربعات منظم ‏(en)‏
کمترین انحرافات مطلق ‏(en)‏ کمترین مربعات بازوزن‌داده مکرر ‏(en)‏ رگرسیون خطی بیزی رگرسیون چندمتغیره خطی بیزی
پیش‌زمینه
اعتبارسنجی مدل رگرسیون ‏(en)‏ پاسخ میانگین و پیش‌بینی‌شده ‏(en)‏ خطاها و باقی‌مانده‌ها در آمار ‏(en)‏ نیکویی برازش باقی‌مانده استودنت‌شده ‏(en)‏ قضیه گوس-مارکف
درگاه آمار