لسو

لَسو[persian-alpha 1] یکی از روش‌های تنظیم مدل برای جلوگیری از بیش‌بردازش در رگرسیون است که باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت[persian-alpha 2] شود.[1] در روش لَسو نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود.[1]

تعریف ریاضی

اگر در مسئله رگرسیون داده‌ها را با $D=({x_{1}},y_{1}),\cdots ({x_{N}},y_{N})$ نمایش دهیم، هدف بدست آوردن $y$ از ترکیبی خطی از $x$ است یعنی $x^{T}\beta +\beta _{0}$ . در اینجا $\beta$ و $x$ هر دو بردار و دارای بعد یکسان هستند. رگرسیون خطی معمولی به شکل پایین در پی یافتن $\beta$ و $\beta _{0}$ بهینه است:

$\min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}$

حال اگر داده‌ها را در ماتریس $X$ و بردار $Y$ بگنجانیم مسئله به عبارت پایین تغییر شکل می‌دهد:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}\right\}$

پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش[persian-alpha 3] برای مدل بیشتر است.[2] پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه»[persian-alpha 4] به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل گفته می‌شود.[3] در روش لَسو ضریبی از نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}$

این کار باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود.[1] اضافه کردن ضریبی از نُرمِ $L_{1}$ به تابع هزینه معادلِ ایجاد محدودیتی بر روی نُرمِ $L_{1}$ پارامتر است:

$\min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t$

یادداشت‌ها

LASSO مخفف least absolute shrinkage and selection operator
sparse
overfitting
penalty

منابع

Natarajan, B. K. (1995). "Sparse Approximate Solutions to Linear Systems". SIAM Journal on Computing. 24 (2): 227–234. doi:10.1137/s0097539792240406. ISSN 0097-5397. Archived from the original on 24 May 2019. Retrieved 17 December 2019.
Bühlmann, Peter; van de Geer, Sara (2011). "Statistics for High-Dimensional Data". Springer Series in Statistics. doi:10.1007/978-3-642-20192-9. ISSN 0172-7397. Archived from the original on 21 February 2019. Retrieved 5 October 2018.
Bühlmann, Peter; van de Geer, Sara (2011). Theory for ℓ1/ℓ2-penalty procedures. Berlin, Heidelberg: Springer Berlin Heidelberg. pp. 249–291. doi:10.1007/978-3-642-20192-9_8. ISBN 9783642201912. Archived from the original on 5 October 2018.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] LASSO مخفف least absolute shrinkage and selection operator

[2] sparse

[4] verfitting

[6] ty

[:1-3] Natarajan, B. K. (1995). "Sparse Approximate Solutions to Linear Systems". SIAM Journal on Computing. 24 (2): 227–234. doi:10.1137/s0097539792240406. ISSN 0097-5397. Archived from the original on 24 May 2019. Retrieved 17 December 2019.

[5] Bühlmann, Peter; van de Geer, Sara (2011). "Statistics for High-Dimensional Data". Springer Series in Statistics. doi:10.1007/978-3-642-20192-9. ISSN 0172-7397. Archived from the original on 21 February 2019. Retrieved 5 October 2018.

[:0-7] Bühlmann, Peter; van de Geer, Sara (2011). Theory for ℓ1/ℓ2-penalty procedures. Berlin, Heidelberg: Springer Berlin Heidelberg. pp. 249–291. doi:10.1007/978-3-642-20192-9_8. ISBN 9783642201912. Archived from the original on 5 October 2018.