فاصله کوک

داده‌هایی که مانده‌های بزرگ دارند (داده‌های پرت) یا تأثیر زیادی بر مدل نهائی دارند ممکن است نتیجه و دقت یک رگرسیون را تحریف کنند. فاصله کوک اثر حذف یک داده‌ها را اندازه‌گیری می‌کند.

ابتدا رگرسیون خطی را با فرمت ماتریسی به این شکل تعریف می‌کنیم:

در اینجا ${\displaystyle {\boldsymbol {\varepsilon }}\sim {\mathcal {N}}\left(0,\sigma ^{2}\mathbf {I} \right)}$ خطای رگرسیون و${\displaystyle {\boldsymbol {\beta }}=\left[\beta _{0}\,\beta _{1}\dots \beta _{p-1}\right]^{\mathsf {T}}}$ پارامتر رگرسیون خطی است؛ ${\displaystyle p}$ تعداد متغیرهای مستقل یا پیش‌بینی کننده است و ${\displaystyle \mathbf {X} }$ ماتریس مقادیر متغیرهای مستقل به همراه یک بردار ثابتِ یک است. تخمین کمترین مربعات عبارت است از ${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$ ، و در نتیجه پیش‌بینی مدل رگرسیون برای ${\displaystyle \mathbf {y} }$ با خود این بردار متناسب است:

در اینجا ${\displaystyle \mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$.

برای تعریف فاصله کوک به دو تعریف اهرم قدرت و بردار باقیمانده نیاز داریم. عنصر ${\displaystyle i}$ ام قطر اصلی ${\displaystyle \mathbf {H} \,}$ که با ${\displaystyle h_{ii}\equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _{i}}$ برابر است،[4] اهرم قدرت داده ${\displaystyle i}$ ام نام دارد و تفاضل مقادیر مشاهده شده متغیر وابسته و پیش‌بینی آنها بردار باقیمانده نام دارد که با ${\displaystyle \mathbf {e} =\mathbf {y} -\mathbf {\widehat {y\,}} =\left(\mathbf {I} -\mathbf {H} \right)\mathbf {y} }$ نشان داده می‌شود.

فاصله کوک برای داده ${\displaystyle i}$ ام را با ${\displaystyle D_{i}}$ نمایش می‌دهیم که با مقدار پایین برابر است:[5]

در اینجا ${\displaystyle {\widehat {y\,}}_{j(i)}}$ پیش‌بینی برای داده مشاهده شده ${\displaystyle j}$ ام است زمانی که مدل رگرسیون بدون داده ${\displaystyle i}$ ام ساخته شود و ${\displaystyle s^{2}={\frac {\mathbf {e} ^{\top }\mathbf {e} }{n-p}}}$ میانگین خطای مربع مدل رگرسیون است.[6]

فاصله کوک را با استفاده از اهرم قدرت[5] (${\displaystyle h_{ii}}$) نیز می‌توان به شکل پایین محاسبه کرد:

نظرات مختلفی در مورد انتخاب آستانه مناسب برای فاصله کوک ببرای کشف داده‌های تأثیرگذار وجود دارد. از آنجا که فاصله کوک از توزیع اف با ${\displaystyle p}$ و ${\displaystyle n-p}$ درجه آزادی پیروی می‌کند، نقطه میانه این توزیع (${\displaystyle F_{0.5}(p,n-p)}$) می‌تواند به عنوان آستانه مورد استفاده قرار بگیرد.[7] از آنجا که این مقدار برای ${\displaystyle n}$های بزرگ تقریباً ۱ است می‌توان از شرط${\displaystyle D_{i}>1}$ برای پیدا کردن داده‌های تأثیرگذار استفاده کرد.[8] البته فاصله کوک همیشه داده‌های تأثیرگذار را به درستی تشخیص نمی‌دهد.[9]

رگرسیون خطی

داده پرت

کمترین مربعات