بوت‌استرپینگ (آمار)

بوت استرپ به‌طور کلی برای تقریب توزیع آماره‌ها مفید است، بدون استفاده از روش‌های معمول تئوری مثل تستهای آماری z-statistic, t-statistic. از بوت استرپ معمولاً وقتی استفاده می‌شود که هیچ روش معمول و تحلیلی ای برای کمک به تخمین توزیع آماره‌های مورد نظر وجود ندارد. حداقل دو روش برای این نوع نمونه‌گیری وجود دارد:

1. الگوریتم مونت کارلو که برای استفاده در اینجا بسیار ساده نیز هست. ابتدا با جایگذاری از داده‌ها بازنمونه‌گیری می‌کنیم، اندازهٔ بازنمونه باید برابر اندازهٔ مجموعه دادهٔ اصلی باشد. سپس آمارهٔ مورد نظر با استفاده از بازنمونه به دست آمده از مرحلهٔ اول محاسبه می‌شود و اینکار چندین بار تکرار می‌شود تا جواب دقیقتری به دست آید.
2. روش دقیق نیز شبیه مونت کارلو است با این تفائت که در این روش تمام بازنمونه‌های ممکن از مجموعهٔ داده‌ها محاسبه می‌شوند. تعداد بازنمونه‌ها برابر می‌شود با ${\displaystyle {\binom {2n-1}{n}}}$ که در آن n اندازه مجموعه داده‌های اولیه‌است.

در این حالت تعداد کمی از نویزهای تصادفی با مرکز صفر (معمولاً دارای توزیع نرمال) به هر بازنمونه اضافه می‌شوند. این معادل نمونه برداری از یک تخمین kernel density از داده‌ها است.

در این حالت یک مدل پارامتری به داده‌ها برازش می‌شود، معمولاً با استفاده از درستنمایی ماکزیمم، نمونه‌های اعداد تصادفی از این مدل برازش شده بیرون کشیده می‌شوند. معمولاً نمونه‌های بیرون کشیده شده اندازه‌ای برابر با اندازه داده‌ها اصلی دارند. سپس کمیت یا تخمین آمارهٔ مورد نظر از این داده‌ها بدست می‌آید؛ و همانند دیگر روش‌های بوت استرپ این کار چندین بار تکرار می‌شود. استفاده از بوت استرپ در این گونه موارد منجر به روشهایی می‌شود که متفاوت اند با روش‌های استنباط آماری پایه برای همین مدل.

روش دیگر بوت استرپینگ در مسائل رگرسیون بازنمونه‌گیری از باقی‌مانده‌ها است. این روش به شکل زیر است:

1. مدل را برازش کن و مقادیر ${\displaystyle {\hat {y}}_{i}}$ و باقی‌مانده‌ها ${\displaystyle {\hat {\epsilon }}_{i}=y_{i}-{\hat {y}}_{i},(i=1,\dots ,n)}$.

را بازیابی کن.

1. به ازای هر جفت، (x_i, y_i), که در آن x_i متغیر توضیحی است، یک بازنمونه تصادفی باقی‌مانده اضافه کن،${\displaystyle {\hat {\epsilon }}_{j}}$، به جواب متغیر y_i. به بیان دیگر متغیرهای ساختگی جواب ${\displaystyle y_{i}^{*}={\hat {y}}_{i}+{\hat {\epsilon }}_{j}}$ را که در آن j متغیر تصادفی انتخاب شده از لیست (۱، …, n) است به ازای هر i.
2. مدل را مجدداً برازش کن با استفاده از متغیرهای ساختگی y*_i و بازیابی کمیتهای مورد نظر
3. مراحل ۲و ۳ را به تعدادی که از نظر آماری معنی دار باشد تکرار کنید.

وقتی مه داده‌ها یه صورت موقت با هم همبستگی دارند، بوت استرپ مستقیم همبستگی‌های ذاتی را از بین می‌برد. این متد از رگرسیون گوسی استفاده می‌کند تا یک مدل احتمالاتی را برازش کند. پروسه‌های گوسی متدهایی از بایزین هستند اما در اینجا استفاده می‌شوند تا یک روش پارامتریک بوت استرپ بسازند، که به سادگی به داده‌های مستقل از زمان اجازهٔ می‌دهد به حساب آورده شوند.

هر باقی‌مانده به صورت تصادفی در یک متغیر تصادفی با میانگین صفر و واریانس ۱ ضرب می‌شود. در این متد فرض بر این است که توزیع درست باقی‌مانده متقارن است و می‌توانند فوایدی برای نمونه‌گیری ساده روی نمونه‌های کوچک داشته باشد.[1]

در این روش n-b+۱ بلاک دارای اشتراک و هرکدام به طول b به صورت روبه رو ساخته می‌شوند: مشاهده‌های ۱ تا b می‌شوند بلاک ۱، مشاهده‌های ۲ تا b+۱ می‌شوند بلاک۲ و به همین ترتیب. سپس از این بلاکها n/b باک به صورت تصادفی همراه با جایگذاری انتخاب می‌شوند. سپس مرتب کردن این n/b بلاک به همان ترتیبی که برداشته شده‌اند مشاهده‌های بوت استرپ را می‌دهد. این نوع روش با داده‌های وابسته نیز کار می‌کند اگرچه مشاهده‌ها دیگر با ساختن، ایستا نخواهند بود. اما نشان داده شده‌است که متغیر بودن طول بلاک از این مشکل جلوگیری می‌کند.[2]

• اریبی: وقتی که میانگین توزیع بوت استرپ را با آمارهٔ متناظر از توزیع اصلی مقایسه می‌کنیم، در واقع در حال بررسی کردن اریبی هستیم. تا زمانی که توزیع بوت استرپ اریب نباشد و شکلش متقارن باشد درصد فاصله اطمینان راه خوبی برای تخمین زدن است. اریبی در توزیع بوت استرپ منجر به اریبی در تخمین فاصله اطمینان می‌شود.
• فقدان تقارن در توزیع بوت استرپ موجب به وجود آمدن مسئلهٔ دیگری نیز می‌شود و آن این است که چگونه باید عدم تقارن توزیع در فاصله اطمینان بازتاب داده شود؟

این متدها شامل متدهای زیر می‌باشند:

• بوت استرپ بر حسب درصد
• بوت استرپ پایه‌ای
• بوت استرپ استیودنت شده
• بوت استرپ اریب-درست شده
• بوت استرپ تسریع شده

بوت استرپینگ یکی از مشهورترین متدهای آزمایش meidation است.[3] زیرا نیاز به فرض نرمال بودن ندارد و به‌علاوه از آن می‌توان در مواردی که اندازهٔ نمونه کوچک است استفاده کرد (N <20)

بوت استرپینگ روشی است که معمولاً برای تقریب فاصله اطمینان‌ها برای میانه استفاده می‌شود. اگرچه میانه یک آماره گسسته‌است، و این حقیقت خودش را در توزیع بوت استرپ نشان می‌دهد.

برای هموار کردن گسستگی میانه، ما می‌توانیم مقدار کمی از N(۰، σ^۲) نویز تصادفی را در هر نمونه بوت استرپ وارد کنیم. برای نمونه‌ای با اندازهٔ n انتخاب می‌کنیم ${\displaystyle \sigma =1/{\sqrt {n}}}$. هیستوگرام‌های توزیع بوت استرپ و توزیع هموار شدهٔ بوت استرپ در زیر مشخص‌اند. توزیع بوت استرپ بسیار دندانه دار است زیرا میانه تنها مقادیر کمی را می‌تواند بپذیرد. اما توزیع بوت اترپ نرم شده بر این مشکل غلبه می‌کند.

اگرچه توزیع بوت استرپ میانه زشت و به صورت شهودی اشتباه به نظر می‌رسد، فاصله‌های اطمینانی که به دست می‌دهد در این مثال بد نیستند.

بوت استرپ متمایز شده‌است از:

• پروسهٔ جک نایف (jackknife)، استفاده شده برای تخمین اریبی آماره‌های نمونه و برای تخمین واریانس.
• وارسی اعتبار (cross-validation)، که در آن پارامترها (مثل وزنهای رگرسیون) در یک زیرنمونه تخمین زده می‌شوند و به زیرنمونه‌ها تسری داده می‌شوند.

برای اطلاعات بیشتر به Resampling مراجعه شود.