تئوری کارانن-لوف
در مبحث فرایندهای تصادفی، قضیهٔ کارهونِن-لُواِو (Karhunen-Loève Theorem، به افتخار «کاری کارهونِن» فنلاندی و «میشل لُواِو» فرانسوی)، همچنین شناختهشده به عنوان قضیه Kosambi-Karhunen-Loève،[1][2] یک فرایند تصادفی را به صورت ترکیب خطی تعداد نامحدودی از توابع متعامد (شبیه بسط فوریه برای توابع ریاضی) در یک بازهٔ کراندار توصیف میکند (به اشتباه، کارانن-لوف خوانده نشود).
این تبدیل همچنین با نامهای تبدیل هُتِلینگ و تبدیل بردار ویژه نیز شناخته میشود و با تکنیک تحلیل مولفه اصلی (PCA) مرتبط است که به صورت گسترده در بسیاری از زمینههای پردازش تصویر و آنالیز دادهها استفاده میشود.[3]
در مقایسه با بسط فوریه که در آن ضرایب، اعداد معیّن (یا قطعی، deterministic)، و پایههای (bases) بسط، توابع سینوسی هستند، ضرایب در بسط کارهونن-لُواِو، متغیرهای تصادفی هستند و پایههای بسط، بستگی به فرایند دارند. میتوان گفت این تبدیل بهگونهای با فرایند سازگار میشود که به بهترین پایهها برای آن فرایند میانجامد.
برای یک فرایند تصادفی متمرکز {Xt}t ∈ [a, b] (متمرکز به معنی E[Xt] = ۰ برای تمام t ∈ [a, b]) برای Xt مینویسیم:
که در آن Zkها دو به دو به صورت متغیرهای تصادفی ناهمبسته هستند و ekها توابع پیوسته و حقیقی در بازهٔ [a, b] هستند که دو به دو درL2([a, b]) متعامد هستند. برای مواردی که فرایند متمرکز نیست، میتوان با استفاده ازXt − E[Xt] آن را تبدیل به یک فرایند متمرکز کرد.
اگر فرایند گاوسی باشد آنگاه متغیرهای تصادفی Zk گاوسی هستند ومستقل آماری هستند. این نتیجه تبدیل Karhunen–Loève را عمومیت میبخشد. یک مثال مهم از یک فرایند متمرکز در بازهٔ [۰, ۱] فرایند وینر است.
فرمول
- Xt یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) تعریف میشود و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس KX(s, t). به این ترتیب:
- یک عملگر خطی TKX را در KX اعمال میکنیم. TKX به این صورت تعریف میشود:
- از آنجایی که TKX یک عملگر خطی است، پس میتوان دربارهٔ مقدار ویژهٔ آن λk و تابع ویژهٔ آن ek صحبت کرد، که در حل معادلههای انتگرالی مانند زیر استفاده میشوند:
بیانی از این قضیه
قضیه. Xt را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس پیوستهٔ KX(s, t) در نظر میگیریم.
حال KX(s, t) یک هسته ی Mercer است و ek را یک پایهٔ متعامد بر روی L2([a, b]) میگیریم که از توابع ویژهٔ TKX دارای مقدار ویژهٔ λk تشکیل شدهاست. میتوان Xt را به صورت زیر بیان کرد
که هم گرایی آن در L2 است و
همچنین متغیرهای تصادفی Zk دارای میانگین صفر، ناهمبسته نسبت به یکدیگر و دارای واریانس λk هستند
اثبات
- تابع کوواریانس KX شرایط تعریف هستهی Mercer را دارد. طبق تئوری Mercer، یک مجموعهٔ {λk, ek(t)} وجود دارد که از مقدار ویژهها و توابع ویژهٔ TKX، یک مجموعه متعامد از L2([a,b]) تشکیل میدهند و KX را نیز میتوان به صورت زیر نمایش داد:
- فرایند Xt میتواند به صورت تابعی از ekها به صورت زیر بسط پیدا کند:
که در آن ضرایب (متغیرهای تصادفی) Zk به صورت زیر به دست میآیند:
- حال خواهیم داشت:
- که در آن از این نکته استفاده شده است که ekها توابع ویژهٔ TKX بوده و متعامد هستند.
- حال نشان میدهیم که همگرایی در L2 است. فرض میکنیم
- آنگاه:
- که طبق قضیهٔ Mercer به صفر میل میکند.
مشخصات تبدیل کارهونن-لُواِو
حالت خاص:توزیع گاوسی
از آنجایی که حد در امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، میتوان نتیجه گرفت: قضیه. متغیر تصادفی Zi دارای توزیع مشترک گاوسی است و بهطور تصادفی مستقل است اگر فرایند اولیه {Xt}t گاوسی باشد.
در این حالت (گاوسی بودن)، از آنجایی که Ziها مستقل هستند، میتوان گفت:
almost surely.
بسط کارهونِن-لُواِو فرایند را ناهمبسته میکند
این نتیجه از استقلال Zk حاصل میشود.
بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل میرساند
در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان میشود این تبدیل بهطور بهینه انرژی را فشرده (ذخیره) میکنند. بهطور دقیق تر، برای هر پایهٔ متعامد {fk} از فضای L2([a, b])، میتوان فرایند Xt را به صورت زیر تجزیه کرد:
که در آن
و میتوان Xt را با جمع متناهی زیر برای هر عدد صحیح 'N به صورت زیر تخمین زد
یافتن واریانس
یک نتیجهٔ مهم این تبدیل را میتوان این مورد در نظر گرفت که از آنجایی که Zkها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه میدهد که Xt برابر است با جمع واریانس جملات جمع، داریم:
تعریف شده روی [a, b] و استفاده از این مسئله که ekها متعامد هستند، نتیجه میگیریم که واریانس کل فرایند برابر است با:
منابع
- Sapatnekar, Sachin (2011), "Overcoming variations in nanometer-scale technologies", IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 1 (1): 5–18, doi:10.1109/jetcas.2011.2138250
- Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012), A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles
- Karhunen-Loeve Transform (KLT), Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College