فرایند دیریکله

توزیع مخلوط زیر را در نظر بگیرید:

${\displaystyle {\begin{array}{lcl}\theta _{1,\dots ,K}&\sim &H()\\{\boldsymbol {\beta }}&\sim &\operatorname {Dirichlet} (\alpha /K,...,\alpha /K)\\z_{1,\dots ,N}&\sim &\operatorname {Categorical} ({\boldsymbol {\beta }})\\x_{i=1,\dots ,N}&\sim &F(\theta _{z_{i}})\end{array}}}$

مجموعه ${\displaystyle x_{1},\dots ,x_{N}}$ داده‌های مشاهده هستند که مطابق توزیع مخلوط با ${\displaystyle K}$ مؤلفه توزیع شده‌اند و هر مؤلفه دارای توزیع ثابت ${\displaystyle F(\theta )}$ است، بطوریکه هر مؤلفه دارای پارامتر متفاوتی برای ${\displaystyle \theta }$ است که به نوبهٔ خود از توزیع ${\displaystyle H}$ بدست آمده است. معمولاً توزیع ${\displaystyle H}$، مزدوج پیشین توزیع ${\displaystyle F}$ است.

فرایندهای دریکله در آمار بیزی ناپارامتری استفاده می‌شود. «ناپارامتری» به مفهوم یک مدل بدون پارامتر نیست، بلکه مدلی است که در آن نمایش‌ها با تعداد داده مشاهده‌شده افزایش می‌یابد. مدل‌های بیزی ناپارامتری در حوزه یادگیری ماشین به دلیل انعطاف‌پذیری به خصوص در یادگیری بدون‌ناظر، محبوبیت بیشتری کسب می‌کنند. در یک مدل بیزی ناپارامتری توزیع پیشین و پسین توزیع‌های پارامتری نیستند اما فرایند تصادفی هستند. خاصیت ناپارامتری آن، این مدل را کاندید ایده‌آل برای خوشه‌بندی که تعداد خوشه‌ها از قبل نامشخص است می‌کند.

از آنجایی که کشش‌های فرایند دریکله مستقل هستند، یک استفاده مهم می‌تواند استفاده به عنوان احتمال پیشین در مدل ترکیبی نامتناهی باشد. در این مورد، S یک مجموعه پارامتری از توزیع‌های مؤلفه است. در نتیجه فرایند تولیدی یک نمونه است که از فرایند دریکله گرفته شده‌است. این حقیقت که هیچ محدودیتی در تعداد مؤلفه‌های مستقلی که ممکن است تولید شوند این مدل را برای این استفاده وقتی تعداد مؤلفه‌های ترکببی از قبل مشخص نیست، مناسب می‌کند.

خاصیت نامتناهی این مدل‌ها همچنین آن‌ها را برای کاربردهای مختلف پردازش زبان طبیعی که با فرض کلمات نامتناهی و گسسته هستند، مناسب می‌کند. فرایند دریکله هم‌چنین می‌تواند در تست فرضیه ناپارامتری، برای مثال برای تولید نسخه‌های کلاسیک تستهای فرضیه مثلاً تست علامت و… استفاده شود.

• فرایند پیتمن-یور تعمیم فرایند دیریکله است.
• فرایند دیریکله ی سلسله مراتبی تعمیمی از فرایند دیریکله است تا اینکه داده‌های گروهی را نیز در نظر بگیرد.

• Introduction to the Dirichlet Distribution and Related Processes by Frigyik, Kapila and Gupta
• Yee Whye Teh's overview of Dirichlet processes
• Webpage for the NIPS 2003 workshop on non-parametric Bayesian methods
• Michael Jordan's NIPS 2005 tutorial: Nonparametric Bayesian Methods: Dirichlet Processes, Chinese Restaurant Processes and All That
• Peter Green's summary of construction of Dirichlet Processes
• Peter Green's paper on probabilistic models of Dirichlet Processes with implications for statistical modelling and analysis
• Zoubin Ghahramani's UAI 2005 tutorial on Nonparametric Bayesian methods
• GIMM software for performing cluster analysis using Infinite Mixture Models
• A Toy Example of Clustering using Dirichlet Process. by Zhiyuan Weng