یکسوساز (شبکه عصبی)

واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.

${\displaystyle f(x)=\max(0,x+Y)}$، با داشتن ${\displaystyle Y\sim {\mathcal {N}}(0,\sigma (x))}$

واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.

این واحدها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\0.01x&{\mbox{otherwise}}\end{cases}}}$

واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\ax&{\mbox{otherwise}}\end{cases}}}$

توجه شود که برای ${\displaystyle a\leq 1}$، عبارت بالا معادل است با

${\displaystyle f(x)=\max(x,ax)}$

و از این رو با شبکه‌های مکس‌اوت ربط دارند.

واحدهای نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>=0\\a[\exp(x)-1]&{\mbox{otherwise}}\end{cases}}}$

${\displaystyle a}$ یگ پارامتر خارجی است که باید تنظیم شود و شرط ${\displaystyle a>=0}$ باید بر قرار باشد.