حافظه طولانی کوتاه-مدت

مقادیر اولیه: ${\displaystyle c_{0}=0}$ و ${\displaystyle h_{0}=0}$. عملگر ${\displaystyle \circ }$ نشان دهنده ضرب هادامارد (ضرب عنصری).

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

متغیرها

• ${\displaystyle x_{t}}$: بردار ورودی
• ${\displaystyle h_{t}}$: بردار خروجی
• ${\displaystyle c_{t}}$: بردار وضعیت سلول
• ${\displaystyle W}$ ${\displaystyle U}$ و ${\displaystyle b}$: ماتریس‌ها و بردار پارامتر
• ${\displaystyle f_{t}}$ ${\displaystyle i_{t}}$ و ${\displaystyle o_{t}}$: بردارهای دروازه
  • ${\displaystyle f_{t}}$: بردار دروازه فراموشی. وزن به یادداری اطلاعات قدیمی.
  • ${\displaystyle i_{t}}$: بردار دروازه ورودی. وزن اندوختن اطلاعات جدید.
  • ${\displaystyle o_{t}}$: بردار دروازه خروجی. کاندید خروجی.

توابع فعال‌سازی

• ${\displaystyle \sigma _{g}}$: تابع اصلی یک تابع سیگموئید است.
• ${\displaystyle \sigma _{c}}$: تابع اصلی یک تانژانت هذلولی است.
• ${\displaystyle \sigma _{h}}$: تابع اصلی یک تانژانت هذلولی است اما ال‌اس‌تی‌ام روزنه‌ای ${\displaystyle \sigma _{h}(x)=x}$.

ال‌اس‌تی‌ام روزنه‌ای با دروازه‌های فراموشی. ${\displaystyle h_{t-1}}$ استفاده نمی‌شود، در عوض از ${\displaystyle c_{t-1}}$ در بیش تر جاها استفاده می‌شود.

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

ال‌اس‌تی‌ام کانولوشنی.[4] ${\displaystyle *}$ نشان دهنده عملگر کانولوشن است.

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\circ c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\circ c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\circ c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$