روش بی‌اف‌جی‌اس

جهت جستجو p_k در لحظه ی k ام توسط پاسخ معادله ی نیوتون داده می شود.

${\displaystyle B_{k}\mathbf {p} _{k}=-\nabla f(\mathbf {x} _{k})}$

که در آن ${\displaystyle B_{k}}$ تقریبی به ماتریس هشین است که در هر مرحله بروز رسانی می‌شود و ${\displaystyle \nabla f(\mathbf {x} _{k})}$ گرادیان تابع به ازای هر x_k است.

با شروع از مقدار اولیه ${\displaystyle \mathbf {x} _{0}}$ و مقدار تقریبی اولیه ${\displaystyle B_{0}}$ مراحل زیر تکرار می شوند تا اینکه به تقریب مورد نظر ${\displaystyle x}$ برسیم.

1. انتخاب جهت ${\displaystyle \mathbf {p} _{k}}$ با حل : ${\displaystyle B_{k}\mathbf {p} _{k}=-\nabla f(\mathbf {x} _{k}).}$.
2. انجام جستجوی خطی برای یافتن بهترین سایز قدم ${\displaystyle \alpha _{k}}$ برای بروزرسانی ${\displaystyle \mathbf {x} _{k+1}=\mathbf {x} _{k}+\alpha _{k}\mathbf {p} _{k}.}$.
3. مقدار دهی ${\displaystyle \mathbf {s} _{k}=\alpha _{k}\mathbf {p} _{k}.}$.
4. ${\displaystyle \mathbf {y} _{k}={\nabla f(\mathbf {x} _{k+1})-\nabla f(\mathbf {x} _{k})}.}$
5. ${\displaystyle B_{k+1}=B_{k}+{\frac {\mathbf {y} _{k}\mathbf {y} _{k}^{\mathrm {T} }}{\mathbf {y} _{k}^{\mathrm {T} }\mathbf {s} _{k}}}-{\frac {B_{k}\mathbf {s} _{k}\mathbf {s} _{k}^{\mathrm {T} }B_{k}}{\mathbf {s} _{k}^{\mathrm {T} }B_{k}\mathbf {s} _{k}}}.}$

• روش های شبه نیوتون
• L-BFGS روش
• الگوریتم تپه نوردی

• Avriel, Mordecai (2003), Nonlinear Programming: Analysis and Methods, Dover Publishing, ISBN 0-486-43227-0

• SOURCE CODE OF HIGH-PRECISION BFGS A C++ source code of BFGS with high-precision arithmetic