1. دوال الخسارة^{Loss functions}

2. الانحدار التدريجي^{Gradient descent (batch, stochastic, mini-batch)}

3. معدل التعلم^{Learning rate}

4. الزخم^Momentum

5. الطرق التكيفية^{Adaptive methods (AdaGrad, RMSprop, Adam)}

6. التحسين المحدب وغير المحدب^{Convex vs. non-convex optimization}

7. التنظيم^{Regularization (L1 / Lasso, L2 / Ridge)}

8. مضاعفات لاغرانج^{Lagrange multipliers}

9. التحسين المقيد^{Constrained optimization}