|
|
|
linguist.page@gmail.com
الرئيسية
»
اللسانيات الحاسوبية
»
المستوى الرابع: تعلم الآلة
»
الشبكات العصبية والتعلم العميق
»
الهياكل ذات الصلة بالمعالجة اللغوية
1.
الشبكات العصبية الالتفافية للنص
Convolutional Neural Networks (CNN) — for text classification
2.
الشبكات العصبية المتكررة
Recurrent Neural Networks (RNN)
3.
مشكلة التدرج المتلاشي/المتفجر
Vanishing / Exploding gradient problem
4.
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
5.
الوحدة المتكررة المبوبة
Gated Recurrent Unit (GRU)
6.
الشبكات العصبية المتكررة ثنائية الاتجاه
Bidirectional RNNs
7.
نماذج من تسلسل إلى تسلسل
Sequence-to-Sequence (Seq2Seq) models
8.
هيكل المشفر-المفكك
Encoder-Decoder architecture
9.
آلية الانتباه
Attention mechanism (Bahdanau, Luong)
10.
الانتباه الذاتي
Self-attention
11.
الانتباه متعدد الرؤوس
Multi-head attention
12.
الترميز الموضعي
Positional encoding
13.
هيكل المحول
The Transformer architecture
14.
BERT
BERT & variants (RoBERTa, ALBERT, DistilBERT)
15.
GPT
GPT & autoregressive language models
16.
T5 و BART
T5, BART (seq2seq transformers)
17.
نماذج اللغة الكبيرة
Large Language Models (LLMs) — architecture level