|
נקודות זכות באוניברסיטה העברית:
1
תואר:
מוסמך
היחידה האקדמית שאחראית על הקורס:
מדעי המחשב
סמסטר:
סמסטר ב'
שפת ההוראה:
אנגלית
קמפוס:
קרית א"י ספרא
מורה אחראי על הקורס (רכז):
ד"ר עמרי אבנד
שעות קבלה של רכז הקורס:
מורי הקורס:
גב אנה רומשיסקי
תאור כללי של הקורס:
Deep neural network models have become the go-to choice for many natural language processing problems, improving the state-of-the-art on a variety tasks from machine translation and question answering to inference and dialogue generation. This course will provide a basic introduction to deep learning methods for natural language processing. Covered topics will include vector space lexical embedding models, recurrent neural networks and their use for language modeling, encoder/decoder sequence-to-sequence and attention-based architectures. We will discuss how these methods are used for representation learning and language generation, and consider some practical applications such as question answering and conversational agents.
מטרות הקורס:
Course aims to provide an introduction to the modern deep learning techniques for natural language processing.
תוצרי למידה :
בסיומו של קורס זה, סטודנטים יהיו מסוגלים:
Understand the computational models used to process natural language. Build, train and deploy neural network computational models for text processing tasks such as text generation or classification.
דרישות נוכחות (%):
100
שיטת ההוראה בקורס:
The course will include a combination of lectures, hands-on tutorials and programming assignments.
Programming assignments and tutorials will be in Python, using PyTorch deep learning library. We will use Jupyter notebooks for coding assignments.
רשימת נושאים / תכנית הלימודים בקורס:
Review of neural networks models. Lexical embedding models: count-based vs. predicted word vectors. Building a word embedding model.
Recurrent neural networks. Training with backpropagation. Common loss functions. Dropout and other regularization methods. Gated cell memory architectures (LSTMs/GRUs). Neural language models. Conditional language models. Sequence-to-sequence encoder/decoder architectures. Building a sequence-to-sequence encoder/decoder model. Seq2seq models with attention. Neural attention models for machine translation. Attention-only encoder/decoder architectures. Transformers.
Contextualized lexical embedding models. ELMo, BERT.
חומר חובה לקריאה:
There is no required textbook. Readings will be distributed by instructor.
חומר לקריאה נוספת:
J. Eisenstein. Natural Language Processing. MIT Press.
מרכיבי הציון הסופי :
מידע נוסף / הערות:
|
