https://github.com/bayesgroup/nbm2021
Нейробайесовский курс в 2021
https://github.com/bayesgroup/nbm2021
Last synced: 3 months ago
JSON representation
Нейробайесовский курс в 2021
- Host: GitHub
- URL: https://github.com/bayesgroup/nbm2021
- Owner: bayesgroup
- Created: 2021-02-13T12:27:56.000Z (over 4 years ago)
- Default Branch: main
- Last Pushed: 2021-02-13T12:32:21.000Z (over 4 years ago)
- Last Synced: 2025-01-21T08:24:40.255Z (4 months ago)
- Size: 3.91 KB
- Stars: 0
- Watchers: 12
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
**Лектор:** Дмитрий Петрович Ветров
**Семинаристы:** Кирилл Струминский, Артём Соболев, Арсений Ашуха, Олег Иванов, Айбек Аланов, Артëм Гадецкий, Оганесян Виктор, Александр Гришин
**Ассистенты:** Никита Юдин, Александр Марков, Никита Бондарцев, Денис Ракитин
**Контакты:** по всем вопросам, связанным с курсом, просьба писать на **[email protected]**. В название письма обязательно добавлять тег **[ШАД НБМ20]** (письма без этого тега могут просто не дойти до преподавателей).
У курса также есть чат в телеграме. Все объявления по курсу будут выкладываться именно в этом чате, поэтому настоятельно рекомендуется к нему присоединиться. Основной язык чата - английский.
### Краткое описание
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состязающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения.
### Новости
### Отчётность по курсу и критерии оценки
* В рамках курса предполагается выполнение 4 практических заданий, каждое из которых оценивается из 10-ти баллов.
* Из них складывается оценка как как среднее **взвешенное**
<Средняя_оценка_за_задания>= 1 / 6 * SVD + 1 / 6 * NF + 1 / 3 * VAE + 1 / 3 * DLV (аббревиатуры тем)
* Необходимым условием получения оценки 3/4/5 (по пятибальной шкале) за курс является сдача не менее 1/2/3 практических заданий соответственно.
* В конце семестра можно опционально сдать экзамен по курсу (он не обязателен, оценку «отлично» можно получить и без него!). Путем сдачи экзамена можно повысить свою оценку максимум на 3 балла.
* Итоговый балл за курс вычисляется по формуле <Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>.
Итоговый балл округляется математически.
* Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).
### Практические задания
* В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing Flows, Variational Autoencoder, Discrete Latent Variables.
* Приём заданий по курсу осуществляется в системе anytask.
* Все задания сдаются на Python 3 с использованием PyTorch.
* Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны.
* Все задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. Для студентов филиалов первая неделя после срока идёт без штрафа.
* На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты.
**Даты выдачи заданий:** 24 Февраля, 3 Марта, 10 Марта, 24 Марта
### Расписание занятий
| Занятие | Дата занятия | Название (Материалы) |
|:-------------:|:-------------:| ----- |
| 1 | 10 февраля | Лекция «Стохастический вариационный вывод»
Семинар «Применение SVI на примере масштабируемых тематических моделей»
([блогпост](https://hackmd.io/@asobolev/HJywykf-8) Артема Соболева) |
| 2 | 17 февраля | Лекция «Дважды стохастический вариационный вывод»
Семинар «Дисперсия стохастических градиентов в примерах» |
| 3 | 24 февраля | Лекция «Байесовские нейронные сети»
Семинар «Локальная репараметризация» |
| 4 | 3 марта | Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода»
Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» |
| 5 | 10 марта | Лекция «Методы снижения дисперсии в моделях со скрытыми переменными»
Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» |
| 6 | 17 марта | Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN»
Семинар «f-GAN» |
| 7 | 24 марта | Лекция «Stochastic softmax»
Семинар «Stochastic softmax» |
| 8 | 31 марта | Лекция по последним результатам в области исследования поверхности функции потерь нейросетей
Семинар «Deep MCMC» |
### Экзамен
### Рекомендуемая литература
1. Murphy K.P. [Machine Learning: A Probabilistic Perspective.](http://www.twirpx.com/file/1347295/) The MIT Press, 2012.
2. Bishop C.M. [Pattern Recognition and Machine Learning.](http://www.twirpx.com/file/146159/) Springer, 2006.
3. Mackay D.J.C. [Information Theory, Inference, and Learning Algorithms.](http://www.inference.phy.cam.ac.uk/mackay/itila/book.html) Cambridge University Press, 2003.
4. Ian Goodfellow and Yoshua Bengio and Aaron Courville [Deep Learning.](http://www.deeplearningbook.org/) MIT Press, 2016.
### Полезные ссылки
[Сайт](http://bayesgroup.ru) группы Байесовских методов.