4 февраля, в 14:00 пройдет вторая часть научного семинара. Евгений Голиков, исследователь проекта DeepPavlov, расскажет про серию статей, объединённых темой "Тензорные программы". Запись семинара доступна по ссылке."Тензорная программа - это последовательность действий в некотором языке, позволяющем описать прямой и обратный проходы для широкого класса архитектур нейронных сетей. Польза от формализма тензорных программ заключается в "главной теореме" (Master theorem), говорящей о том, как ведут себя величины, встречающиеся в программе, в пределе бесконечной ширины сети. Ряд известных свойств бесконечно-широких сетей оказываются следствиями главной теоремы. Доклад будет разбит на части, каждая из которых посвящена одному из таких свойств. Мы начнём с более простых, для которых достаточно редуцированного формализма, и будем расширять его по необходимости."
Список литературы:
- Сходимость к гауссовским процессам: https://arxiv.org/abs/1910.12478
- Существование предельного касательного ядра: https://arxiv.org/abs/2006.14548
- Принцип свободной независимости: https://arxiv.org/abs/2009.10685
Научный семинар "Тензорные программы. Часть 2"
