RBlog DeepPavlov

Научный семинар "Тензорные программы. Часть 1"

Завтра, во вторник 26-го января, в 16:30 пройдет научный семинар. Евгений Голиков, исследователь проекта DeepPavlov, расскажет про серию статей, объединённых темой "Тензорные программы".

Запись семинара доступна по ссылке.

"Тензорная программа - это последовательность действий в некотором языке, позволяющем описать прямой и обратный проходы для широкого класса архитектур нейронных сетей. Польза от формализма тензорных программ заключается в "главной теореме" (Master theorem), говорящей о том, как ведут себя величины, встречающиеся в программе, в пределе бесконечной ширины сети. Ряд известных свойств бесконечно-широких сетей оказываются следствиями главной теоремы. Доклад будет разбит на части, каждая из которых посвящена одному из таких свойств. Мы начнём с более простых, для которых достаточно редуцированного формализма, и будем расширять его по необходимости."


Список литературы:

- Сходимость к гауссовским процессам: https://arxiv.org/abs/1910.12478

- Существование предельного касательного ядра: https://arxiv.org/abs/2006.14548

- Принцип свободной независимости: https://arxiv.org/abs/2009.10685

Community Research Events