Недавно был представлен Russian SuperGLUE - бенчмарк для задачи общего понимания языка (General Language Understanding) и дальнейшего развития моделей на русском. Уже сейчас доступен лидерборд http://russiansuperglue.com, и лучший результат показывает наша модель #DeepPavlov - Russian monolingual BERT (RuBERT)💪.
Подробнее о проекте и метриках можно прочитать в посте на Habr от Tatiana Shavrina.