Increasing the performance of the multilingual language model with FNet architecture

Abstract

This paper provides a result of the creation, pretraining, and evaluation of the multilingual language model for Ukrainian and Russian languages. For this purpose, the deep neural network based on the efficient variation of Transformer encoder architecture – FNet was used.

У цій роботі наведено результати створення, попереднього навчання та оцінки багатомовної мовної моделі для української та російської мов. Для цього була використана глибока нейронна мережа, заснована на ефективній варіації архітектури кодера Transformer – FNet.