Statistical methods of formation of text corpora and lexicographic resources (on the basis of the specialty «Acoustics and Ultrasonic»)

Abstract

Стаття присвячена опису послідовності кроків під час формування текстових корпусів, а потім - частотних словників на прикладі спеціальності "Акустика і ультразвукова техніка"(АУЗТ), тексти якої належать до науково - технічних корпусів, створених на основі статистичних методів. Використання статистичних методів дозволяє визначти такий обов'язковий парметр, як надійність текстового корпусу й створюваних на його основі лексикографічних ресурсів - частотних словників, алфавітно - частотних словників та ін. На прикладі спеціальності АУЗТ було показано, як статистично вивірені характеристики текстового корпусу дозволили створити надійну ймовірносно - статистичну модель(частотний словник) цієї предметної області. Статистична надійність словника проявила себе в тому факті, що частка покриття текстів АУЗТ одиницями базового словника( перших 2 тис.слів) склала 86%, що дає можливість задопомогою лексичних одиниць, представлених у базового словнику, зрозуміти зміст будь - якого тексту за фахом АУЗТ.