Применение методов машинного обучения для автоматизации процессов классификации массивов текстовых данных большого объема

Abstract

В статье приведены результаты исследования предложенного метода машинного обучения на базе искусственных нейронных сетей для автоматизации процессов классификации массивов текстовых данных большого объема. Проведен анализ применимости существующих методов машинного обучения для классификации текстовых объемов данных по ряду критериев. Формализована математическая модель и предложены процедуры повышения эффективности классификации текста на базе операций предобработки. Описаны ключевые этапы предложенного метода классификации текста на основе применения рекуррентных нейронных сетей. Сформирована обобщенная схема входных и выходных данных ИС, разработана схема последовательности реализации ключевых функций, приведена диаграмма вариантов использования созданной системы для администратора и типового пользователя. Выполнена оценка точности классификации текста созданной моделью нейросети, рассчитаны значения метрик достоверности и функции потерь. Построены графики зависимостей значений оценок достоверности работы нейросети и функции потерь по эпохам обучения нейросети. Полученные результаты свидетельствуют о целесообразности и актуальности использования предложенного подхода к классификации текстовых данных Ключевые слова. Классификация текста, интеллектуальный анализ данных, методы машинного обучение, сентимент-анализ, обработка естественного языка, анализ мнений, глубокое машинное обучение, искусственные нейронные сети