Automation of the Preparation Process Weakly-Structured Multi-Dimensional Data of Sociological Surveys in the Data Mining System

Abstract

In order to obtain knowledge about the target audience, the preparation process of weakly-structured multi-dimensional data of sociological surveys were automated. The following techniques have been developed for automating data prepa-ration: machine representation, preprocessing of the data from the sociological surveys in order to clean and filter it, transformation of data into feature space based on a formalized research objective, nonlinear dimensionality reduction and visuali-zation of the multi-dimensional data. As research have shown, the procedures associated with obtaining of primary and secondary feature spaces are the most significant. The Orange3 framework, which includes component-based data mining software and is used as a module for Python, were used to create IT of preparing weakly structured multidimensional data of sociological surveys in the Data Mining system. Approbation of the automated preparation process of weakly-structured multi-dimensional data within the sociological surveys Data Mining system allowed to increase the reliability of decision-making on the lifestyle of the respondents compared to a sociologist of the master's qualification level and the respondents own responses.

Для получения знаний о респондентах социальных исследований при разработке информационной технологии интеллектуального анализа автоматизирован этап подготовки слабо структурированных многомерных данных социологических опросов. Для автоматизации подготовки данных разработана информационная технология, которая базируется на следующих методиках: машинного представления, очистки и фильтрации данных; трансформации очищенных данных в пространство первичных признаков с учетом формализованной цели исследования; нелинейного снижения раз-мерности многомерного пространства первичных признаков для построения двумерного пространства вторичных признаков и их последующей визуализации. Апробация информационной технологии подготовки многомерных слабоструктурированных данных в совместно с системой интеллектуального анализа на данных социологических опросов позволила повысить достоверность принятия решений по стилю жизни респондентов по сравнению с социологом квалификационного уровня магистр и собственному определению респондентов. Как показали исследования разработанной информационной технологии подготовки данных социологических опросов, наиболее влияющими на результат анализа являются процедуры, связанные с получением пространств первичных и вторичных признаков. Представленные в удобном для экспертов визуальном виде, полученные знания об исследуемой целевой аудитории позволяют легко учитывать их при принятии обоснованных решений специалистами в предметной области.

Для отримання знань про респондентів соціальних досліджень при розробці інформаційної технології ін-телектуального аналізу автоматизовано етап підготовки слабо структурованих багатовимірних даних соціологічних опитувань. Для автоматизації підготовки даних розроблено інформаційну технологію яка базується на наступних мето-диках: машинного представлення , очищення та фільтрації даних; трансформації очищених даних в простір первинних ознак з урахуванням формалізованої мети дослідження; нелінійного зниження розмірності багатовимірного простору пер-винних ознак для побудови двовимірного простору вторинних ознак та їх подальшої візуалізації. Апробація інформаційної технології підготовки багатовимірних слабо структурованих даних спільно з системою Data Mining на даних соціологічних опитувань дозволила підвищити достовірність прийняття рішень по стилю життя респондентів у порівнянні з соціо-логом кваліфікаційного рівня магістр та із власним визначенням респондентів. Як показали дослідження розробленої інфо-рмаційної технології підготовки даних соціологічних опитувань, найбільш впливовими на результат аналізу є процедури, що пов'язані з побудовою просторів первинних і вторинних ознак для подальшого проведення кластерізації та класифікації Представлені в зручному для експертів візуальному вигляді, отримані знання про досліджувану цільової аудиторію дозво-ляють легко враховувати їх при прийнятті обґрунтованих рішень фахівцями в предметної області.