Optimizing hierarchical classifiers with parameter tuning and confidence scoring

Abstract

Hierarchical classifiers play a crucial role in addressing complex classification tasks by breaking them down into smaller, more manageable sub-tasks. This paper continues a series of works, focused on the technical Ukrainian texts hierarchical classification, specifically the classification of repair works and spare parts used in automobile maintenance and servicing. We tackle the challenges posed by multilingual data inputs – specifically Ukrainian, Russian, and their hybrid – and the lack of standard data cleaning models for the Ukrainian language. We developed a novel classification algorithm, which employs TF-IDF victimization with unigrams and bigrams, keyword selection, and cosine similarity for classification. This paper describes a method for training and evaluating a hierarchical classification model using parameter tuning for each node in a tree structure. The training process involves initializing weights for tokens in the class tree nodes and input strings, followed by iterative parameter tuning to optimize classification accuracy. Initial weights are assigned based on predefined rules, and the iterative process adjusts these weights to achieve optimal performance. The paper also addresses the challenge of interpreting multiple confidence scores from the classification process, proposing a machine learning approach using Scikit-learn's GradientBoostingClassifier to calculate a unified confidence score. This score helps assess the classification reliability, particularly for unlabeled data, by transforming input values, generating polynomial parameters, and using logarithmic transformations and scaling. The classifier is fine-tuned using hyper parameter optimization techniques, and the final model provides a robust confidence score for classification tasks, enabling the verification and classification results optimization across large datasets. Our experimental results demonstrate significant improvements in classification performance. Overall classification accuracy nearly doubled after training, reaching 92.38 %. This research not only advances the theoretical framework of hierarchical classifiers but also provides practical solutions for processing large-scale, unlabeled datasets in the automotive industry. The developed methodology can enhance various applications, including automated customer support systems, predictive maintenance, and decision-making processes for stakeholders like insurance companies and service centers. Future work will extend this approach to more complex tasks, such as extracting and classifying information from extensive text sources like telephone call transcriptions.

Ієрархічні класифікатори відіграють вирішальну роль у вирішенні складних задач класифікації, розбиваючи їх на менші, більш керовані підзадачі. Ця стаття продовжує серію робіт, зосереджених на ієрархічній класифікації технічних українських текстів, зокрема класифікації ремонтних робіт та запасних частин, що використовуються в обслуговуванні та ремонті автомобілів. Ми вирішуємо питання, пов'язані з багатомовними вхідними даними – зокрема українською, російською та їх міксом – і відсутністю стандартних моделей попередньої обробки даних для української мови. У цій статті описується метод навчання та оцінювання моделі ієрархічної класифікації за допомогою налаштування параметрів для кожного вузла в деревоподібній структурі. Процес навчання включає ініціалізацію ваг для токенів у вузлах дерева класів та вхідних рядках, після чого проводиться ітеративне налаштування параметрів для оптимізації точності класифікації. Початкові ваги призначаються на основі наперед визначених правил, а ітеративний процес коригує ці ваги для досягнення оптимальної продуктивності. Стаття також розглядає проблему інтерпретації множинних показників впевненості, отриманих з процесу класифікації, пропонуючи підхід машинного навчання з використанням GradientBoostingClassifier з бібліотеки Scikit-learn для розрахунку уніфікованого показника впевненості. Цей показник допомагає оцінити надійність класифікації, особливо для нерозмічених даних, шляхом трансформації вхідних значень, генерації поліноміальних параметрів та використання логарифмічних перетворень і масштабування. Класифікатор точно налаштовується за допомогою технік оптимізації гіперпараметрів, а фінальна модель забезпечує надійний показник впевненості для задач класифікації, дозволяючи перевіряти та оптимізувати результатів класифікації на великих наборах даних. Загальна точність класифікації майже подвоїлася після навчання, досягнувши 92.38 %. Це дослідження не тільки просуває теоретичну основу ієрархічних класифікаторів, але й надає практичні рішення для обробки великомасштабних, нерозмічених наборів даних в автомобільній індустрії. Майбутні роботи будуть спрямовані на розширення цього підходу на більш складні задачі, такі як знаходження та класифікація інформації з великих текстів, наприклад, транскрипцій телефонних дзвінків.