Models Based on Conformal Predictors for Diagnostic Systems in Medicine

Abstract

A disadvantage of many diagnostic systems is the inability to sufficiently assess the decisions reliability. While solving the problem of classification, each example may be classified with different degree of quality. So, a measure of the quality of an example classification was used (a non-conformity measure). The goal of the research is to improve evaluation of the diagnostics reliability in medicine based on conformal predictors which allow carrying out a probabilistic classification, as well as identifying abnormal cases when either the classifier is unable to determine the class for a particular object, or assigns one object to several classes at once. The paper describes the constructing and testing of various probabilistic binary classification models based on machine learning, particularly, the SVM method and conformal predictors using a non-conformity measure. For learning and testing the medicine Breast Cancer Wisconsin (Diagnostic) Data Set was used to construct linear, polynomial of different degrees and RBF models. We assessed the prediction results for every example from the test set as well as the integral characteristics of the quality of the models, taking into account both the correctness of the predictions for each class and the number of different types of anomalies. On the basis of the best selected models (linear, polynomial model of the 2nd degree and RBF), we developed an intelligent diagnostic system in medicine, which allows automating the model’s construction, as well as carrying out the diagnostics and displaying the confidence of the received diagnosis or a message about the impossibility of making a diagnosis. The program also allows multiple doctors to log in to the system, adding new patients and editing information about them; every patient has their medical record with the results of the examination and the diagnoses given. The results of the research can be applied in the diagnostic systems for various diseases. This can be done by using the data with the symptoms and the corresponding diagnoses and constructing the appropriate models on this basis.

Недоліком багатьох діагностичних систем є неможливість в достатній мірі оцінити достовірність рішень. При вирішенні проблеми класифікації кожен приклад може бути класифікований з різним ступенем якості. Запропонована міра якості зразкової класифікації (міра невідповідності). Мета дослідження - поліпшити оцінку достовірності діагностики в медицині на основі конформних предикторів, які дозволяють проводити вірогідну класифікацію, а також виявляти ненормальні випадки, коли класифікатор не може визначити клас для конкретного об'єкта, або відносить один об'єкт до окремих класів одночасно. У статті описується побудова і тестування різних імовірнісних моделей двійковій класифікації на основі машинного навчання, зокрема, методу SVM і конформних предикторів, що використовують міру невідповідності. Для вивчення і тестування моделей був використаний базі набір даних Breast Cancer Wisconsin (Diagnostic) Data Set для побудови лінійних, полиномов різного ступеня і моделей RBF. Оцінені результати прогнозування для кожного прикладу з набору тестів, а також інтегральні характеристики якості моделей, з урахуванням як правильності прогнозів для кожного класу, так і кількості різних типів аномалій. На основі кращих відібраних моделей (лінійна, поліноміальна модель 2-го ступеня і RBF) розроблена інтелектуальна діагностична система для застосування в медицині, яка дозволяє автоматизувати побудову моделі, а також проводити діагностику і відображати достовірність отриманого діагнозу або повідомляти про неможливість поставити діагноз. Програма також дозволяє декільком лікарям входити в систему, додавати нових пацієнтів і редагувати інформацію про них. Кожен пацієнт має свою медичну карту з результатами обстеження і поставленими діагнозами. Результати дослідження можуть бути застосовані в системах діагностики різних захворювань. Це можна зробити, використовуючи дані з симптомами і відповідними діагнозами і створивши відповідні моделі на цій основі.

Недостатком многих диагностических систем является невозможность в достаточной степени оценить достоверность решений. При решении проблемы классификации каждый пример может быть классифицирован с разной степенью качества. Предложена мера качества примерной классификации (мера несоответствия). Цель исследования - улучшить оценку достоверности диагностики в медицине на основе конформных предикторов, которые позволяют проводить вероятностную классификацию, а также выявлять ненормальные случаи, когда классификатор не может определить класс для конкретного объекта, либо относит один объект к нескольким классам одновременно. В статье описывается построение и тестирование различных вероятностных моделей двоичной классификации на основе машинного обучения, в частности, метода SVM и конформных предикторов, использующих меру несоответствия. Для изучения и тестирования моделей был использован базе набор данных Breast Cancer Wisconsin (Diagnostic) Data Set для построения линейных, полиномов различной степени и моделей RBF. Оценены результаты прогнозирования для каждого примера из набора тестов, а также интегральные характеристики качества моделей, с учетом как правильности прогнозов для каждого класса, так и количества различных типов аномалий. На основе лучших отобранных моделей (линейная, полиномиальная модель 2-й степени и RBF) разработана интеллектуальная диагностическая система для применения в медицине, которая позволяет автоматизировать построение модели, а также проводить диагностику и отображать достоверность полученного диагноза или сообщать о невозможности поставить диагноз. Программа также позволяет нескольким врачам входить в систему, добавлять новых пациентов и редактировать информацию о них. Каждый пациент имеет свою медицинскую карту с результатами обследования и поставленными диагнозами. Результаты исследования могут быть применены в системах диагностики различных заболеваний. Это можно сделать, используя данные с симптомами и соответствующими диагнозами и создав соответствующие модели на этой основе.