A cluster approach to matching the competences of data specialists with skills in demand on the labour market

Abstract

This paper addresses the challenge of aligning the competences of data specialists with skills in demand on the labour market in the rapidly evolving field of data science. Using an open dataset of 3,744 IT job postings, the study applies K-means clustering to identify key skill groupings for data specialist positions. The optimal number of clusters is determined using the elbow method, resulting in four distinct clusters: Data Analyst & Engineer, Data Platform Engineer, Data Science & Engineering Specialist, and Cloud Data Engineer. The research methodology employs unsupervised learning techniques, specifically K-means clustering, to analyze the distribution of skills across job postings. The clusters are visualized using t-distributed Stochastic Neighbor Embedding (t-SNE), providing insights into the relationships between different skill sets. The study reveals that job titles do not always unambiguously define the required skills, emphasizing the importance of focusing on specific skill sets rather than job titles alone. To bridge the gap between specific subject competences academic programs and industry requirements, the paper proposes a novel approach for comparing the proportion of skills in job clusters with the proportion of professional competencies in academic programs. This method is demonstrated using the Information Systems and Technologies Master's program at Kherson State University as a case study. The chi-square test is applied to confirm the statistical similarity between the skill structure of the Data Science & Engineering Specialist cluster and the competency structure of the academic program. The findings highlight the importance of continuous adaptation of profile of academic program to meet evolving industry needs. The proposed approach provides a data-driven framework for universities to align their programs with labor market demands, potentially improving graduate employability in the data science field. The study also underscores the need for personalized learning paths that can be tailored to individual career goals and skill gaps. Future research directions include the development of an artificial intelligence system to form individualized educational trajectories based on the skills required for specific job clusters. This could further enhance the alignment between education and industry needs, preparing students more effectively for the dynamic data science job market.

Стаття присвячена проблемі увідповіднення компетентностей фахівців з даних із навичками, затребуваними на ринку праці в галузі науки про дані, що стрімко розвивається. Використовуючи відкритий набір даних з 3744 вакансій у сфері ІТ, у дослідженні застосовано кластеризацію за методом K-середніх для визначення ключових груп навичок для позицій спеціалістів з обробки даних. Оптимальна кількість кластерів визначається за допомогою методу ліктя, в результаті чого отримано чотири окремі кластери: аналітик та інженер даних, інженер платформи даних, спеціаліст з науки про дані та інженерії, а також інженер хмарних даних. Методологія дослідження використовує методи навчання без учителя, зокрема кластеризацію за методом K-середніх, для аналізу розподілу навичок у вакансіях. Кластери візуалізуються за допомогою t-розподіленого включення стохастичних сусідів (t-SNE), що дає змогу зрозуміти взаємозв'язок між різними наборами навичок. Дослідження показує, що назви посад не завжди однозначно визначають необхідні навички, що підкреслює важливість фокусування уваги на конкретних наборах навичок, а не лише на назвах посад. Для подолання розриву між фаховими компетентностями освітніх програм і вимогами галузі в роботі запропоновано новий підхід до порівняння частки навичок у кластерах робочих місць із часткою фахових компетентностей в освітніх програмах. Цей метод продемонстровано на прикладі магістерської програми «Інформаційні системи та технології» Херсонського державного університету. Тест ксі-квадрат застосовано для підтвердження статистичної подібності між структурою навичок кластеру «Data Science & Engineering Specialist» та структурою компетентностей освітньої програми. Отримані результати підкреслюють важливість постійної адаптації профайлу освітніх програм до потреб галузі, що постійно змінюються. Запропонований підхід надає закладам вищої освіти основу, що ґрунтується на даних, для узгодження їхніх програм з потребами ринку праці, покращуючи можливості працевлаштування випускників у галузі науки про дані. Дослідження також підкреслює необхідність персоналізованих навчальних траєкторій, які можна адаптувати до індивідуальних кар'єрних цілей та прогалин у навичках. Майбутні напрямки досліджень включають розробку системи штучного інтелекту для формування індивідуальних освітніх траєкторій на основі навичок, необхідних для конкретних кластерів робочих місць. Це може сприяти подальшому узгодженню між освітою та потребами галузі, що дозволить ефективніше готувати здобувачів до динамічного ринку праці в галузі науки про дані.