ResJobFit - end-to-end artificial neural networks based technology for job-resume matching

Abstract

With the ever-growing expansion of online recruitment, a reliable person-job matching has become increasingly crucial. Due to different experience, education and specialization requirements, as well as location considerations, specified in the job advertisement, various aspects should be taken into account for reliable matching and ranking of candidates. It has been shown that matching of resumes and vacancies can be approached as either pair classification or semantic similarity search based on embeddings. While classification approaches process each vacancy-resume pair sequentially, thus resulting in quadratic time complexity, independent text embeddings and ranking is a much more efficient and scalable solution, since it has linear time complexity. In this article semantic similarity search to rank suitability of candidates with regards to vacancies has been used. ResJobFit - an end-to-end Artificial Neural Networks based technology for job-resume matching is proposed. ResJobFit technology consists of Segmentation, Parsing, Summarization and HR Embedding Module models, and their outputs (vector and attributes defining each resume or job advertisement), as well as a Vector Database in which the records are stored. Unsupervised text embeddings training for HR domain encapsulating two novel training objectives - intra- and cross-section contrastive alignment is introduced. Pretrained BERT-base model is adapted by teaching it to match summary-last employment sections of the resume with parts of the same vacancy or employment section. As baselines TFIDF, BERT, E5 and GTE have been used. The proposed unsupervised training strategy was compared against SimCSE, DeCLUTR and ConFit approaches. NDCG, MAP and MRR are used as metrics for measuring accuracy of the designed algorithm. It has been shown that the novel training objective lets it achieve significant improvement in comparison to other unsupervised training approaches. Improvement of 11% in NDCG was achieved by adapting the DeCLUTR training strategy for the HR domain based on exploiting the structure of resumes over the classical DeCLUTR training strategy on the task of ranking summaries of vacancies and resumes generated by large language models. 2% and 6% have been achieved using ResJobFit and ResJobFit with requirements matching over state-of-the-art ConFit model on the task of ranking full-text vacancies and resumes.

Зі зростанням популярності онлайн-рекрутингу все більшого значення набуває якісний підбір кандидатів на вакансії. Через різний досвід, вимоги до освіти та спеціалізації, а також вимоги щодо місцезнаходження, зазначені в оголошенні про вакансію, для якісного зіставлення та ранжування кандидатів необхідно враховувати різні аспекти. Було показано, що до зіставлення резюме та вакансій можна підходити як до проблеми класифікації пар, а також як до пошуку семантичної схожості на основі представлень даних. У той час як класифікаційні підходи обробляють кожну пару вакансія-резюме послідовно, що призводить до квадратичної часової складності, незалежні текстові представлення та ранжування є набагато ефективнішим та масштабованим рішенням, оскільки мають лінійну часову складність. У цій статті використано ранжування за семантичною схожістю для оцінювання кандидатів на відповідність вакансіям. Запропоновано ResJobFit - наскрізну технологію на основі штучних нейронних мереж для зіставлення вакансій та резюме. Технологія ResJobFit складається з моделей сегментації, парсингу, сумаризації та модулю представлення текстів в домені управління персоналом, а також їхніх результатів (вектор та атрибути, що визначають кожне резюме або оголошення про роботу) і векторної бази даних, в якій зберігаються записи. Впроваджено некероване навчання текстових представлень для HR-домену, що інкапсулює дві нові навчальні задачі - внутрішньо- та міжсекційне контрастне вирівнювання. Попередньо навчену BERTмодель адаптовано шляхом навчання її узгоджувати розділи резюме, що містять резюме (summary) частину з останнім місцем роботи, а також частини тієї ж самої вакансії або розділу про роботу. В якості базових моделей були використані TFIDF, BERT, E5 та GTE. Запропоновану стратегію навчання без нагляду порівнювали з підходами SimCSE, DeCLUTR та ConFit. Як метрики для вимірювання точності розробленого алгоритму використано NDCG, MAP та MRR. Показано, що нова мета навчання дозволяє досягти значного покращення порівняно з іншими підходами до навчання без нагляду. Покращення на 11% в NDCG було досягнуто завдяки адаптації стратегії навчання DeCLUTR для HR-домену на основі використання структури резюме порівняно з класичною стратегією навчання DeCLUTR в задачі ранжування згенерованими великою мовною моделлю резюме (summary) вакансій та резюме. 2 % та 6 % покращення було досягнуто в задачі ранжування повнтекстових вакансій та резюме завдяки використанню ResJobFit технології та ResJobFit з узгодженням вимог у порівнянні з найсучаснішою моделлю ConFit.