ZNO-Eval: Benchmarking reasoning capabilities of large language models in Ukrainian

Abstract

As the usage of large language models for problems outside of simple text understanding or generation increases, assessing their abilities and limitations becomes crucial. While significant progress has been made in this area over the last few years, most research has focused on benchmarking English, leaving other languages underexplored. This makes evaluating the reasoning and robustness level of language models in Ukrainian particularly challenging. The purpose of this work is to establish a comprehensive benchmark for the reasoning capabilities evaluation of large language models in the Ukrainian language. This paper presents the ZNO-Eval benchmark based on real exam tasks from Ukraine's standardized educational testing system: the External Independent Evaluation and the National Multi-subject Test. With singleanswer options, multiple-choice, matching, and open-ended questions from diverse subjects, including Ukrainian language, mathematics, history, and geography, this dataset paves the way toward a thorough analysis of reasoning capabilities across different domains and complexities. Evaluation of several well-known language models, such as GPT-3.5-Turbo, GPT-4o, GPT-4-Turbo, Mistral Large, Claude 3 Opus, and Gemini-1.5 Pro on this benchmark demonstrated the superiority of GPT-4o in both common knowledge reasoning and intricate language tasks. At the same time, Gemini Pro and GPT-4 Turbo excelled in the arithmetic domain, leading in single-answer and open-ended math problems. While all models were close to max performance in text-only common knowledge tasks like history and geography, there still is a gap for Ukrainian language and math, thus highlighting the importance of developing specialized language benchmarks for more accurate assessments of model capabilities and limitations across different languages and contexts. This research introduced ZNO-Eval, an effective benchmark for evaluating reasoning capabilities, and thoroughly explored the abilities and limitations of modern solutions in the Ukrainian language. Future research should aim to expand the scope of ZNO-Eval to other modalities like images commonly used for exam problem description

Оскільки усе частіше великі мовні моделі використовуються для вирішення завдань, що виходять за рамки простого розуміння та генерації тексту, оцінка їхніх можливостей та обмежень стає критично важливою. Хоча в цьому напрямку було досягнуто значного прогресу за останні кілька років, більшість досліджень зосереджено на тестуванні англійської мови, залишаючи інші мови недостатньо дослідженими. Це робить оцінку розумових здібностей та стійкості мовних моделей для української мови особливо складною задачею. Метою цієї роботи є створення дігностичного набору для оцінки розумових здібностей великих мовних моделей у українській мові. У цій роботі представлено датасет ZNO-Eval, що базується на завданнях з української системи стандартизованого освітнього тестування: зовнішнього незалежного оцінювання та національного мультипредметного тесту. Утворений набір, що включає запитання з однією або декількома відповідями, задачі на відповідність, а також відкриті питанння з української мови, математики, історії та географіі, прокладає шлях до всебічного аналізу розумових здібностей мовних моделей у різних галузях та з різними рівнями складності. Оцінка відомих мовних моделей, таких як GPT-3.5-Turbo, GPT-4o, GPT-4-Turbo, Mistral Large, Claude 3 Opus та Gemini-1.5 Pro на побудованому діагностичному наборі продемонструвала перевагу GPT-4o у завданнях, що потребують загальних знань, а також у складних мовних задачах. У той же час, Gemini Pro і GPT-4 Turbo досягли найкращих результатів у арифметичних завданнях, випередивши конкурентів у математичних запитаннях з одним правильним варіантом та відкритою відповіддю. Хоча всі моделі досягли практично максимально можливих результатів у тестуванні загальних знань, що включає історію та географію, існує значний розрив для тестів з української мови та математики – це підкреслює важливість розробки спеціалізованих датасетів для більш точної оцінки можливостей та обмежень моделей у різних мовах і контекстах. У рамках цієї роботи було представлено ZNO-Eval - ефективний датасет для оцінки розумових здібностей, а також було детально досліджено можливості та обмеження сучасних рішень для української мови. Майбутні дослідження включатимуть розширення ZNO-Eval на інші модальності, такі як зображення, що використовуються для опису тестових запитань.