Пожалуйста, используйте этот идентификатор, чтобы цитировать или ссылаться на этот ресурс: http://dspace.opu.ua/jspui/handle/123456789/10435
Полная запись метаданных
Поле DCЗначениеЯзык
dc.contributor.authorChristian Herta-
dc.contributor.authorКрістіан Херста-
dc.contributor.authorКристиан Херста-
dc.contributor.authorKlaus Strohmenger-
dc.contributor.authorКлаус Штоменгер-
dc.contributor.authorOliver Fischer-
dc.contributor.authorОлівер Фішер-
dc.contributor.authorОливер Фишер-
dc.contributor.authorDiyar Oktay-
dc.contributor.authorДівар Октай-
dc.contributor.authorДивар Октай-
dc.date.accessioned2020-04-14T11:41:27Z-
dc.date.available2020-04-14T11:41:27Z-
dc.date.issued2019-09-01-
dc.identifier.citationChristian Herta, Klaus Strohmenger, Oliver Fischer, Diyar Oktay. (2019). DP: a Lightweight Library for Teaching Differentiable Programming. Applied Aspects of Information Technology, Vol. 2, N 4, p. 283–294.en
dc.identifier.citationDP: a Lightweight Library for Teaching Differentiable Programming / Christian Herta, Klaus Strohmenger, Oliver Fischer, Diyar Oktay // Applied Aspects of Information Technology = Прикладні аспекти інформ. технологій. – Оdesa, 2019. – Vol. 2, N 4. – P. 283–294.en
dc.identifier.issn2617-4316-
dc.identifier.issn2663-7723-
dc.identifier.urihttp://dspace.opu.ua/jspui/handle/123456789/10435-
dc.description.abstractDeep Learning has recently gained a lot of interest, as nowadays, many practical applications rely on it. Typically, these applications are implemented with the help of special deep learning libraries, which inner implementations are hard to understand. We developed such a library in a lightweight way with a focus on teaching. Our library DP (differentiable programming) has the following properties which fit particular requirements for education: small code base, simple concepts, and stable Application Programming Interface (API). Its core use case is to teach how deep learning libraries work in principle. The library is divided into two layers. The low-level part allows programmatically building a computational graph based on elementary operations. In machine learning, the computational graph is typically the cost function including a machine learning model, e.g. a neural network. Built-in reverse mode automatic differentiation on the computational graph allows the training of machine learning models. This is done by optimization algorithms, such as stochastic gradient descent. These algorithms use the derivatives to minimize the cost by adapting the parameters of the model. In the case of neural networks, the parameters are the neuron weights. The higher-level part of the library eases the implementation of neural networks by providing larger building blocks, such as neuron layers and helper functions, e.g., implementation of the optimization algorithms (optimizers) for training neural networks. Accompanied to the library, we provide exercises to learn the underlying principles of deep learning libraries and fundamentals of neural networks. An additional benefit of the library is that the exercises and corresponding programming assignments based on it do not need to be permanently refactored because of its stable API.en
dc.description.abstractТехнології глибокого навчання викликають великий інтерес, так як в даний час на ньому базується велика кількість прикладних додатків. Як правило, ці програми реалізуються за допомогою спеціальних бібліотек глибокого навчання, внутрішню реалізацію яких важко зрозуміти. Ми розробили таку бібліотеку в полегшеному вигляді з упором на викладання відповідних дисциплін. Наша бібліотека має наступні характеристики, які відповідають певним вимогам з урахуванням специфіки навчального процесу: невелика кодова база, прості концепції і стабільний інтерфейс прикладного програмування (API). Основне призначення бібліотеки - допомога у володінні принципами роботи з бібліотеками глибокого навчання. Бібліотека розділена на два шари. Низькорівнева частина дозволяє програмно побудувати обчислювальний графік на основі елементарних операцій. У машинному навчанні обчислювальний графік зазвичай є функцією вартості, що включає в себе модель машинного навчання, наприклад, нейронну мережу. Вбудований зворотний режим автоматичного диференціювання на обчислювальному графіку дозволяє навчати моделі машинного навчання. Це робиться за допомогою алгоритмів оптимізації, таких як стохастичний градієнтний спуск. Ці алгоритми використовують похідні, щоб мінімізувати вартість шляхом адаптації параметрів моделі. У разі нейронних мереж параметри є вагами нейронних мереж. Частина бібліотеки вищого рівня полегшує реалізацію нейронних мереж, надаючи більші будівельні блоки, такі як нейронні шари і допоміжні функції, наприклад, реалізацію алгоритмів оптимізації (оптимізаторів) для навчання нейронних мереж. Також до бібліотеки ми додаємо вправи для вивчення основних принципів роботи бібліотеки глибокого навчання і основ нейронних мереж. Додатковою перевагою бібліотеки є те, що вправи і відповідні програмні завдання на її основі не потребують постійного рефакторінгу через її стабільного API.en
dc.description.abstractТехнологии Глубокого обучения вызывают большой интерес, так как в настоящее время на нем базируются многие практические приложения. Как правило, эти приложения реализуются с помощью специальных библиотек глубокого обучения, внутреннюю реализацию которых трудно понять. Мы разработали библиотеку глубокого обучения в облегченном виде с упором на преподавание. Наша библиотека имеет следующие характеристики, которые соответствуют определенным требованиям с учетом специфики учебного процесса: небольшая кодовая база, простые концепции и стабильный интерфейс прикладного программирования (API). Основное назначение этой библиотеки - обучение принципам глубокого обучения. Библиотека разделена на два слоя. Низкоуровневая часть позволяет программно построить вычислительный график на основе элементарных операций. В машинном обучении вычислительный график обычно является функцией стоимости, включающей в себя модель машинного обучения, например, нейронную сеть. Встроенный обратный режим автоматического дифференцирования на вычислительном графике позволяет обучать модели машинного обучения. Это делается с помощью алгоритмов оптимизации, таких как стохастический градиентный спуск. Эти алгоритмы используют производные, чтобы минимизировать стоимость путем адаптации параметров модели. В случае нейронных сетей параметры являются нейронными весами. Часть библиотеки более высокого уровня облегчает реализацию нейронных сетей, предоставляя более крупные строительные блоки, такие как нейронные слои и вспомогательные функции, например, реализацию алгоритмов оптимизации (оптимизаторов) для обучения нейронных сетей. В дополнение к библиотеке мы предоставляем упражнения для изучения основополагающих принципов работы библиотеки глубокого обучения и основ нейронных сетей. Дополнительным преимуществом библиотеки является то, что упражнения и соответствующие программные задания на ее основе не нуждаются в постоянном рефакторинге из-за ее стабильного API.en
dc.language.isoenen
dc.publisherOdessa National Polytechnic Universityen
dc.subjectDifferentiable Programming;en
dc.subjectDeep Learning;en
dc.subjectTeaching;en
dc.subjectAutomatic Differentiationen
dc.subjectдиференційоване програмування;en
dc.subjectглибоке навчання;en
dc.subjectнавчання;en
dc.subjectавтоматичне диференціюванняen
dc.subjectдифференцируемое программирование;en
dc.subjectглубокое обучение;en
dc.subjectавтоматическое дифференцированиеen
dc.titleDP: a Lightweight Library for Teaching Differentiable Programmingen
dc.title.alternativeDP: полегшена бібліотека для навчання дифференційному програмуваннюen
dc.title.alternativeDP: облегченная библиотека для обучения дифференцируемому программированиюen
dc.typeArticleen
opu.citation.journalApplied Aspects of Information Technologyen
opu.citation.volume4en
opu.citation.firstpage283en
opu.citation.lastpage294en
opu.citation.issue2en
Располагается в коллекциях:2019, Vol. 2, № 4

Файлы этого ресурса:
Файл Описание РазмерФормат 
283_294_Christian-new.pdf803.76 kBAdobe PDFПросмотреть/Открыть


Все ресурсы в архиве электронных ресурсов защищены авторским правом, все права сохранены.