Reducing the search area of genetic algorithm using neural network autoencoder

Abstract

The article discusses the problem of developing a genetic representation for solving optimization problems by means of genetic algorithms. Traditionally, a genotype representation is a set of N features that defines an N-dimensional genotype space in which algorithm performs a search for the solution. Due to the non-optimal choice of features, the genotype space becomes redundant, the search area for a solution unnecessary increases, which slows down the convergence to the optimum, and leads to the generation of infeasible candidates for the constraints of the problem. The reason for this is the desire to cover all legal candidates for solution of the problem by the search area, since the optimum is feasible by the conditions of the problem. In constrained optimization problems, to find the optimum, it would be sufficient to cover only the area of feasible candidates that fall within the constraints specified by the problem. Since the set of feasible candidates is smaller than the set of all legal candidates, the search area may be narrower. The search area can be reduced by obtaining a more efficient set of features that is representative of the set of feasible solutions. But in the case of a small amount of domain knowledge, developing of an optimal feature set can be a nontrivial task. In this paper, we propose the use of feature learning methods from a sample of feasible solutions that fall under the constraints of the optimization problem. A neural network autoencoder is used as such a method. It is shown that the use of the preparatory stage of learning a set of features for constructing an optimal genotype representation allows to significantly accelerate the convergence of the genetic process to the optimum, making it possible to find candidates of high fitness for a smaller number of iterations of the algorithm.

У статті розглядається проблема формування генетичного представлення для вирішення оптимізаційних задач за допомогою генетичних алгоритмів. Традиційно генетичне представлення являє собою набір з N ознак, що задають N-мірний простір гепотіпов, в якому виконується пошук рішення. Внаслідок неоптимального вибору набору ознак генотипний простір стає надмірним, область пошуку рішення збільшується, а це в свою чергу сповільнює пошук оптимуму, а також призводить до генерування кандидатів, не придатних до вимог задачі. Причиною цього є бажання охопити областю пошуку всі допустимі кандидати в рішення задачі. В оптимізаційних задачах з обмеженнями для пошуку оптимуму досить було б охопити тільки область придатних кандидатів, які потрапляють в задані задачею обмеження. Оскільки множина придатних кандидатів має меншу потужність, ніж множина всіх допустимих кандидатів, область пошуку рішення може бути вужчою. Зменшити область пошуку можна побудовою більш вигідного набору ознак, репрезентативного для множини придатних рішень. Але в разі малої кількості знань про предметну область конструювання оптимального набору ознак може виявитися нетривіальним завданням. У даній роботі пропонується використання методів навчання ознакам на основі вибірки придатних за умовами обмежень оптимізаційної задачі рішень. В якості такого методу використовується нейромережевий автокодувальник. Показано, що застосування підготовчого етапу конструювання набору ознак для побудови оптимального генетичного представлення дозволяє значно прискорити збіжність генетичного процесу до оптимуму, дозволяючи знаходити кандидатів високої пристосованості за меншу кількість ітерацій алгоритму.

В статье рассматривается проблема формирования генетического представления для решения оптимизационных задач посредством генетических алгоритмов. Традиционно генетическое представление представляет собой набор из N признаков, который задаёт N-мерное пространство гепотипов, в котором производится поиск решения. Вследствие неоптимального выбора набора признаков, генотипное пространство становится избыточным, область поиска решения увеличивается, что в свою очередь замедляет поиск оптимума, а также способствует генерированию кандидатов, не пригодных к требованиям задачи. Причиной этого является желание охватить областью поиска все допустимые кандидаты в решения задачи. В оптимизационных задачах с ограничениями для поиска оптимума достаточно было бы охватить только область пригодных кандидатов, которые попадают в заданные задачей ограничения. Поскольку множество пригодных кандидатов обладает меньшей мощностью, чем множество всех допустимых кандидатов, область поиска решения может быть более узкой. Уменьшить область поиска можно построением более выгодного набора признаков, представительного для множества пригодных решений. Но в случае малого количества знаний о предметной области конструирование оптимального набора признаков может оказаться нетривиальной задачей. В данной работе предлагается использование методов обучения признакам на основе выборки пригодных по условиям ограничений оптимизационной задачи решений. В качестве такого метода используется нейросетевой автокодировщик. Показано, что применение подготовительного этапа конструирования набора признаков для построения оптимального генетического построения позволяет значительно ускорить сходимость генетического процесса к оптимуму, позволяя находить кандидатов высокой приспособленности за меньшее количество итераций алгоритма.