НЕЙРОНЕЧЕТКАЯ МОДЕЛЬ ФОРМИРОВАНИЯ ПРАВИЛ КЛАССИФИКАЦИИ, КАК ЭФФЕКТИВНЫЙ АППРОКСИМАТОР ОБЪЕКТОВ С ДИСКРЕТНЫМ ВЫХОДОМ

Нейронечеткая модель формирования правил классификации, как эффективный аппроксиматор объектов с дискретным выходом

Катасёв Алексей Сергеевич

кандидат технических наук

доцент кафедры систем информационной безопасности Казанского национального исследовательского технического университета им. АН. Туполева-КАИ I

Статья из рубрики "Базы знаний, интеллектуальные системы, экспертные системы, системы поддержки

принятия решений"

Аннотация.

Предметом исследования данной статьи является оценка эффективности аппроксимации объектов с дискретным выходом на основе нечетких баз знаний. Объектом исследования является нейронечеткая модель, позволяющая на основе обучения нечеткой нейронной сети формировать систему нечетко-продукционных правил (нечеткую базу знаний) для оценки состояния объектов. Автор подробно рассматривает предложенный им вид нечетко-продукционных правил, алгоритм логического вывода на правилах, описывает разработанную модель нечеткой нейронной сети. Особое внимание уделяется необходимости оценки аппроксимирующей способности модели с целью определения возможности и эффективности ее практического использования. Данная оценка производилась методом анализа следующих характеристик модели:- сходимости разработанного алгоритма обучения нечеткой нейронной сети;- удовлетворения ее работы принципам нечеткой аппроксимации;- непротиворечивости алгоритма логического вывода на правилах модели известному алгоритму аппроксимации объектов с дискретным выходом на основе нечеткой базы знаний. Произведена оценка аппроксимирующей способности нейронечеткой модели, по результатам которой сделан вывод, что данная модель является эффективным аппроксиматором объектов с дискретным выходом. Кроме того, с целью апробации модели проведена оценка классифицирующей способности формируемых нечетких правил. Точность классификации на базе нечетких правил оказалась не ниже точности других известных методов классификации. Практической ценностью применения таких правил является возможность построения систем поддержки принятия решений по оценке состояния объектов в различных предметных областях.

Дата рецензирования:

Данная работа выполнена в рамках государственного задания Министерства образования и науки Российской Федерации, проект № 8.6141.2017/8.9.

Введение

В настоящее время в различных предметных областях возникает необходимость

моделирования сложных объектов и систем которые характеризуются следующими

особенностями:

- наличием большого числа входов, выходов и состояний;

- разнотипностью входных параметров и нелинейным характером внутренних связей и закономерностей;

- неопределенностью, нечеткостью и неполнотой исходных данных, используемых для моделирования объекта;

- нечеткой выраженностью структуры, которая может изменяться в зависимости от ситуации.

Традиционные подходы, основанные на математической статистике и имитационном моделировании, не всегда позволяют строить адекватные модели объектов в условиях ограниченности временных, вычислительных и материальных ресурсов. Поэтому в настоящее время при решении различных задач, связанных с управлением производственными процессами, распознаванием образов, оценкой состояния объектов, наблюдается повышение научного и практического интереса к методам и моделям искусственного интеллекта с применением технологий интеллектуального анализа данных Г1&4&10&12,14"!.

Теория нечетких множеств, как одно из направлений искусственного интеллекта,

позволяет строить нечеткие модели объектов Методы нечеткой логики и

разработанные на ее основе интеллектуальные системы применяются для решения задач

оценки состояния объектов 1ШШ, управления Г2,5", поддержки принятия решений Г21,23" в различных предметных областях.

Однако, несмотря на достоинства нечетких систем, они имеют существенный недостаток, связанный с необходимостью привлечения человека-эксперта для построения правил базы знаний (БЗ) и задания используемых в них функций принадлежности (ФП). Наиболее сложным этапом построения нечеткой системы является выбор формы и параметров ФП, так как из-за субъективности мнения эксперта построенные им ФП могут не вполне отражать реальную действительность. Кроме того, процесс формулирования нечетких правил и задания ФП требует значительных временных затрат и большой аналитической работы эксперта, что существенно усложняет разработку таких систем.

Для разрешения указанных проблем при разработке интеллектуальных систем актуально

применение инструментальных средств, позволяющих автоматически формировать нечеткие правила, адекватно описывающие закономерности в анализируемых данных. В качестве такого средства предлагается специально разработанная нечеткая нейронная

сеть (ННС) Г6], позволяющая на основе анализа исходных данных формировать систему нечетко-продукционных правил, используемых для оценки состояния объектов.

Вид нечетко-продукционных правил и алгоритм логического вывода на правилах

для оценки состояния объектов

Для решения задачи оценки состояния объекта, относящейся к классу задач аппроксимации объектов с дискретным выходом [24], предложен следующий вид нечетко-продукционных правил

ЕСЛИ х1=Л(иг1)Их2 =А2 (и/ 2) И ... х п =Ап (и/ п) ТО у =В [СР ], (1)

где xi - входные параметры, wi - веса условии xi =

А. = {хиРзцСО)

, Л! - четкое

значение входа, - нечеткое значение входа, - функция

принадлежности, у - выходной параметр, В - четкое значение выхода (состояние объекта), СР - достоверность правила.

Для определения состояния объекта на основе правил вида (1) разработан алгоритм логического вывода. Введем следующие обозначения:

R (response ) - степень срабатывания условной части правила:

R = minOi£(p;)), (2)

где 1 - четкие значения п входных параметров правила (факты),

AV( PD -и* X

- степени принадлежности входных значении Pi к лг\\

- T (trust ) - совокупный вес условной части правила:

у"*"1 WI,

IM Л г

где wi , & — - веса всех ограничений на параметры в правиле, wkn , ^ = ^&"ьп - веса ограничений А с известными значениями; - C (complex ) - комплексная оценка достоверности решения правила:

где CF (certainty factor ) - достоверность правила.

С учетом (2)-(4) разработанный алгоритм состоит из следующих этапов.

н г. ~ 1

C =R* T *CF, (4)

расчет степени срабатывания его условий Rr по

Rule*: max Cr

r\\RulerESconf

достоверности решения:

Рщ Рцг Rule?

качестве искомого состояния объекта.

Данный алгоритм позволяет на основании сопоставления имеющихся входных данных (фактов) с антецедентами нечетких правил выбрать решающее правило, выходное значение которого определяет искомое состояние объекта.

Описание разработанной нейронечеткой модели

Для формирования системы правил вида (1) разработана нейронечеткая модель, структура которой определяется следующими параметрами:

На рисунке 1 приведен пример структуры нечеткой нейронной сети.

Рис. 1. Пример структуры нечеткой нейронной сети

Первый слой сети состоит из Р -нейронов, выполняющих распределение входных

сигналов по нейронам второго слоя сети. Второй слой состоит из -нейронов,

моделирующих входные условия "р= " правил. Выходами -нейронов являются

значения ФП , определяющие степень срабатывания условных частей правил. С

каждым -нейроном связан параметр и/ , определяющий вес (важность) условия в правиле. Третий слой сети состоит из И -нейронов, определяющих оценку Я степени срабатывания условной части правил. В четвертом слое сети вычисляется произведение оценок Я и Т . Пятый слой значений выходного нейрона сети состоит из А -нейронов, на входы которых поступают выходные значения ЯТ -нейронов и связанные с ними достоверности правил СР . Каждый А -нейрон вычисляет комплексную оценку достоверности решения С и формирует на выходе максимальную из этих оценок. В шестом слое содержится один Рц -нейрон, формирующий значение выхода сети "р ц=А ", соответствующее А -нейрону с максимальной величиной оценки С .

Для определения возможности и эффективности практического использования разработанной нейронечеткой модели потребовалась оценка ее аппроксимирующей способности. Данная оценка производилась на основе анализа следующих факторов:

- сходимости разработанного алгоритма обучения, используемого для построения нейронечеткой модели;

- удовлетворения работы ННС принципам нечеткой аппроксимации;

- непротиворечивости алгоритма логического вывода в ННС алгоритму аппроксимации объектов с дискретным выходом на основе нечеткой базы знаний.

Оценка аппроксимирующей способности нейронечеткой модели

Важным моментом всех алгоритмов обучения нейронных сетей является вопрос их сходимости. Сходимость разработанного алгоритма обучения ННС обусловлена

следующими факторами:

- настройка параметров ФП в ННС производится на основе метода градиентного спуска -эффективного метода оптимизации

- экспериментальной способностью к обучению нечеткой нейронной сети с одновременным уменьшением ошибки выхода.

Метод градиентного спуска основывается на известном факте, что градиент функции показывает направление ее наискорейшего возрастания, а антиградиент - направление убывания. При этом модуль градиента характеризует скорость этого процесса. Вектор градиента может быть получен через свои проекции на оси координат, которые равны частным производным по соответствующим аргументам целевой функции. Градиент перпендикулярен линии уровня, проходящей через ту точку, в которой он вычислен.

Многократное итерационное повторение данного метода в алгоритме обучения ННС позволяет определять оптимальные значения параметров ФП. При этом ошибка выхода сети стремится к своему минимальному значению.

Настройка значений параметров ФП в продукционных правилах с одновременным уменьшением ошибки выхода нечеткой нейронной сети приводит к повышению точности аппроксимации экспериментальных данных нечеткими гранулами, часто наделенными лингвистической интерпретацией. На принципе аппроксимации экспериментальных

данных нечеткими гранулами базируются теоремы о нечеткой аппроксимации Г26-3°1.

В общем случае задача нечеткой аппроксимации может быть рассмотрена, как аппроксимация непрерывной функции f : X - > У в виде нечеткого объединения, называемого гранулированной спецификацией

и х К

где , - нечеткие гранулы.

Лингвистическая аппроксимация имеет место при наделении нечетких множеств , ,

языковой интерпретацией. Данная аппроксимация может рассматриваться, как формализация функции f : X - > У набором нечетких продукций, то есть нечеткой системой, функционирующей по этим правилам.

Система Р , определяемая совокупностью нечетко-продукционных правил, отображает

нечеткое множество , поданное на ее вход, в нечеткое множество , являющееся ее

X, % 1=Хп

выходом. Нечеткие гранулы ( , ) , , соответствующие нечетким правилам,

определяют покрытие функции f аппроксимирующими ее нечеткими отпечатками I281. На рисунке 2 показан пример аппроксимации непрерывной функции нечеткими отпечатками.

Рис. 2. Пример аппроксимации непрерывной функции нечеткими отпечатками

Для дискретной функции f аппроксимация ее нечеткими отпечатками будет иметь вид, как показано на рисунке 3.

Рис. 3. Пример аппроксимации дискретной функции нечеткими отпечатками

Таким образом, используя нечеткие продукционные правила, лингвистическая аппроксимация позволяет выполнять приближение функции f . При необходимости более точной аппроксимации необходима более детальное гранулирование осей координат, то есть использование большего числа значений лингвистических переменных и, соответственно, большего количества нечетко-продукционных правил. Применительно к ННС это требование сводится к выбору количества градаций для входных лингвистических переменных.

Обученная ННС является аддитивной нечеткой системой, задаваемой совокупностью формируемых нечетко-продукционных правил. Каждое из них устанавливает некоторую область в пространстве решений с нечеткими размытыми границами, определяемыми коэффициентами достоверности правил СР и важности их нечетких градаций м . В совокупности правила производят аппроксимацию анализируемых данных нечеткими гранулами.

Для окончательной оценки аппроксимирующей способности разработанной нечеткой нейронной сети сопоставим используемый в ней алгоритм нечеткого логического вывода

с алгоритмом А. П. Ротштейнаиспользуемого для аппроксимации объектов с дискретным выходом. Для этого представим разработанный алгоритм вывода в матричном виде (см. рис. 4).

#4é" jiSéш ш щ sUi ,u &¿ <x2) ü® (Ú

ш м1 Ó&i) M1 (x2) rtj

. Ml у fp &У ©

м1 Ш) M2 ш m pff

> max

с22 с1к,2

с,,2 \\ стк™

> max

> max

Рис. 4. Матричный вид алгоритма логического вывода

Здесь Cjp

; = 1, m p = l,k¡

комплексная оценка достоверностиjp -го правила,

R = minO^C^)) i = Хп равная произведению (R *7~ *CF )jp , где , . Можно показать,

что при T = 1 и CF = 1 разработанный алгоритм становится эквивалентным алгоритму А.

П. Ротштейна. Следовательно, при данных ограничениях алгоритм логического вывода

позволяет производить аппроксимацию объектов с дискретным выходом. В случае, когда

параметры T и CF отличны от единицы, логика работы алгоритма не нарушается и его

можно рассматривать, как обобщение алгоритма А. П. Ротштейна. При этом оценка T

позволяет расширить применимость алгоритма на случай неполных входных данных, а

коэффициент CF позволяет ранжировать предлагаемые решения.

Таким образом, опираясь на приведенные оценки аппроксимирующей способности разработанной нечеткой нейронной сети, можно сделать вывод, что нейронечеткая модель является эффективным аппроксиматором объектов с дискретным выходом.

Оценка классифицирующей способности формируемых нечетко-продукционных

правил

В качестве апробации предложенного подхода к формированию нечетких правил на основе нейронечеткой модели проведена оценка их классифицирующей способности на

базе разработанного программного комплекса -Ш!. Исследования проводились на примере решения известных задач классификации путем анализа данных из общедоступного источника UCI Machine Learning Repository J25!.

В таблице 1 представлена информация о характеристиках наборов исходных данных, соответствующих решаемым задачам классификации.

Табл. 1. Характеристика исходных данных

Набор исходных данных Число входных параметров Типы входных параметров Объем выборки Число классов

Iris Plants Database 4 числовые 150 3

BUPA Liver Disorders б числовые 345 2

Australian Credit Approval 14 числовые, категориальные б90 2

German Credit Data 20 числовые, категориальные 1000 2

Первый набор данных соответствует задаче классификации видов ирисов Фишера. Во втором наборе представлены данные, соответствующие задаче диагностирования заболевания печени человека по результатам анализа его крови. Третий набор соответствует задаче выявления подозрительных транзакций с банковскими картами. Четвертый набор соответствует задаче принятия решения о выдаче потребительского кредита на основании анкетных данных заемщика.

Для оценки классифицирующей способности формируемых нечетких правил проведены исследования, основанные на выполнении этапов

На первом этапе были сформированы системы нечетких правил, соответствующие анализируемым наборам данных (см. табл. 2).

Табл. 2. Характеристики сформированных систем правил

Параметры БЗ Набор данных Число сформированных правил Точность классификации

Iris Plants Database 44 0,98

BUPA Liver Disorders 87 0,7б2

Australian Credit Approval 537 0,859

German Credit Data 927 0,827

В качестве меры эффективности сформированных систем нечетких правил выступает точность классификации - отношение числа правильно классифицированных входных образов к общему числу анализируемых данных. Самая высокая точность классификации получена на наборе данных Iris Plants Database. На остальных выборках точность классификации ниже.

Для определения значимости полученных результатов классификации сравним их с известными результатами других авторов, проводивших исследования на тех же наборах

данных. Так, в работах [3,22] проводились исследования эффективности различных методов классификации на трех наборах данных: BUPA Liver Disorders, Australian Credit Approval и German Credit Data. В таблице 3 приведено сравнение точности классификации, полученной при использовании сформированных систем нечетких правил, с точностью других методов классификации.

Табл. 3. Сравнение точности методов классификации

Наборы данных Метод ^тарификации BUPA Liver Disorders Australian Credit Approval German Credit Data

Коллективный классификатор на нечеткой логике 0,757 0,921 0,821

Классификатор на нечеткой логике 0,725 0,891 0,794

Байесовский классификатор 0,629 0,847 0,679

Многослойный персептрон 0,693 0,833 0,716

Бустинг 0,656 0,76 0,7

Бэггинг 0,63 0,847 0,684

Метод случайных подпространств 0,632 0,852 0,677

Коллектив нейронных сетей: простое усреднение 0,74 0,892 0,805

Коллектив нейронных сетей: равноправное голосование 0,783 0,918 0,815

Коллектив нейронных сетей: правило Борда 0,772 0,905 0,831

Коллектив нейронных сетей: многоярусное обобщение 0,785 0,925 0,852

Коллектив нейронных сетей: трехступенчатые эволюционные метод 0,804 0,947 0,857

Коэволюционный метод обучения алгоритмических композиций 0,644 0,866 0,746

Система нечетких правил 0,762 0, 8 59 0,827

Из таблицы видно, что классифицирующая способность сформированных систем нечетких правил сравнима с точностью некоторых известных методов классификации (например, коллективом нейронных сетей, многослойным персептроном, классификатором на нечеткой логике), превосходит на 15% методы Байеса, Бустинга, Бэггинга, случайных подпространств и на 9% коэволюционный метод обучения алгоритмических композиций. Значимость полученных результатов на данном этапе исследований определяется возможностью использования сформированных систем нечетко-продукционных правил для решения задач классификации с точностью, не уступающей точности любых других известных методов классификации.

В работе t24 приведены результаты исследования эффективности метода нечеткой классификации на наборе данных Iris Plants Database. Данный метод был специально разработан автором для выполнения нечеткого логического вывода в среде MATLAB при аппроксимации объектов с дискретным выходом. Для полноты экспериментов на том же наборе данных построен нейросетевой классификатор (многослойный персептрон) на

базе аналитической платформы Deductor а также спроектирован нейронечеткий классификатор ANFIS инструментальными средствами среды моделирования MATLAB.

Точность классификации на основе использования сформированной БЗ на наборе данных Iris Plants Database составила 0,98. Данная точность, как и в предыдущем случае, сравнима с точностью нейросетевого метода классификации на основе многослойного персептрона (0,987). Во всех остальных случаях разработанный метод

позволяет достичь лучшего результата классификации: на 3% превышает точность метода нечеткой классификации объектов с дискретным выходом (0,947) и на 1% -точность нейронечеткого метода на основе нечеткой нейронной сети ANFIS (0,973). Таким образом, преимущество использования предложенного метода классификации перед нечетким и нейронечетким методами заключается в повышении точности классификации, а, следовательно, в возможности принятия более точных решений в составе интеллектуальных систем оценки состояния объектов.

Следует отметить, что, несмотря на совпадение точности классификации предложенным и нейросетевым методами, в интеллектуальных системах оценки состояния объектов целесообразно использовать метод классификации на основе формирования базы нечетких правил, так как такие модели, в отличие от нейросетевых, поддаются лингвистической интерпретации. Таким образом, формируемые системы нечетко-продукционных правил совместно с разработанными алгоритмами логического вывода являются эффективными функциональными аппроксиматорами объектов с дискретным выходом и обладают высокой степенью классифицирующей способности.

Заключение

Описанная в данной работе нейронечеткая модель, основанная на обучении нечеткой нейронной сети, позволяет формировать систему нечетких правил, используемых для оценки состояния объектов. Эта задача является разновидностью задачи классификации. В данном случае нечеткий классификатор на основе формируемых нечетких правил производит аппроксимацию объектов с дискретным выходом. Несмотря на большое количество методов и алгоритмов классификации, используемых в настоящее время в интеллектуальных системах, разработанная модель обладает рядом преимуществ, главное из которых - высокая аппроксимирующая способность. Как показали результаты проведенных исследований, нейронечеткую модель можно считать эффективным аппроксиматором объектов с дискретным выходом. Это позволяет формировать системы нечетких правил на основе обучения сети на экспериментальных данных и успешно использовать их в механизмах поддержки принятия решений.

Практическая ценность предложенного подхода заключается в возможности построения эффективных систем поддержки принятия решений по оценке состояния объектов в различных предметных областях.

Библиография

Управление инновационным процессом развития малого бизнеса в регионе на основе интеллектуального анализа данных (технология Big Data) // Фундаментальные исследования. 2016. № 4-2. С. 381-386.