Спросить
Войти
https://orcid.org/0000-0002-6497-5056 https://orcid.org/0000-0003-3631-1268 https://orcid.org/0000-0003-3601-8555
УДК 004.83
С.Д. ПОГОР1ЛИЙ*, А.А. КРАМОВ*, Ф.М. ЯЦЕНКО*
МЕТОД АНАЛ1ЗУ КОГЕРЕНТНОСТ1 УКРА1НОМОВНИХ ТЕКСТ1В 13 ВИКОРИСТАННЯМ РЕКУРЕНТНО1 НЕЙРОННО1 МЕРЕЖ1
Кшвський нацiональний ушверситет iMeHi Тараса Шевченка, м. Кшв. УкраУна_
Анотаця. У po6omi обгрунтовано актуальность виршення задач1 оценки когерентност1 (цмс-Hocmi) meKcmie та здтснено аналiз вiдповiдних методiв комп&ютерног лiнгвiстики. Автоматизо-вана оцтка когерентностi тексту вiдноситься до задач обробки природног мови, тому гг варто розглядати як AI-повну задачу. Для здтснення оцтки когерентностi тексту використовуються методи машинного навчання i комп&ютерног лiнгвiстики: метод опорних векторiв, нейронн ме-режi рiзног архтектури тощо. Доцтьним е використання нейронних мереж у зв&язку з вiдсутнiс-тю залежностi вiд експертних знань. Варто зазначити необхiднiсть урахування семантичног складовог тексту. Семантичне формалiзоване представлення одиниць тексту (^iв чи речень) здтснюеться за допомогою попередньо навчених моделей вiдповiдно до предметног областi тфо-рмацИ. Вiдповiднi нейронн мережi варто проектувати за допомогою згорткових чи рекурентних шарiв, яю дозволяють здтснювати обробку вхiдних даних нефтсованого розмiру (^в та речень). Детально розглянуто принцип роботи методу розподтеного представлення речень iз використан-ням рекурентног нейронног мережi. Перевагою застосування рекурентних шарiв е наявтсть зво-ротного зв&язку у нейронах: вихiдне значення з попереднього кроку потрапляе на вхiд нейрона. Та-кий пiдхiд вiдображае процес сприйняття тексту читачем, адже аналiз поточног тформацп можливий за рахунок наявностi попередньо отриманих знань. Створено рекурентну нейронну мережу та здтснено гг навчання на множин украгномовних наукових статей. Для покращення точ-ностi методу здтснено попередню обробку текстiв статей, що мiстили некоректн по^довнос-тi символiв у зв &язку з автоматизованою екстракщею гх вмiсту з PDF-файлiв. Проведено аналiз точностi методу за допомогою експериментального виршення задач розрiзнення документiв та вставки. Отриман результати можуть свiдчити про можливiсть застосування методу на осно-вi рекурентног нейронног мережi для оцтки когерентностi украгномовних текстiв. Ключов1 слова: когеренттсть тексту, розподтене представлення речень, рекурентна нейронна мережа, нейрони зi зворотним зв&язком, модель Word2Vec.
Аннотация. В работе обоснована актуальность решения задачи оценки когерентности (целостности) текста и осуществлен анализ соответствующих методов компьютерной лингвистики. Автоматизированная оценка когерентности текста относится к задачам обработки естественного языка, поэтому её стоит рассматривать как AI-полную задачу. Для осуществления оценки когерентности текста используются различные методы машинного обучения и компьютерной лингвистики. Целесообразно использовать нейронные сети в связи с отсутствием зависимости от экспертных знаний. Стоит отметить необходимость учитывать семантическую составляющую текста. Семантическое формализованное представление единиц текста осуществляется с помощью предварительно обученных моделей в соответствии с предметной областью. Соответствующие нейронные сети стоит проектировать с помощью сверточных или рекуррентных слоев, которые позволяют обрабатывать входные данные нефиксированного размера (слов или предложений). Детально рассмотрен принцип работы метода распределенного представления предложений с помощью рекуррентной нейронной сети. Преимуществом использования рекуррентных слоев является наличие обратной связи в нейронах: исходное значение с предыдущего шага попадает на вход нейрона. Такой подход отображает процесс восприятия текста читателем, ведь анализ текущей информации возможен с помощью наличия предварительно полученных знаний. Создано рекуррентную нейронную сеть и осуществлено её обучение на множестве украиноязычных научных статей. Для улучшения точности метода осуществлена предварительная обработка текстов статей, которые содержали некорректные последовательности символов в связи с автоматизированной экстракцией их содержания с PDF-файлов. Проведен анализ точности метода с помощью экспериментального решения задач различения документов и
© Погорший С.Д.. Крамов А.А.. Яценко Ф.М., 2019 ISSN 1028-9763. Математичш машини i системи. 2019. № 4
вставки. Полученные результаты могут свидетельствовать о возможности применения метода на основе рекуррентной нейронной сети для оценки когерентности украиноязычных текстов. Ключевые слова: когерентность текста, распределенное представление предложений, рекуррентная нейронная сеть, нейрон с обратной связью, модель Word2Vec.
Abstract. The urgency of solving the problem of text coherence estimation has been justified in the paper. The comparative analysis of the corresponding methods of computer linguistic has been performed. The automated estimation of text coherence falls into a category of natural language processing; therefore, it should be considered as an AI-complete task. In order to perform the estimation of text coherence machine learning methods and computer linguistics means are used. It is advisable to use neural networks because such an approach does not require expert knowledge. It should be noted that the semantic component of a text should be taken into account. The semantic formalized representation of text units (words or sentences) is performed using a previously trained model according to a subject area of information. The corresponding neural networks can be designed using convolutional and recurrent layers that allow the processing of input data with unfixed size (words and sentences). The principle of the distributed sentence representation method using a recurrent neural network has been considered in detail. The key advantage of recurrent layers is the availability of feedback connections within neurons: the initial value from the previous step goes to the input of the neuron. Such an approach shows the process of reading a text by a reader because the analysis of current information should be based on previously retrieved knowledge. A recurrent neural network has been created. The training process of the network on the set of Ukrainian scientific articles has been performed. In order to increase the accuracy of the method, the previous processing of articles has been made. The articles contained incorrect symbol sequences due to the automated extraction of its content from PDF files. The analysis of method accuracy has been implemented basing on experimental examination of the method on document discrimination task and insertion task. The results obtained can indicate the method based on recurrent neural networks can be used for the coherence estimation of Ukrainian texts.
DOI: 10.34121/1028-9763-2019-4-9-16
Постшна динамша зростання потужностей обчислювальних систем вказуе на актуальшсть виршення AI-повних проблем - задач, складшсть яких е^валентна головному завданню штучного штелекту (створити системи прийняття ршень аналопчно людському мозку). До класу AI-повних задач варто вщнести обробку природно&& мови (natural language processing - NLP). Галузь NLP поеднуе напрями штучного штелекту i комп&ютерно&1& лшгвюти-ки, а саме, вивчае проблеми автоматизованого аналiзу та синтезу природно&1 мови: машин-ний переклад, шформацшний пошук, генерування та розтзнавання мовлення тощо. Вирь шення задач такого типу здшснюеться за допомогою використання методологи машинного навчання чи рiзних моделей прийняття ршень. Одшею з базових задач обробки природно&1& мови е здшснення автоматизовано&& ощнки когерентности тексту. Ид когерентшстю (цшс-шстю) тексту розум^ть мiру зв&язносп речень, пов&язаних мiж собою у лопчний i синтак-сичний споаб. Когерентний текст адаптований для зручного читання, тому дозволяе краще сприймати шформащю, яку намагаеться донести автор до читача. Задача ощнки когерент-ност тексту е актуальною для вщбору необхщних даних серед множини текстово&& шфор-маци, зважаючи на постiйну динамшу п приросту. Аналiз цiлiсностi текстово&& шформацп дозволяе водночас авторам тдвищити якiсть статей вiдповiдно до читацько&& аудитора, а також е допомiжним етапом визначення релевантних матерiалiв пошуковими системами. Незважаючи на iснування термша «когерентнють тексту», немае загальноприйнятого способу визначення його значення. Рiзнi науковщ пропонують сво&& пiдходи для обрахування когерентносп через визначення складних функцiй чи представлення тексту у виглядi дере-вовидних структур i графiв [1-4]; iншi пiдходи передбачають використання методiв машинного навчання [5-7]. Наявшсть актуальних роб^ щодо визначення когерентностi тексту свщчить про важливiсть дослiдження методiв вирiшення ще&& задачi.
Бiльшiсть методiв автоматизовано&& оцiнки когерентностi пропонуеться для розраху-нку цiлiсностi англомовних текспв. У роботi [5] було дослщжено використання графiв се-мантично&& схожост для вiдстеження впливу семантично&& узгодженосп речень на загальну оцiнку цшсносп укра&номовних текстiв. Незважаючи на активний розвиток дослщжень у напрямi обробки природних мов, дослщження когерентностi для укра&номовних текстiв поки знаходиться на початковому етат.
Метою ще&& роботи е аналiз методiв оцiнки цшсносп тексту за допомогою нейрон-них мереж та експериментальна перевiрка методу на основi рекурентних мереж на корпус украшськох мови.
Для оцiнки когерентностi текстiв були запропоноваш моделi, основанi на аналiзi грамати-чних i семантичних властивостей елемешив тексту. Метод Entity Grid [1] полягае у видь ленш ключових сутностей у реченнi та подальшш оцiнцi частоти змiни &х ролей. RST-аналiз [2] е модифшащею методу Entity Grid: здшснюеться аналiз змiни дискурсивних ролей сутностей. У методi Entity Graph [3] вщслщковуеться змiна ролей сутност тексту у графiчний спосiб. Ц методи потребують вiдповiдних експертних знань, якють яких мае суттевий вплив на вихщний результат. Для уникнення ще&& залежностi застосовують iншi пщходи, що передбачають отримання необхiдних закономiрностей за допомогою навчання нейронно&& мережа Нейроннi мережi та iншi методи машинного навчання широко викорис-товуються в галузi комп&ютерно&& лiнгвiстики. Незважаючи на залежшсть якостi навчання мереж вiд навчальних даних, застосування вибiрки з достатньою кiлькiстю прикладiв до-зволяе отримати узагальнюючу модель ощнки цiлiсностi текстiв. Для автоматизовано&& ощ-нки когерентностi тексту використовуються методи з рiзноманiтною архiтектурою ней-ронних мереж: згорткова мережа [6], рекурентна i рекурсивна мережi [7]. Використання таких титв мереж обумовлене можливютю здiйснювати обробку вхiдних даних нефшсо-ваного розмiру. Застосування згорткових мереж дозволяе аналiзувати семантичнi канали вхщних речень окремо з подальшим об&еднанням отриманих результатiв. Процес оцiнки когерентносп тексту подiляеться на 2 етапи: формування векторного представлення речень та власне розрахунок мiри когерентность Для здшснення векторного представлення речень використовуеться навчена модель Word2Vec, що здшснюе перетворення речення у матричну форму. Подальше трансформування матрично&& форми нефшсованого розмiру до векторного представлення здшснюеться за допомогою шарiв згортки i субдискретизацii&, що за допомогою карт ознак дозволяють видшити рiзнi властивостi вхiдних даних. Далi виконуеться застосування повнозв&язних шарiв i функцп softmax для формування кiнцево-го результату - ощнки цшсносп вхщних речень.
Ид час роботи згортково&& мереж1 виконуеться пряме проходження сигналу вщ входу до виходу. Таким чином, кожний окремий прохщ не залежить вщ попереднього. Прово-дячи аналогiю iз процесом читання, можна вважати, що кожне наступне слово е незалеж-ним вщ попереднього. Однак нейрони головного мозку сприймають i аналiзують кожне наступне слово тексту на основi вже прочитаного. Прочитавши частину речення, можна зрозумгти значення слова в даному контексп або, навiть, його передбачити. Для виршення цiеi& проблеми використовують нейрони зi зворотним зв&язком, яю мають додатковi входи зi значеннями, отриманими на попередньому крощ роботи. Таю нейрони «пам&ятають» попереднi значення i можуть бути використанi довшьну кiлькiсть разiв за один прохщ сигналу. Ця властивють мае таю переваги:
• можливють подавати на вхщ мережi данi з нефшсованим розмiром, що дозволяе здшснювати обробку речень рiзноi& довжини;
• зменшення кшькосп вiльних napaMeTpiB нейронно&1& мережi, адже можливе багато-разове використання одного нейрона.
Нейронш мереж1, що використовують наведенi вище нейрони, називаються рекуре-нтними [8] i широко застосовуються для вирiшення задач, пов&язаних з обробкою текстiв. Таким чином, можна зробити висновок про доцшьшсть застосування методу розподшено-го представлення речень (англ. distributed sentence representation) з використанням рекуре-нтно&1 нейронно&1 мережi для оцiнки когерентносп тексту.
Початковим етапом роботи методу е здiйснення попередньо&1 обробки вхщного тексту: то-кешзацп (розподiлення тексту на окремi речення; з кожного речення формуеться набiр слiв). Далi виконуеться семантичне представлення слова у виглядi вектора розмiрнiстю K за допомогою навчено&1 моделi Word2Vec чи GloVe. Таким чином, кожне речення s може бути представлене як набiр векторiв:
wj, w 2,..., w n
де ns - кiлькiсть ошв речення. Наступним кроком е здшснення векторного представлення
речення. Цей етап е ключовим у роботi методу, адже для його реалiзацii використовуеться рекурентний шар мережг На рис. 1 зображений приклад обробки вхщного речення за допомогою нейрошв рекурентного шару.
Рисунок 1 - Векторне представлення речення за допомогою рекурентного шару мереж
Значення вектора h? у вщповщний момент часу обраховуеться у такий споаб:
: f(V h +W -w&+b
J \\ Recurrent "/-1 ^ " Recurrent TT ^ "Recurrent
Де ^ Recurrent i ^Recurrent ~~ матрищ вшьних параметр! в розм1ршстю К х К, Ь^ссштсп1 - вектор зеуву, / = tanh - нелшшна функщя активаци.
Наступним кроком е об&еднання речення у групи - «вшна» речень фшсовано! дов-жини. Результатом об&еднання речень е конкатенащя ix векторiв у вектор hc розмiрнiстю (LxK)x\\, де L - кшыасть речень у «в1кш». Значення кшькосп речень е фшеованим: L = 3 . Дал1 вектор hc подаеться на вхщ повнозв&язних mapie, вихщним результатом яких е значення мiри когерентностi «вшна» yc . Оцiнка когерентностi тексту D розраховуеться як добуток мiр цшсносп всix «вiкон», сформованих у текста
sD= Пус . (3)
Чим бшьше значення Sd , тим вища оцiнка KorepeHTHOCTi тексту.
Для peалiзацiï зазначеного в попередньому роздш методу було створено рекурентну нейронну мережу. Кiлькiсть вхiдних шаpiв piвна poзмipу «вшна». Враховуючи, що нейронна мережа повинна працювати з реченнями довшьно&& довжини, було ви-користано додатковий шар маскування, що дозволяе керувати poзмipнiстю вхщ-них даних вщповщно до задано&1 маски. Таким чином, у межах групи, що пода-еться на вхщ нейронно&1 мереж1, вiдбува-еться пошук речення з максимальною довжиною (кшькють слiв у peчeннi). Да-лi вiдбуваеться доповнення всiх речень у груш значеннями маски для регулювання довжини вiдпoвiднo до максимального значення. Ид час проходження сигналу через нейронну мережу шар маскування фшьтруе необхщш значення, вiдтвopю-ючи початкову форму речення.
Застосований у робот вiкoнний пiдхiд означае, що нейронна мережа приймае та аналiзуе декшька речень од-ночасно. Тому було використано декшька вхщних шаpiв для пepeдачi вхiдних значень до шару маскування. Далi сигнал проходить до стльного рекурентного шару. Здшснюеться конкатенащя результату роботи рекурентного шару; резуль-туючий вектор подаеться на вхщ пов-нозв&язного шару. Гpафiчнe представлення нейронно&1& мepeжi наведено на рис. 2.
Попередня обробка тексту передбачае здшснення лематизацп i векторного представлення тексту. Токешзащю укра&номовних тeкстiв та лематизащю слiв виконано за допомогою уташти LanguageTool API NLP UK [9], яка мае програмний штерфейс для мови Python. Векторне представлення ошв здiйснeнo за допомогою навчено&1 мoдeлi Word2Vec [10].
Важливим етапом попередньо&1 обробки тeкстiв е усунення небажаних симвoлiв у тексп. Експериментальне дослщження методу здшснювалося на множиш укра&номовних наукових статей. Текстова шформащя статей була отримана шляхом екстракцп даних iз вiдпoвiдних PDF-дoкумeнтiв [11], тому тексти мютили нeкopeктнi послщовносп симвoлiв. Пeвнi частини речень трактувалися як кшець речення, наприклад, точка у скороченнях шь цiалiв, позначеннях дат (роюв, стoлiть), дробових числах, уточненнях, посиланнях на таблиц i рисунки тощо. Навeдeнi послщовносп симвoлiв некоректно iнтepпpeтувалися мо-деллю векторного представлення слiв, а також не були пов&язаш з шшими реченнями, тоРечення 1 Речення 2 Речення 3
Рисунок 2 - Граф1чне представлення рекурентно& нейронно& мереж1 для ощнки когерентност текспв
му було виршено ïx вилучати. Для цього було створено вщповщний програмний модуль та виправлено частину цих недолшв. ^îm того, вирiшено вилучати некоректно розтзнаш таблицi та колонтитули статей, що вiдображалися як единий рядок або один символ без смислового навантаження. Сxожi проблеми виникали пщ час обробки вiдформатованиx списюв.
Для навчання мережi було створено двi множини: навчальну i перевiрочну. Навчан-ня здiйснювалося на 4091 файш; вiдношення навчально&1 вибiрки до перевiрочноï складало 70/30. Для уникнення перенавчання було застосовано метод раннього зупину, що дозволяе вщстежити перенавчання мережi та зберегти найоптимальнiший варiант ваг мережi. Дина-мiку навчання мережi представлено на рис. 3 i рис. 4, а саме зображено графши значення точност та функцп витрат залежно вiд епохи, вщповщно. Крива функцп витрат для пере-вiрочноï множини вказуе, що з десято&1 епохи розпочався процес перенавчання.
Для створення програмних модушв використано мову програмування Python 3.6. Рекурентну нейронну мережу реалiзовано за допомогою бiблiотеки Keras - прикладного програмного штерфейсу для бiблiотек TensorFlow, CNTK i Theano. Для пришвидшення навчання було застосовано вераю TensorFlow для графiчниx процесорiв - tensorflow-gpu, що використовуе бiблiотеку NVIDIA CUDA Deep Neural Network (cuDNN).
Рисунок 3 - Залежшсть точност нейронно!& мереж вщ порядкового номеру епохи навчання
Рисунок 4 - Залежшсть значення функцп витрат вщ порядкового номеру епохи навчання
Шсля навчання рекурентно&& нейронно&& мережi було показано здатшсть методу вирiшувати задачi розрiзнення документiв та вставки.
Задача розрiзнення документiв (англ. document discrimination task): для кожного тексту обраховуеться значення когерентность Далi випадковим чином здшснюеться змша порядку розташування речень у тексп. Для отриманого тексту обраховуеться значення когерентносп i порiвнюеться з вiдповiдним значенням оригинального тексту. Якщо значення когерентносп для оригiнального тексту виявилось вище, нiж для змiненого, вважаеться, що метод успiшно виконав задачу розрiзнення для вибраного тексту. Оцiнка точносп методу розраховуеться, як вщношення успiшно оброблених документiв до &х загально&& кшь-костi.
Задача вставки така: для кожного тексту випадковим чином вибираеться речення. Це речення вилучаеться з тексту, а потм вставляеться на кожну можливу позищю в тексп. Для кожного з отриманих варiантiв тексту обраховуеться значення когерентность Текст вважаеться устшно обробленим, якщо оригшальний порядок речень мае найвище значення цшсносп порiвняно зi змiненими версiями. Оцiнка точносп методу розраховуеться аналопчно до задачi розрiзнення документiв.
Для розрахунку наведених вище метрик використано 1226 файшв. Результати обчи-слень наведено в табл. 1.
Наведеш в таблиц результати свiдчать про можливiсть застосування методу на ос-новi рекурентно&& нейронно&& мережi для оцiнки когерентносп укра&номовних текстiв. Вщ-мiннiсть ощнок задач розрiзнення документiв i вставки полягае у виборi пiдходу до навчання нейронно&& мережi, аналопчному задачi розрiзнення; крiм того, задача вставки розг-лядае бiльше варiантiв порiвнянь з оригiналом тексту. На точшсть методiв також вплива-ють формат вхщних текстових даних та яюсть &х попередньо&& обробки. В робот викорис-товувалися тексти наукових статей, отримаш в результатi &х програмно&& екстракцii& з PDF-документв. Науковий стиль написання, що включае наявшсть формул i таблиць, а також похибка обробки PDF-документiв значно ускладнюють задачу i певною мiрою впливають на результати роботи методу.
Таблиця 1 - Виршення задач розрiзнення та вставки за допомогою методу на основi реку-рентно&& нейронно&& мережi
Задача Тип текспв Кiлькiсть успiшно оброблених текстiв Загальна кшьюсть текспв Точшсть, %
Розрiзнення документiв навчальнi i тестовi 3537 4091 87
тестовi 980 1226 80
Вставки навчальнi i тестовi 559 4091 14
тестовi 104 1226 9
Проведено порiвняльний аналiз основних методiв оцшки когерентностi текстiв та здiйсне-но експериментальну перевiрку методу, що грунтусться на основi рекурентних нейронних мереж, на множиш укра&1&номовних наукових статей. Перевагою використання методiв машинного навчання на основi нейронних мереж е вiдсутнiсть залежностi вiд експертно&1 по-передньо! обробки вхiдних даних. Зважаючи на наявнiсть зворотного зв&язку в архiтектурi рекурентно! мережi, доцшьно використовувати цей тип мереж1. Нейрони зi зворотним
зв&язком певною мiрою вiдтворюють процес сприйняття читачем текстово&1 шформацп: аналiз попередшх даних дозволяе краще зрозумiти контекст вживання поточного слова чи передбачити наступне.
Здшснено експериментальну перевiрку ефективносп роботи методу на основi реку-рентноï нейронноï мереж для множини украшомовних текстiв. З отриманих результапв можна зробити висновок щодо можливосп використання цього методу для здшснення оцiнки когерентностi текстiв. Точнiсть роботи методу може бути покращена за допомогою вдосконалення iснуючих iнструментiв попередньо&1& обробки текстово&1& шформацп& та збшь-шення кiлькостi вiльних параметрiв мережк
СПИСОК ДЖЕРЕЛ
Proceedings of the 2017 ACM on Conference on Information and Knowledge Management (Singapore, 6-10 November 2017). Singapore, 2017. P. 2027-2030.
Стаття надтшла до редакцИ& 23.10.2019
