Модели представления данных в системах автоматической обработки текстов

Проведенные исследования показали, что точные методы позволяют выявить понятийную систему научно-технических текстов по любой тематике на 70-85%, а предиктивные методы позволяют выявить оставшуюся часть (15-30%) с вероятностью 85-90%

В настоящее время значительная часть разработчиков интеллектуальных систем обработки текстовых данных свои представления о технологиях искусственного интеллекта (ИИ) связывают с нейросетевым (НС) подходом. В основу НС подхода положена модель глубокого обучения, ориентированная на извлечение большого числа признаков из необработанных данных и решения сложных интеллектуальных задач

Классический лингвистический подход, основанный на изучении грамматики и синтаксиса, часто представляет язык через универсальные правила, игнорируя индивидуальные особенности и разнообразие коммуникативных ситуаций. Он, таким образом, ограничивает понимание того, как язык используется на практике в различных контекстах. Большой проблемой в рамках этого подхода являлась проблема вариативности представления смыслового содержания текстовых конструкций. Традиционные лингвистические модели, которые опираются на жёсткие грамматические правила и ограниченные лексические ресурсы, сталкиваются с ограничениями в отображении всего богатства грамматических и семантических контекстов, которые могут присутствовать в тексте

В последнее время наметился подход, базирующийся на теоретической концепции фразеологического концептуального анализа текста (ФКАТ)

Концепция ФКАТ базируется на уникальной машинной грамматике, традиционных лингвистических моделях дополненных рядом гибких динамических языковых моделей, в основу которых положены принципы и методы лингвистической аналогии

Основные положения концепции фразеологического концептуального анализа текстов:

• смысловое содержание текстов выражается с помощью единиц смысла;

• понятие – самая устойчивая единица смысла;

• объекты предложения обладают особыми признаками, выражающимися через предикатно-актантную структуру (ПАС) и набором отношений с другими объектами;

• сверхфразовые единства формируются из предложений и представляются в виде последовательностей предложений (связного текста).

Идея закладывать в модель флективных классов слов русского языка

Модели, положенные в основу концептуального анализа текстов, позволяют выявить текстовую понятийную систему и установить смысловые отношения между ее элементами. Выявление системы понятий производится точными и предиктивными методами. Точное выделение понятий производится по ЭКС, включающего более двух млн. понятий. Предиктивное выделение понятий осуществляется по словарю концептуальных шаблонов, в котором в сжатом мнемоническом виде представлены обобщенные формы слов наименований понятий в их контекстном окружении.

В процессе концептуального анализа на основе данных, полученных с помощью морфологического и семантико-синтаксического анализа, из предложения выделяются смысловые конструкции с помощью эталонного концептуального словаря (в словарном концептуальном анализе) и шаблонов представления текстовой формы словосочетаний эталонного концептуального словаря (в предиктивном концептуальном анализе)

Сначала предложение подается на обработку словарному концептуальному анализу. На вход словарному концептуальному анализу оно подается в виде множества слов .

(1)

Далее предложение разбивается на фрагменты  с помощью функции:

(2)

Разбиение на фрагменты реализуется по следующему правилу:

Здесь

Фрагмент  сравнивается с нормализованными понятиями из эталонного концептуального словаря (ЭКС), при совпадении он добавляется  во множество  и ему в соответствие ставится совпавшее понятие из ЭКС.

При несовпадении исходное предложение в виде последовательности слов  подается на вход предиктивному концептуальному анализу.

Каждому  ставится в соответствие набор признаков (определенных на этапе МА) , .

Полученная синтагма разбивается на фрагменты  с помощью функции:

(3)

Разбиение на фрагменты происходит по следующему правилу:

Здесь .

Имеется множество шаблонов ,  представления текстовой формы словосочетаний ЭКС (форма каждого слов 4 сим.: OS(FK+OK)=2сим., GK=1 сим., GF=1 сим.).

Проверяем вхождение признаков  в  для каждого набора фрагментов , если , то добавляем текстовое представление наименования понятия во множество  и ставим ему в соответствие шаблон .

Существует словарь стоп-слов  (в нем содержатся служебные слова). Если , то это понятие исключается из множества :

(4)

При создании технологий смысловой обработки текстов был разработан ряд моделей представления данных. Каждому уровню иерархии смысловых единиц текста соответствовала та модель, которая наиболее адекватно отображала понятийную систему признаков каждого текстового объекта. Но основной моделью, позволяющей реализовать возможность однозначного разрешения множества языковых ситуаций в их контекстных окружениях, является универсальная центроидно-контекстная модель (ЦКМ)

На вход ЦКМ подается упорядоченное множество объектов . Каждому объекту ставится в соответствие элемент упорядоченного множества , где  – свойства объекта. Задается радиус , выбирается целевой объект (центроид) , составляется позиционная модель, которая задается упорядоченной последовательностью:

(5)

К упорядоченной последовательности PM применяется вектор-функция fPR, которая каждому объекту из PM ставит в соответствие признаки из множества Pr:

(6)

Здесь  – фиктивный признак фиктивного элемента. В результате применения функции получается упорядоченная последовательность:

(7)

Пусть существует функция , которая проверяет, насколько два вектора схожи между собой:

(8)

Задается порог совпадения начальной части модели  и во множестве  шаблонов синтагм ЦКМ из словаря шаблонов ищется наиболее схожая структура в смысле максимума процента покрытия :

(9)

где  – функция, которая вычисляет расстояние Хэмминга (количество несовпадающих элементов),  – количество элементов синтагмы.

Множество MOD включает в себя шаблоны признаков ЦКМ из словаря шаблонов. Каждый элемент множества имеет признак, принимающий значение 0 или 1.

Пусть функция  – функция взятия признака элемента .

В результате ЦКМ мы находим ответ на вопрос: является ли однозначное решение для анализируемой языковой ситуации именно таким, как описано в соответствующем словарном ресурсе. Этот ответ можно получить следующим образом:

(6)

Представленная модель ЦКМ реализована в ряде процедур автоматической обработки текстов (АОТ), примером ее применения может служить процедура семантико-синтаксического анализа, в котором модель ЦКМ используется:

а) для разрешения омонимии словоформ по их контекстному окружению;

б) для установления границ простых предложений в составе сложного;

в) для определения элементов предикатно-актантной структуры;

г) для построения бинарных отношений между элементами каркаса предложения и элементами его синтаксических конструкций.

В настоящей статье рассмотрены различные подходы к обработке текстовых данных, начиная от использования нейросетевых методов, завершая уникальными моделями, основанными на теоретической концепции фразеологического концептуального анализа текста (ФКАТ). Отмечается, что технологии искусственного интеллекта и классические лингвистические модели имеют свои ограничения и преимущества, которые могут быть учтены при разработке интеллектуальных систем обработки текстов.

Исследования, проведенные в данной области, отмечают, что точные и предиктивные методы выявления текстовой понятийной системы могут обеспечить высокий уровень точности в определении смысловых отношений между элементами текста. Это позволяет с достаточной вероятностью выделить как точные, так и предиктивные концептуальные связи, обогатив тем самым понимание содержания текстовых данных.

Таким образом, современные методы обработки текстовых данных продолжают эволюционировать, предоставляя более интеллектуальные и гибкие подходы к анализу языка, отражая его многообразие и контекстуальные особенности.