|
Статьи автора
|
Анализ электронных текстовых документов, написанных на естественном языке, является одной из важнейших задач, реализуемых в системах автоматизированного анализа
лингвистической информации. Известно, что такие документы могут характеризоваться различными параметрами: размер, наличие структуры, частота упоминания ключевых
слов и т. п. Проведенный анализ показал невозможность построения единой модели
для рубрицирования неструктурированных текстовых документов в различных ситуациях.
Для решения указанной проблемы предложен мультимодельный подход к рубрицированию, отличающийся комбинированным использованием интеллектуальных и вероятностностатистических методов анализа текстовых документов. Конкретная модель выбирается
с использованием нечетко-логических алгоритмов на основе предложенных характеристик. Его применение позволит повысить точность отнесения электронных текстовых документов к конкретным рубрикам с учетом их специфики и различных целей практического
применения в организации.
Читать дальше...
Проведено исследование задач и методов автоматизированного рубрицирования текстов
и оценены их перспективы для анализа неструктурированных электронных текстовых документов с учетом особенностей обращений граждан, поступающих в органы власти. Разработана
архитектура информационной системы автоматизированного анализа таких документов, реализующая предложенный мультимодельный подход к рубрицированию, основанный на комплексном использовании интеллектуальных и вероятностно-статистических методов. Приведена процедура обработки обращений, поступающих в органы власти, с использованием системы документооборота и разработанной информационной системы.
Читать дальше...
Ежедневно на Интернет-порталы органов государственной власти поступает большое
количество электронных обращений (заявлений, предложений или жалоб), представленных в неструктурированном текстовом виде. Качество и скорость автоматической обработки
указанных сообщений напрямую зависит от правильности их классификации (отнесения к
конкретной предметной области), в основе которой лежат их отличительные особенности.
Однако специфика таких сообщений (небольшой размер, наличие ошибок, отсутствие
четкой структуры и т.д.) не позволяет использовать известные методы рубрицирования
текстовых документов. Авторами разработана модель рубрицирования электронных неструктурированных текстовых документов с учетом синтаксических связей и ролей слов в
предложениях на основе нечеткого дерева решений. Построение дерева решений основано на анализе степени пересечений словарей рубрик, а также расстояний между рубриками
в n-мерном пространстве признаков. Данная модель позволяет более точно рубрицировать
электронные неструктурированные текстовые документы в условиях взаимосвязанных
рубрик, а также повысить оперативность обработки поступивших документов.
Читать дальше...
В статье предложен новый подход к автоматическому анализу коротких сообщений,
поступающих на Интернет-порталы и электронную почту органов государственной власти.
Разработанная модель позволяет выполнять классификацию коротких неструктурированных
текстовых документов при недостатке статистической информации и слабой степени пересечения
тематических рубрик. Входными данными для алгоритма построения модели является множество
рубрик и обучающая выборка, а его результатом являются нечеткие весовые коэффициенты
значимых слов тезаурусов рубрик, что обеспечивает корректное представление характеристик
документа и работу алгоритма рубрицирования (классификации).
Читать дальше...
Одним из ключевых направлений информатизации деятельности органов государственной власти является разработка и внедрение систем автоматизированной обработки электронных обращений (заявлений, жалоб, предложений) физических и юридических лиц, поступающих на официальные веб-сайты и порталы органов власти федеральных округов, администраций областей и других территориальных образований. Важную роль при решении данной задачи играет рубрицирование, которое заключается в распределении обращений по тематическим рубрикам, определяющих направления деятельности департаментов, осуществляющих их обработку и подготовку соответствующего ответа. Результаты анализа специфических особенности таких текстовых сообщений (небольшой размер, отсутствие разметки, наличие ошибок, нестационарность тезауруса и т. п.) подтвердили невозможность применения традиционных подходов к рубрицированию и обосновали целесообразность применения методов интеллектуального анализа данных. В статье предложен новый подход к анализу и рубрицированию электронных неструктурированных текстовых документов, поступающих на официальные веб-сайты и порталы органов государственной власти. Он предполагает формирование древовидной структуры рубричного поля, основанной на нечетких отношениях различия между синтаксическими характеристиками документов. Анализ основывается на определении нечеткого соответствия этих документов по синтаксическим характеристикам со значениями центров кластеров, проводимого последовательно от корня к листьям построенного нечеткого дерева решений. Предлагаемый метод рубрицирования программно реализован и апробирован при автоматизированной обработке и анализе обращений (заявлений, жалоб и предложений) граждан, поступающих в Администрацию Смоленской области. Это позволило обеспечить оперативную и качественную актуализацию рубрик и анализ документов в условиях нестационарности состава тезауруса и значимости слов рубрик. Читать дальше...
|
