Авторы

Система классификации документов с маркшейдерскими данными

Все предприятия, осуществляющие геологоразведочные работы на территории РФ, сталкиваются с необходимостью формирования задач для маркшейдерской службы и контроля выполнения поставленных задач. Это отражается в процессах документооборота предприятий. В данной связи существует проблема организации эффективной обработки документов в системах электронного документооборота – своевременного выявления документов, содержащих маркшейдерские данные. В статье представлено возможное решение указанной проблемы – автоматизированная система классификации документов в СЭД в виде рекомендательной надстройки над системой 1С:Документооборот. В рамках создания системы классификации был разработан и реализован сценарий предварительной обработки первичных текстов документов, включающий очистку, лемматизацию и удаление стоп-слов, а также подготовку входных признаков для классификатора. Исследована применимость различных алгоритмов машинного обучения к решению рассматриваемой задачи классификации, определены значения гиперпараметров, обеспечивающие наибольшее значение метрики ROC AUC. Выполнена оценка качества всех полученных моделей с использованием метрик Precision, Recall и F-меры, исследована устойчивость качества классификации к изменению входных данных. Выявленная проблема нестабильности результатов классификации решалась путем построения модели машинного обучения в виде ансамбля классификаторов. Обученная модель (ансамбль классификаторов) тестировалась на наборе реальных документов ООО «Газпром недра»; качество классификации на тестовой выборке по метрике ROC AUC составило 0,91. Кроме собственно модуля классификации разработанная система включает базу данных хранения результатов обучения, библиотеку функций для организации работы с базой данных, а также API-интерфейсы, позволяющие обрабатывать запросы на классификацию, приходящие из внешних систем. В API- интерфейсах, в частности, реализованы возможности загрузки сохраненных обученных моделей, валидации данных, приходящих из внешних систем, предварительной обработки входных текстовых документов, обучения новых моделей и оценки их качества, сохранение как обученных моделей, так и результатов их тестирования. Реализована возможность дообучения сохраненных моделей на новых данных. Читать дальше...

Математическое моделирование оценки доверия к сообщению в социальных сетях на русском языке

Проблема недостоверной информации на данный момент является наиболее критичной в области распространения информации в сети Интернет. Глобальный переход информационных источников в интернет привел к тому, что информация распространяется слишком быстро и проверить ее достоверность довольно сложно. Данная тема поднимается, когда заходит разговор о СМИ, социальных сетях, блогах и других источниках информации. Передача информации перестала быть делом только СМИ. Любой пользователь интернета может быть источником информации. Развитие свободных источников информации и цифровизация источников привели к потере доверия к официальным СМИ. Следствием этого является развитие методов автоматического определения ложной информации. Задачи данной работы состоят в изучении возможности построения модели для автоматического определения уровня доверия к сообщению в социальной сети на русском языке и определении наиболее влиятельных параметров. Рассматриваемый метод направлен на многосторонний анализ поста, включающий параметры, полученные из текста сообщения, данных пользователя и распространения сообщения в социальной сети. Для работы с методами машинного обучения была собрана и размечена выборка данных, на которой были обучены модели машинного обучения. Выборка данных прошла процесс балансировки для получения стабильных результатов. После обучения моделей было получено пять моделей, обученных как на сбалансированной, так и на обычной выборке данных. Были получены результаты для моделей с ограничением на параметры для выявления наиболее влиятельных параметров. Результатами стали модели машинного обучения с высокими показаниями значений метрик на тестовых данных и выявлены наиболее влиятельные параметры, в которые были включены параметры, характерные только для русского языка. Читать дальше...