Авторы

Обобщенная модель внимания для анализа выживаемости сложных объектов при цензурированных данных

Самые различные прикладные области, включая медицину, безопасность, экономику, промышленность, связаны с моделированием процессов наступления различных событий, таких как выздоровление пациента, финансовое банкротство предприятия, отказ промышленного оборудования и т. д. Моделирование этих процессов может выполняться в рамках анализа выживаемости (survival analysis), являющегося статистическим методом анализа времени до событий и отличительной особенностью которого от многих других статистических методов и методов машинного обучения является наличие цензурированных данных, имеющих место тогда, когда событие не наблюдается и известно только то, что оно не произошло до определенного момента времени. Цензурированные данные значительно усложняют моделирование и предсказание наступления критических событий. Одним из эффективных инструментов анализа выживаемости при наличии цензурированных данных является машинное обучение. В частности, современные модели машинного обучения на основе трансформеров демонстрируют перспективные результаты в анализе выживаемости благодаря своей способности учитывать сложные зависимости. Однако стандартный механизм внимания в них часто игнорирует фундаментальную структуру данных времен до наступления события, а именно различие между цензурированными и нецензурированными наблюдениями. Для преодоления этого недостатка в работе предлагается новая модель и новый подход к реализации механизма внимания, который переопределяет веса внимания за счет включения априорных характеристик анализа выживаемости на основе оценки Берана или модели Кокса. Вместо того чтобы полагаться исключительно на расстояния между векторными представлениями признаков, как это осуществляется в современных моделях, предлагаемая модель вычисляет веса внимания как взвешенную линейную комбинацию компонентов, полученных из основных априорных характеристик анализа выживаемости, таких как расстояния между оценками функций выживаемости или математическими ожиданиями времени до наступления события для различных обучающих объектов. Предлагаемый подход позволяет существенно расширить класс трансформенных моделей анализа выживаемости для получения более высокой точности предсказаний. Алгоритм, реализующий предлагаемую модель, является основой для трансформеров. Эксперименты на реальных наборах данных подтверждают, что обобщенная модель обеспечивает наилучшее предсказание среди ряда известных моделей. Читать дальше...