Авторы

Модель автоматической генерации образовательных тестов из неструктурированного текста на основе доменно-адаптивного дообучения больших языковых моделей

В статье предложена модель автоматической генерации образовательных тестов на основе доменно-адаптивного дообучения больших языковых моделей (LLM). Традиционные методы разработки тестовых заданий требуют значительных временных затрат и ограничены узкой предметной специализацией. В результате анализа известных подходов к генерации тестовых заданий с использованием исключительно инструктирования предобученных LLM выявлены ключевые ограничения: нестабильность результатов, недостаточный контроль над структурой вопросов и необходимость постредактирования, что обосновывает необходимость разработки специализированных решений. Предложен пайплайн дообучения языковой модели T-Lite (7 млрд параметров) с использованием техники LoRA на наборе данных из 4000 валидированных по дисциплинам высшего образования. Особенностью предложенного метода является применение цепочек мыслей (Chain-of-Thought) для структурирования процесса генерации заданий через декомпозицию на компоненты: тема, цель, формат, необходимые знания, формулировка и ожидаемый ответ. Разработан пайплайн вывода модели системы генерации заданий, интегрирующий мультимодальную обработку входных данных (текст/изображение), автоматическую сегментацию контента и многоэтапную генерацию заданий с использованием специализированных моделей Qwen2-VL и Gemma-2-27b-it. Проведено апробирование и практическое внедрение модели в экосистему независимого оценивания портала i-exam.ru. Это позволило расширить функционал существующих сервисов интернет-тестирования за счет получения дополнительной возможности по расширению нескомпрометированной базы заданий в тестовой форме, что особенно важно для обеспечения надежности процедур онлайн-тестирования, в частности таких, как ФЭПО и ФИЭБ. Данное внедрение подтверждает способность модели генерировать качественные образовательные тесты, соответствующие психометрическим требованиям и пригодные для использования в учебном процессе. Читать дальше...