Ускорили разработку тестовых заданий в сотни раз!
Это оказалось для нас очень сложной задачей
Работая с задачами по оценке рабочих производственных компаний, мы уже давно поняли, что существенную долю затрат на проведение оценки составляет непосредственно процесс разработки тестовых заданий и верификация с клиентом. И, конечно, каждый раз, выполняя эти задачи, мы думали над тем, можно ли сократить, хотя бы в половину время на подготовку заданий. Признайтесь, те, кто занимался разработкой тестов, наверняка посещала такая мысль.
Сложность задачи в том, что при увеличении скорости разработки, неизбежно теряется качество. Так как разработчик осуществляет поиск нужной информации, формулирует текст задания, подбирает ответы.
Выглядит безнадежно, но мы нашли решения.
Вещь достаточно очевидная и, может быть, даже банальная. Занимаясь уже более 5 лет оценкой персонала, мы не просто разрабатывали тесты. Мы формировали базу оценочных средств, упорядочивая ее по областям знаний и компетенциям. Вносили обновления и корректировки, верифицируя их с производственными экспертами. И да, сейчас мы действительно имеем базу из десятков тысяч готовых верифицированных тестовых заданий более чем по 100 профессиям. Поэтому сейчас мы можем помочь нашим клиентам в предоставлении уже готовых комплектов тестов и существенно сократить время на оценку.
2. Использовали возможности современных технологий
Проанализировав более 100 000 вопросов, мы сформировали устойчивые конструкции вопросов. На помощь пришла языковая модель, которую мы обучили для генерации тестов на основе загружаемых в систему источников информации. Совместными усилиями технических специалистов и экспертов-методологов мы смогли сделать автоматизированную систему, которая не просто формулирует текст тестового задания, но и подбирает неправильные варианты ответов (дистракторы).
Модель позволяет нам формировать банк тестовых заданий с объемом в несколько тысяч вопросов всего за пару минут.
3. Дали возможность клиенту самому выбирать пул вопросов
Мы очень старались и делали процесс максимально простым и гибким. Вся работа идет в одном окне, прямо в системе. Клиент просто проходит в раздел по интересующему направлению и одним нажатием кнопки выбирает вопросы или источники по которым он хочет провести оценку знаний. А главное все это реализовано очень просто и не требует от пользователей системы специализированных навыков.
Работая с задачами по оценке рабочих производственных компаний, мы уже давно поняли, что существенную долю затрат на проведение оценки составляет непосредственно процесс разработки тестовых заданий и верификация с клиентом. И, конечно, каждый раз, выполняя эти задачи, мы думали над тем, можно ли сократить, хотя бы в половину время на подготовку заданий. Признайтесь, те, кто занимался разработкой тестов, наверняка посещала такая мысль.
Сложность задачи в том, что при увеличении скорости разработки, неизбежно теряется качество. Так как разработчик осуществляет поиск нужной информации, формулирует текст задания, подбирает ответы.
Выглядит безнадежно, но мы нашли решения.
Что мы сделали?
1. Использовали имеющиеся наработки тестовВещь достаточно очевидная и, может быть, даже банальная. Занимаясь уже более 5 лет оценкой персонала, мы не просто разрабатывали тесты. Мы формировали базу оценочных средств, упорядочивая ее по областям знаний и компетенциям. Вносили обновления и корректировки, верифицируя их с производственными экспертами. И да, сейчас мы действительно имеем базу из десятков тысяч готовых верифицированных тестовых заданий более чем по 100 профессиям. Поэтому сейчас мы можем помочь нашим клиентам в предоставлении уже готовых комплектов тестов и существенно сократить время на оценку.
2. Использовали возможности современных технологий
Проанализировав более 100 000 вопросов, мы сформировали устойчивые конструкции вопросов. На помощь пришла языковая модель, которую мы обучили для генерации тестов на основе загружаемых в систему источников информации. Совместными усилиями технических специалистов и экспертов-методологов мы смогли сделать автоматизированную систему, которая не просто формулирует текст тестового задания, но и подбирает неправильные варианты ответов (дистракторы).
Модель позволяет нам формировать банк тестовых заданий с объемом в несколько тысяч вопросов всего за пару минут.
3. Дали возможность клиенту самому выбирать пул вопросов
Мы очень старались и делали процесс максимально простым и гибким. Вся работа идет в одном окне, прямо в системе. Клиент просто проходит в раздел по интересующему направлению и одним нажатием кнопки выбирает вопросы или источники по которым он хочет провести оценку знаний. А главное все это реализовано очень просто и не требует от пользователей системы специализированных навыков.