Технологии   

Асинхронный прокторинг — контроль тестирования

Такая технология помогает дистанционно подтвердить личность того, кто проходит тесты, убедиться, что он соблюдает правила и отвечает на вопросы без посторонней помощи.

Удаленный контроль используют при:

Виды прокторинга

  1. Синхронный. Процесс от начала до конца контролирует специальный наблюдатель — проктор. Он идентифицирует личность сотрудника, отслеживает соблюдение правил процедуры, выявляет нарушения и может остановить тест, если респондент нарушает правила. Такая работа дает возможность выявлять скрытые нарушения в режиме реального времени, что гарантирует максимальную прозрачность тестирования. Нерационально использовать при массовом подборе персонала и в маленьких компаниях, поскольку нужно большое количество наблюдателей. Обычно такой способ контроля применяют для тестирования кандидатов на руководящие должности.
  2. Автоматический. Осуществляет специальная программа. Результаты передаются заказчику в форме отчета-выгрузки из системы. В отчете указаны ФИО тестируемого, его логин в системе, дата и время прохождения теста, название экзамена, а также статус проверки, тип нарушения. На основе полученных данных заказчик принимает решение, засчитывать ли сотруднику результат тестирования. В спорных случаях или при апелляциях проводят повторный просмотр видео прокторами. Такой вид прокторинга практически не требует вовлечения человеческих ресурсов, за исключением техподдержки.
  3. Асинхронный. Осуществляется без участия человека или с его участием, но не онлайн, а после теста. Для наблюдения используют автоматические системы контроля процесса тестирования. Специальное ПО идентифицирует личность, отслеживает появление посторонних или отсутствие тестируемого в кадре, попытки диалога с посторонними/переключения вкладок/подключения второго монитора, направление взгляда. Все нарушения фиксируются в отчете. Само тестирование записывается на видео, чтобы потом можно было перепроверить нарушение правил. Если отмеченные нарушения не были подтверждены, экзамен признается успешно сданным. Минус такого формата — результаты тестирования известны не сразу, поскольку нужно время для выполнения ручной проверки проктором. Плюсы — меньшие, по сравнению с синхронным прокторингом, затраты, отсутствие необходимости согласования рабочих графиков прокторов. Асинхронный прокторинг подходит для ситуаций, когда требуется автоматизация процессов тестирования при минимальных затратах. Этот метод особенно ценен в компаниях, где нет HR-службы или маленький штат HR-менеджеров.

Оптимальный тип системы для контроля тестирования необходимо выбирать, исходя из специфики бизнеса. В каждом отдельном случае асинхронный и синхронный прокторинг будет работать с разным уровнем эффективности.

Как работает асинхронный прокторинг

COVID-19 сильно трансформировал нашу жизнь. Многим учебным заведениям и предприятиям пришлось перестраиваться — повысился спрос на удаленную работу и обучение. Экзамены, собеседования и тестирования онлайн давно стали нормой. При этом организации столкнулись с тем, что в удаленном режиме практически невозможно отследить, насколько честно тестируемые сдают экзамены. В онлайн формате появляется множество возможностей для списывания и использования посторонней помощи. Чтобы решить проблему контроля, были созданы электронные системы онлайн прокторинга на основе технологий искусственного интеллекта. По сути это — мониторинг, который автоматически обнаруживает любые запрещенные действия во время дистанционного тестирования или экзамена. Наблюдение ведется из трех источников:

  • аудио;
  • видеопоток;
  • запись экрана рабочего стола.

Респондент открывает на компьютере окно с тестом и работает только в нем. При попытке использования другой вкладки в браузере или попытки подсмотреть/подслушать подсказку система автоматически обозначает нарушение и отправляет информацию экзаменатору.

Система одинаково хорошо работает как с одним, так и с несколькими людьми одновременно.

В асинхронном варианте экзамен проводится под контролем алгоритма ИИ. Перед началом тестирования система:

  1. Запрашивает доступ к камере и микрофону.
  2. Проверяет стабильность интернет-соединения.
  3. Проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
  4. Идентифицирует респондента по фото и документу, удостоверяющему личность.

Если все шаги успешно пройдены, можно приступать к тесту.

Во время тестирования ПО анализирует поведение сдающего по направлению взгляда, закрытию лица, фиксирует появление других лиц в кадре или посторонних голосов, переключение монитора, использование других гаджетов/книг и другие подозрительные действия. Это значит, ни одна попытка списать не останется незамеченной. Каждая запись включает разбивку по типу нарушения и соответствующую метку времени.

Обычно нарушениями не считаются ситуации:

  • до и после испытания;
  • случайные: зашедшие в помещение люди, домашние животные, громкие звуки с улицы и другие, на которые не мог повлиять тестируемый;
  • не относящиеся к испытанию: разговоры с членами семьи до начала экзамена (во время идентификации) и после (во время загрузки файла), разговоры о технических проблемах со специалистом, сообщения в службу техподдержки.

После тестирования система автоматически собирает и объединяет информацию из всех источников в единую запись, а затем рассчитывает общую вероятность жульничества в ходе испытания (низкая, средняя, высокая). Проверку видеофиксации обычно проводит проктор, который подтверждает нарушения или признаёт тест пройденным. Кроме технических возможностей, прокторинг дает психологический эффект: факт наблюдения заставляет респондента отказаться от попыток обмана, что обеспечивает достоверность результатов тестирования.

Прокторинг от HT Lab

Компания Лаборатория Гуманитарные Технологии более 30 лет разрабатывает инструменты и программные решения для оценки персонала и прошла аккредитацию в МинЦифры.

HT Lab не является непосредственным поставщиком ПО для прокторинга. Но по желанию заказчика может интегрировать систему любого провайдера, подходящую под требования и условия конкретной процедуры тестирования. Интеграция осуществляется в оболочке Maintest, созданной HT Lab. Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest. Чтобы не нарушать сценарий оценочного процесса, привычный пользователям, все пункты меню и сообщения от системы наблюдения появляются внутри тестового плеера, не нарушая целостность процедуры тестирования. Передача данных между системами происходит по защищенным протоколам, что исключает внешнее влияние на сервис контроля и несанкционированный доступ к результатам тестирования.

В личном кабинете Maintest пользователь может управлять настройками прокторинга:

  • настраивать сеанс (выбирать тип, параметры контроля, определять действия при низком показателе доверия);
  • создавать индивидуальное приглашение для тестирования;
  • наблюдать за респондентом онлайн (если провайдер предоставляет такую возможность);
  • просматривать видеоролик с записью тестирования и заключение системы на странице результатов. Процесс передачи данных в Maintest после окончания сеанса занимает не более 5 минут;
  • выгружать сведения о сеансах в формате xlsx (Excel).

Варианты подключения услуги:

  1. При наличии договора с действующим провайдером (компания Examus) — активация в Личном Кабинете клиента Maintest Online. Стоимость стандартной услуги по интеграции — 50 000 руб. Клиент самостоятельно контролирует доступные часы прокторинга (в рамках договора).
  2. При отсутствии договора с Examus — подключение на основе действующего пользовательского договора Maintest Online. Минимальное пакетное время — 20 часов. Персональный менеджер рассчитывает для конкретного клиента оптимальное количество часов прокторинга, исходя из задач и приобретённых лицензий на тестирование. Стоимость 1 часа — 250 руб.

У прокторинга большое будущее и в других направлениях, кроме HR и образования. Уже сейчас в видеорегистраторы внедряют разработки, которые с помощью использования компьютерного зрения определяют, насколько внимательно водитель смотрит на дорогу. Такие решения позволяют значительно снизить риск ДТП. А бизнес, в свою очередь, может воспользоваться электронным мониторингом на презентациях новых продуктов, исследуя уровень вовлеченности и интереса аудитории.

Еще:
Интересные факты из рубрики «Технологии»